Statistik dan Big Data

Pendekatan umum untuk memperkirakan parameter distribusi normal adalah dengan menggunakan mean dan sampel standar deviasi / varians. Namun, jika ada beberapa outlier, median dan deviasi median dari median harus jauh lebih kuat, bukan? Pada beberapa set data saya mencoba, distribusi normal diperkirakan oleh tampaknya menghasilkan lebih cocok banyak daripada klasik …

15 normal-distribution  estimation  outliers  robust  unbiased-estimator 

Saya perlu "mempelajari" distribusi gaussian bivariat dengan beberapa sampel, tetapi hipotesis yang baik pada distribusi sebelumnya, jadi saya ingin menggunakan pendekatan bayesian. Saya mendefinisikan sebelumnya: P(μ)∼N(μ0,Σ0)P(μ)∼N(μ0,Σ0) \mathbf{P}(\mathbf{\mu}) \sim \mathcal{N}(\mathbf{\mu_0},\mathbf{\Sigma_0}) μ0=[00] Σ0=[160027]μ0=[00] Σ0=[160027] \mathbf{\mu_0} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma_0} = \begin{bmatrix} 16 & 0 \\ 0 …

15 distributions  bayesian  estimation  covariance  posterior 

Saya memiliki database peristiwa (yaitu variabel tanggal) dan kovariat terkait. Peristiwa ini dihasilkan oleh proses Poisson non-stasioner dengan parameter menjadi fungsi yang tidak diketahui (tetapi mungkin linier) dari beberapa kovariat. Saya pikir paket NHPoisson ada hanya untuk tujuan ini; tetapi setelah 15 jam penelitian yang gagal, saya masih belum tahu …

15 r  poisson-distribution  poisson-process 

Saya sudah memikirkan masalah ini. Fungsi logistik yang biasa untuk memodelkan data biner adalah: Namun adalah fungsi logit, yang merupakan kurva berbentuk S , selalu yang terbaik untuk memodelkan data? Mungkin Anda memiliki alasan untuk percaya bahwa data Anda tidak mengikuti kurva berbentuk S normal tetapi tipe kurva berbeda dengan …

15 logistic  references  link-function 

Apa manfaat menentukan struktur kovarians dalam GLM (daripada memperlakukan semua entri diagonal dalam matriks kovarians sebagai nol)? Selain mencerminkan apa yang diketahui seseorang dari data, lakukan itu meningkatkan kebaikan fit? meningkatkan akurasi prediksi pada data yang disimpan? izinkan kami untuk memperkirakan tingkat kovarian? Berapa biaya menerapkan struktur kovarian? Melakukannya menambahkan …

15 generalized-linear-model  covariance 

Saya menggunakan paket gbm untuk klasifikasi. Seperti yang diharapkan, hasilnya bagus. Tetapi saya mencoba memahami output dari classifier. Ada lima istilah dalam output. `Iter TrainDeviance ValidDeviance StepSize Improve` Adakah yang bisa menjelaskan arti setiap istilah, terutama arti Meningkatkan .

15 r  machine-learning 

Saya menemukan transformasi penstabil varian ketika membaca metode Kaggle Essay Eval . Mereka menggunakan transformasi stabilisasi varian untuk mengubah nilai-nilai kappa sebelum mengambil rata-rata mereka dan kemudian mengubahnya kembali. Bahkan setelah membaca wiki pada transformasi penstabilan varian saya tidak bisa mengerti, mengapa kita sebenarnya menstabilkan varian? Apa manfaatnya dengan ini?

15 variance  mathematical-statistics 

MAD = Mean Deviasi Absolut MSE = Mean Squared Error Saya telah melihat saran dari berbagai tempat bahwa MSE digunakan walaupun ada beberapa kualitas yang tidak diinginkan (mis. Http://www.stat.nus.edu.sg/~staxyc/T12.pdf , yang menyatakan pada hal. 8 "Biasanya dipercaya bahwa MAD adalah kriteria yang lebih baik daripada MSE. Namun, secara matematis MSE …

15 forecasting  error  mse  mae 

Salah satu masalah yang selalu saya alami dengan model campuran adalah mencari tahu visualisasi data - dari jenis yang bisa berakhir di kertas atau poster - setelah seseorang mendapatkan hasilnya. Saat ini, saya sedang mengerjakan model efek campuran Poisson dengan formula yang terlihat seperti berikut: a <- glmer(counts ~ X …

15 r  data-visualization  mixed-model 

Saya mencoba menggunakan Regresi Hutan Acak di scikits-learn. Masalahnya adalah saya mendapatkan kesalahan tes yang sangat tinggi: train MSE, 4.64, test MSE: 252.25. Beginilah tampilan data saya: (biru: data nyata, hijau: diperkirakan): Saya menggunakan 90% untuk pelatihan dan 10% untuk ujian. Ini adalah kode yang saya gunakan setelah mencoba beberapa …

15 regression  random-forest  scikit-learn 

Dari randoness statistik Wikipedia : Keacakan global dan keacakan lokal berbeda. Kebanyakan konsepsi filosofis tentang keacakan bersifat global — karena mereka didasarkan pada gagasan bahwa "dalam jangka panjang" suatu urutan tampak benar-benar acak, bahkan jika sub-urutan tertentu tidak akan terlihat acak. Dalam urutan acak "benar-benar" dari angka-angka yang cukup panjang, …

15 mathematical-statistics  random-generation 

Saya baru-baru ini meminta klien datang kepada saya untuk melakukan analisis bootstrap karena pengulas FDA mengatakan bahwa kesalahan mereka dalam regresi variabel tidak valid karena ketika mengumpulkan data dari situs analisis mencakup pengumpulan data dari tiga situs di mana dua situs termasuk beberapa sampel yang sama. LATAR BELAKANG Klien memiliki …

15 regression  errors-in-variables  deming-regression  pooling 

Saya mengambil kursus pascasarjana dalam Statistik Terapan yang menggunakan buku teks berikut (untuk memberi Anda rasa untuk tingkat materi yang dibahas): Konsep dan Metode Statistik , oleh GK Bhattacharyya dan RA Johnson. Profesor mengharuskan kita menggunakan SAS untuk pekerjaan rumah. Pertanyaan saya adalah: apakah ada Java library (ies), yang dapat …

15 r  sas  java 

Saya mencari beberapa contoh bagus situasi yang tidak cocok untuk model dengan distribusi Poisson, untuk membantu saya menjelaskan distribusi Poisson kepada siswa. Orang biasanya menggunakan jumlah pelanggan yang tiba di toko dalam interval waktu sebagai contoh yang dapat dimodelkan oleh distribusi Poisson. Saya mencari contoh tandingan dalam nada yang sama, …

15 poisson-distribution  teaching 

TLDR: Dataset saya cukup kecil (120) sampel. Saat melakukan validasi silang 10 kali lipat, haruskah saya: Kumpulkan output dari setiap lipatan tes, gabungkan menjadi vektor, dan kemudian hitung kesalahan pada vektor prediksi penuh ini (120 sampel)? Atau saya harus bukannya menghitung kesalahan pada output saya mendapatkan pada setiap kali lipat …

15 classification  cross-validation  small-sample