Statistik dan Big Data

Jadi kita tahu bahwa jumlah nnn poissons dengan parameter λλ\lambda sendiri merupakan poisson dengan nλnλn\lambda . Jadi hipotetis, salah satu bisa mengambil x∼poisson(λ=1)x∼poisson(λ=1)x \sim poisson(\lambda = 1) dan mengatakan itu sebenarnya ∑n1xi∼poisson(λ=1)∑1nxi∼poisson(λ=1)\sum_1^n x_i \sim poisson(\lambda = 1) di mana setiap xixix_i adalah: xi∼poisson(λ=1/n)xi∼poisson(λ=1/n)x_i \sim poisson(\lambda = 1/n) , dan mengambil …

16 poisson-distribution  central-limit-theorem  asymptotics 

Adakah orang selain Egon Pearson yang mengakses laporan 1904 karya William Sealy Gosset "Penerapan 'Hukum Kesalahan' pada Pekerjaan Pembuatan Bir"? Saya kira itu adalah properti Guinness, tetapi mengingat signifikansi historisnya, itu akan menjadi bacaan yang sangat menarik, jika seseorang mengetahui bagaimana cara mendapatkannya.

16 statistical-significance  history 

Saya butuh sedikit bantuan untuk menyelamatkan data dari kuesioner. Salah satu kolega saya menerapkan kuesioner, tetapi secara tidak sengaja, alih-alih menggunakan skala Likert 5 poin asli (sangat tidak setuju untuk sangat setuju), ia memasukkan jawaban ke-6 ke dalam skala. Dan, untuk memperburuk masalah ini, opsi respons ke-6 adalah ... "Saya …

16 likert  data-imputation 

Saya mencoba memahami konteks buku Minsky dan Papert yang terkenal "Perceptrons" dari tahun 1969, sangat penting untuk jaringan saraf. Sejauh yang saya tahu, belum ada algoritma pembelajaran terawasi generik lainnya kecuali untuk perceptron: pohon keputusan mulai menjadi benar-benar berguna hanya pada akhir 70-an, hutan acak dan SVM adalah 90-an. Tampaknya …

16 classification  neural-networks  history 

The tanda sisipan paket perpustakaan R brilian untuk membangun beberapa model pembelajaran mesin, dan memiliki beberapa fungsi untuk model bangunan dan evaluasi. Untuk pengaturan parameter dan pelatihan model, paket caret menawarkan 'repeatcv' sebagai salah satu metode. Sebagai praktik yang baik, penyetelan parameter dapat dilakukan menggunakan validasi silang K-fold bersarang yang …

16 cross-validation  caret 

Saya menemukan artikel 2012 ini oleh Gitte Vanwinckelen dan Hendrik Blockeel yang mempertanyakan kegunaan berulang cross-validation, yang telah menjadi teknik populer untuk mengurangi varian cross-validation. Para penulis menunjukkan bahwa sementara validasi silang berulang mengurangi variasi prediksi model, karena dataset sampel yang sama sedang di-resampling, rata-rata estimasi validasi silang yang di-resvergen …

16 cross-validation 

Saya punya pertanyaan sederhana - dan mungkin jelas sepele: mengapa standar deviasi disebut " standar "? Apakah ini karena ia menstandarkan perbandingan set dan hasil data sehubungan dengan penyebarannya? Pencarian di Stack Exchange tidak muncul pertanyaan ini, juga pencarian Google pada etimologi dari istilah menghasilkan banyak nilai.

16 standard-deviation  terminology  history  etymology 

Saat menjelaskan regresi LASSO, diagram berlian dan lingkaran sering digunakan. Dikatakan bahwa karena bentuk kendala dalam LASSO adalah berlian, solusi kuadrat terkecil yang diperoleh mungkin menyentuh sudut berlian sedemikian rupa sehingga menyebabkan penyusutan beberapa variabel. Namun, dalam regresi ridge, karena itu adalah sebuah lingkaran, seringkali tidak akan menyentuh sumbu. Saya …

16 regression  lasso  ridge-regression 

Saya menggunakan regresi linier berganda untuk menggambarkan hubungan antara Y dan X1, X2. Dari teori saya mengerti bahwa regresi berganda mengasumsikan hubungan linier antara Y dan masing-masing X (Y dan X1, Y dan X2). Saya tidak menggunakan transformasi X. Jadi, saya mendapatkan model dengan R = 0,45 dan semua X …

16 regression  multiple-regression  python  linear 

Setelah membaca pertanyaan ini mengenai arXiv dan menemukan tautan ke GitXiv yang sebelumnya tidak saya sadari, saya bertanya-tanya, situs web / sumber daya apa yang digunakan orang untuk mendapatkan informasi terbaru tentang penelitian terbaru di wilayah mereka?

16 academia 

Saya mencoba mencari tahu perbedaan antara pemilihan sampel dan endogenitas dan pada gilirannya bagaimana model Heckman (untuk menangani pemilihan sampel) berbeda dari regresi variabel instrumental (untuk menangani endogenitas). Apakah benar untuk mengatakan bahwa pemilihan sampel adalah bentuk endogenitas tertentu, di mana variabel endogen adalah kemungkinan diperlakukan? Juga, bagi saya tampaknya …

16 instrumental-variables  endogeneity  2sls  heckman 

Saya tahu bahwa residual Pearson terstandarisasi diperoleh dengan cara probabilistik tradisional: ri=yi−πiπi(1−πi)−−−−−−−−√ri=yi−πiπi(1−πi) r_i = \frac{y_i-\pi_i}{\sqrt{\pi_i(1-\pi_i)}} dan Deviance Residuals diperoleh melalui cara yang lebih statistik (kontribusi setiap titik terhadap kemungkinan): di=si−2[yilogπi^+(1−yi)log(1−πi)]−−−−−−−−−−−−−−−−−−−−−−−−−−√di=si−2[yilog⁡πi^+(1−yi)log⁡(1−πi)] d_i = s_i \sqrt{-2[y_i \log \hat{\pi_i} + (1 - y_i)\log(1-\pi_i)]} di mana = 1 jika = 1 dan = -1 …

16 regression  logistic  generalized-linear-model  residuals  deviance 

Saya memiliki data deret waktu bulanan, dan ingin melakukan peramalan dengan deteksi pencilan. Ini adalah contoh kumpulan data saya: Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec 2006 7.55 7.63 7.62 7.50 7.47 7.53 7.55 7.47 7.65 7.72 7.78 7.81 2007 7.71 7.67 7.85 7.82 7.91 …

16 r  time-series  forecasting  arima  outliers 

Saya mengikuti tutorial di sini: http://www.r-bloggers.com/computing-and-visualizing-pca-in-r/ untuk mendapatkan pemahaman yang lebih baik tentang PCA. Tutorial menggunakan dataset Iris dan menerapkan transformasi log sebelum ke PCA: Perhatikan bahwa dalam kode berikut ini kami menerapkan transformasi log ke variabel kontinu seperti yang disarankan oleh [1] dan mengatur centerdan scalesama dengan TRUEdalam panggilan …

16 r  pca  data-transformation  logarithm 

Jadi saya sudah banyak membaca tentang bagaimana menafsirkan nilai-P dengan benar, dan dari apa yang saya baca, nilai-p mengatakan TIDAK ADA tentang kemungkinan bahwa hipotesis nol benar atau salah. Namun, ketika membaca pernyataan berikut: Nilai p menunjukkan kemungkinan membuat kesalahan tipe I, atau menolak hipotesis nol ketika itu benar. Semakin …

16 hypothesis-testing  p-value