Statistik dan Big Data

Di kelas pengenalan pola hari ini, profesor saya berbicara tentang PCA, vektor eigen, dan nilai eigen. Saya mengerti matematika itu. Jika saya diminta untuk menemukan nilai eigen dll. Saya akan melakukannya dengan benar seperti mesin. Tapi saya tidak memahaminya . Saya tidak mendapatkan tujuan itu. Saya tidak merasakannya. Saya sangat …

976 pca  intuition  eigenvalues  canonical-question 

Apakah ada metode standar dan diterima untuk memilih jumlah lapisan, dan jumlah node di setiap lapisan, dalam jaringan saraf umpan maju? Saya tertarik dengan cara otomatis membangun jaringan saraf.

542 model-selection  neural-networks 

The halaman wikipedia mengklaim bahwa kemungkinan dan probabilitas adalah konsep-konsep yang berbeda. Dalam bahasa non-teknis, "kemungkinan" biasanya merupakan sinonim untuk "probabilitas," tetapi dalam penggunaan statistik ada perbedaan yang jelas dalam perspektif: jumlah yang merupakan probabilitas dari beberapa hasil yang diamati mengingat seperangkat nilai parameter dianggap sebagai kemungkinan himpunan nilai parameter …

474 probability  likelihood 

Penafian: Saya bukan ahli statistik tetapi insinyur perangkat lunak. Sebagian besar pengetahuan saya dalam statistik berasal dari pendidikan mandiri, jadi saya masih memiliki banyak celah dalam memahami konsep-konsep yang mungkin tampak sepele bagi orang lain di sini. Jadi saya akan sangat berterima kasih jika jawaban termasuk istilah yang kurang spesifik …

438 distributions  beta-distribution  intuition  beta-binomial 

Saya menemukan ini membingungkan ketika saya menggunakan toolbox jaringan saraf di Matlab. Ini membagi set data mentah menjadi tiga bagian: perlengkapan latihan set validasi set tes Saya perhatikan dalam banyak pelatihan atau algoritma pembelajaran, data sering dibagi menjadi 2 bagian, set pelatihan dan set tes. Pertanyaan saya adalah: apa perbedaan …

431 machine-learning  validation 

Tahun lalu, saya membaca posting blog dari Brendan O'Connor yang berjudul "Statistics vs. Machine Learning, fight!" yang membahas beberapa perbedaan antara kedua bidang. Andrew Gelman menanggapi hal ini dengan baik : Simon Blomberg: Dari paket fortune R: Mengutip secara provokatif, 'pembelajaran mesin adalah statistik dikurangi pengecekan model dan asumsi'. - …

420 machine-learning  pac-learning 

Dalam definisi deviasi standar, mengapa kita harus kuadratkan perbedaan dari nilai rata-rata untuk mendapatkan nilai rata-rata (E) dan mengambil akar kuadrat kembali di akhir? Tidak bisakah kita hanya mengambil nilai absolut dari perbedaan sebagai gantinya dan mendapatkan nilai yang diharapkan (rata-rata) dari mereka, dan bukankah itu juga menunjukkan variasi data? …

408 standard-deviation  definition 

K-means adalah metode yang banyak digunakan dalam analisis cluster. Dalam pemahaman saya, metode ini TIDAK memerlukan asumsi APAPUN, yaitu, beri saya dataset dan jumlah cluster yang ditentukan sebelumnya, k, dan saya hanya menerapkan algoritma ini yang meminimalkan jumlah kesalahan kuadrat (SSE), dalam cluster cluster kuadrat kesalahan. Jadi k-means pada dasarnya …

365 machine-learning  clustering  data-mining  k-means 

Banyak orang menggunakan alat utama seperti Excel atau spreadsheet lain, SPSS, Stata, atau R untuk kebutuhan statistik mereka. Mereka mungkin beralih ke beberapa paket khusus untuk kebutuhan yang sangat khusus, tetapi banyak hal dapat dilakukan dengan spreadsheet sederhana atau paket statistik umum atau lingkungan pemrograman statistik. Saya selalu menyukai Python …

355 r  spss  stata  python 

Analisis komponen utama (PCA) biasanya dijelaskan melalui dekomposisi eigen dari matriks kovarians. Namun, dapat juga dilakukan melalui dekomposisi nilai singular (SVD) dari data matriks . Bagaimana cara kerjanya? Apa hubungan antara kedua pendekatan ini? Apa hubungan antara SVD dan PCA?XX\mathbf X Atau dengan kata lain, bagaimana cara menggunakan SVD dari …

352 pca  dimensionality-reduction  matrix  svd 

Ini adalah salah satu favorit saya: Satu entri per jawaban. (Ini ada di inti pertanyaan Stack Overflow Apa kartun “programmer” favorit Anda? ) PS Jangan hotlink kartun itu tanpa izin situs.

343 humor 

Bagaimana Anda menjelaskan dalam bahasa Inggris biasa karakteristik yang membedakan penalaran Bayesian dari Frequentist?

341 bayesian  frequentist 

Saya baru-baru ini menggunakan bootstrap untuk memperkirakan interval kepercayaan untuk suatu proyek. Seseorang yang tidak tahu banyak tentang statistik baru-baru ini meminta saya untuk menjelaskan mengapa bootstrap berfungsi, yaitu, mengapa melakukan resampling sampel yang sama berulang kali memberikan hasil yang baik. Saya menyadari bahwa walaupun saya telah menghabiskan banyak waktu …

326 bootstrap  communication 

Misalkan kita memiliki kumpulan data dengan poin. Kami ingin melakukan regresi linier, tetapi pertama-tama kami mengurutkan nilai dan nilai secara independen satu sama lain, membentuk kumpulan data . Apakah ada interpretasi yang bermakna dari regresi pada set data baru? Apakah ini punya nama?n X i Y i ( X i …

302 regression  correlation 

Apa perbedaan antara model Logit dan Probit ? Saya lebih tertarik di sini untuk mengetahui kapan harus menggunakan regresi logistik, dan kapan harus menggunakan Probit. Jika ada literatur yang mendefinisikannya menggunakan R , itu akan sangat membantu juga.

299 r  generalized-linear-model  logistic  probit  link-function