Statistik dan Big Data

Pertanyaan ini telah ditanyakan pada CV beberapa tahun yang lalu, sepertinya layak untuk dikirim kembali mengingat 1) urutan teknologi komputasi yang lebih baik (mis. Komputasi paralel, HPC dll) dan 2) teknik yang lebih baru, misalnya [3]. Pertama, beberapa konteks. Mari kita asumsikan tujuannya bukan pengujian hipotesis, bukan estimasi efek, tetapi …

67 machine-learning  modeling  feature-selection  model-selection  prediction 

Dikatakan di Wikipedia bahwa: matematika [probabilitas] sebagian besar tidak tergantung pada interpretasi probabilitas. Pertanyaan: Lalu jika kita ingin menjadi matematis benar, seharusnya tidak kita melarang setiap interpretasi probabilitas? Yaitu, apakah Bayesian dan frequentism secara matematis salah? Saya tidak suka filsafat, tetapi saya suka matematika, dan saya ingin bekerja secara eksklusif …

67 probability  bayesian  frequentist  philosophical  kolmogorov-axioms 

Saya baru mengenal Analisis Komponen Independen (ICA) dan hanya memiliki pemahaman dasar tentang metode ini. Tampak bagi saya bahwa ICA mirip dengan Analisis Faktor (FA) dengan satu pengecualian: ICA mengasumsikan bahwa variabel acak yang diamati adalah kombinasi linear dari komponen / faktor independen yang non-gaussian sedangkan model FA klasik mengasumsikan …

67 multivariate-analysis  factor-analysis  ica 

Jaringan saraf berulang berbeda dari yang "biasa" dengan fakta bahwa mereka memiliki lapisan "memori". Karena lapisan ini, NN berulang seharusnya berguna dalam pemodelan deret waktu. Namun, saya tidak yakin saya mengerti benar cara menggunakannya. Katakanlah saya memiliki deret waktu berikut (dari kiri ke kanan) :, [0, 1, 2, 3, 4, …

67 time-series  machine-learning  neural-networks 

Saya tidak pernah benar-benar memahami perbedaan antara dua ukuran konvergensi ini. (Atau, pada kenyataannya, salah satu dari jenis konvergensi yang berbeda, tetapi saya menyebutkan keduanya secara khusus karena Lemah dan Hukum Kuat dari Sejumlah Besar.) Tentu, saya bisa mengutip definisi masing-masing dan memberikan contoh di mana mereka berbeda, tetapi saya …

67 probability  random-variable 

Saya memiliki beberapa data ordinal yang diperoleh dari pertanyaan survei. Dalam kasus saya, mereka adalah respons gaya likert (Sangat Tidak Setuju-Tidak Setuju-Netral-Setuju-Sangat Setuju). Dalam data saya mereka diberi kode 1-5. Saya tidak berpikir cara berarti banyak di sini, jadi statistik ringkasan dasar apa yang dianggap berguna?

67 descriptive-statistics  likert  ordinal-data 

Rumus untuk varian komputasi memiliki dalam penyebut:(n−1)(n−1)(n-1) s2=∑Ni=1(xi−x¯)2n−1s2=∑i=1N(xi−x¯)2n−1s^2 = \frac{\sum_{i=1}^N (x_i - \bar{x})^2}{n-1} Saya selalu bertanya-tanya mengapa. Namun, membaca dan menonton beberapa video bagus tentang "mengapa" itu tampaknya adalah penduga yang baik dan tidak bias dari varians populasi. Sedangkan meremehkan dan melebih-lebihkan varians populasi.(n−1)(n−1)(n-1)nnn(n−2)(n−2)(n-2) Yang saya ingin tahu, adalah bahwa …

67 variance  unbiased-estimator  proof  history 

Adakah yang tahu mengapa offset dalam regresi Poisson digunakan? Apa yang Anda capai dengan ini?

67 poisson-regression  offset 

Dalam analisis komponen utama (PCA), kami mendapatkan vektor eigen (vektor satuan) dan nilai eigen. Sekarang, mari kita mendefinisikan pemuatan sebagaiLoadings=Eigenvectors⋅Eigenvalues−−−−−−−−−−√.Loadings=Eigenvectors⋅Eigenvalues.\text{Loadings} = \text{Eigenvectors} \cdot \sqrt{\text{Eigenvalues}}. Saya tahu bahwa vektor eigen hanya arah dan pemuatan (seperti yang didefinisikan di atas) juga termasuk varian di sepanjang arah ini. Tetapi untuk pemahaman saya yang …

67 pca 

Saya membaca tentang kernel PCA ( 1 , 2 , 3 ) dengan kernel Gaussian dan polinomial. Bagaimana kernel Gaussian memisahkan data nonlinier dengan sangat baik? Tolong beri analisis intuitif, serta yang terlibat secara matematis jika memungkinkan. Apa yang dimaksud dengan properti kernel Gaussian (dengan ideal ) yang tidak dimiliki …

67 machine-learning  pca  svm  kernel-trick 

Saya melakukan beberapa perhitungan pada matriks yang berbeda (terutama dalam regresi logistik) dan saya biasanya mendapatkan kesalahan "Matriks singular", di mana saya harus kembali dan menghapus variabel yang berkorelasi. Pertanyaan saya di sini adalah apa yang Anda anggap sebagai matriks berkorelasi "sangat"? Apakah ada nilai ambang korelasi untuk mewakili kata …

66 regression  correlation  matrix  multicollinearity  singular 

Saya memiliki beberapa ratus pengukuran. Sekarang, saya mempertimbangkan untuk menggunakan beberapa jenis perangkat lunak untuk menghubungkan setiap ukuran dengan setiap ukuran. Ini berarti ada ribuan korelasi. Di antara ini harus ada (secara statistik) ada korelasi yang tinggi, bahkan jika data benar-benar acak (masing-masing ukuran hanya memiliki sekitar 100 titik data). …

66 correlation  multiple-comparisons  permutation-test 

Saya melihat gambar ini banyak beredar. Saya punya firasat bahwa informasi yang diberikan dengan cara ini entah bagaimana tidak lengkap atau bahkan salah, tetapi saya tidak cukup berpengalaman dalam statistik untuk merespon. Itu membuat saya berpikir tentang komik xkcd ini , bahwa bahkan dengan data historis yang kuat, situasi tertentu …

66 probability  interpretation  prediction 

Ini bukan pertanyaan pekerjaan rumah tetapi masalah nyata yang dihadapi oleh perusahaan kami. Baru-baru ini (2 hari yang lalu) kami memesan untuk pembuatan 10.000 label produk ke dealer. Dealer adalah orang yang mandiri. Dia mendapatkan label yang diproduksi dari luar dan perusahaan melakukan pembayaran ke dealer. Setiap label harganya tepat …

66 probability  bayesian  model  decision-theory 

Di sebagian besar tugas pembelajaran mesin di mana Anda dapat merumuskan beberapa probabilitas yang harus dimaksimalkan, kami sebenarnya akan mengoptimalkan probabilitas alih-alih probabilitas untuk beberapa parameter . Misalnya dalam pelatihan kemungkinan maksimum, biasanya log-kemungkinan. Ketika melakukan ini dengan beberapa metode gradien, ini melibatkan faktor:ppplogplog⁡p\log pθθ\theta ∂logp∂θ=1p⋅∂p∂θ∂log⁡p∂θ=1p⋅∂p∂θ \frac{\partial \log p}{\partial \theta} …

66 probability  optimization  log-likelihood