Statistik dan Big Data

Saya seorang mahasiswa pascasarjana dalam bidang psikologi, dan ketika saya melanjutkan studi statistik yang semakin mandiri, saya semakin kagum dengan tidak memadainya pelatihan formal saya. Baik pengalaman pribadi dan tangan kedua menunjukkan bahwa kurangnya kekakuan statistik dalam pelatihan sarjana dan pascasarjana agak ada di mana-mana dalam psikologi. Dengan demikian, saya …

227 fallacy 

AIC dan BIC adalah kedua metode menilai model yang dikenakan sanksi untuk jumlah parameter yang diestimasi. Seperti yang saya pahami, BIC menghukum model lebih banyak untuk parameter gratis daripada AIC. Di luar preferensi berdasarkan ketatnya kriteria, apakah ada alasan lain untuk memilih AIC daripada BIC atau sebaliknya?

222 modeling  aic  cross-validation  bic  model-selection 

Saat melatih jaringan saraf, apa bedanya untuk mengatur: ukuran batch ke dan jumlah iterasi ke bSebuahSebuahabbb vs. ukuran batch ke dan jumlah iterasi ke dcccddd di mana ?a b = c dSebuahb=cd ab = cd Dengan kata lain, dengan asumsi bahwa kita melatih jaringan saraf dengan jumlah contoh pelatihan yang …

222 neural-networks  train 

Tampaknya sejumlah paket statistik yang saya gunakan membungkus kedua konsep ini bersama-sama. Namun, saya bertanya-tanya apakah ada asumsi atau data 'formalitas' yang berbeda yang harus benar digunakan satu sama lain. Contoh nyata akan sangat berguna.

215 pca  factor-analysis 

Apa perbedaan antara penambangan data, statistik, pembelajaran mesin dan AI? Apakah akurat untuk mengatakan bahwa mereka adalah 4 bidang yang berusaha menyelesaikan masalah yang sangat mirip tetapi dengan pendekatan yang berbeda? Apa sebenarnya kesamaan yang mereka miliki dan di mana mereka berbeda? Jika ada semacam hirarki di antara mereka, apakah …

208 machine-learning  data-mining 

Bayangkan skenario pembelajaran mesin standar: Anda dihadapkan dengan dataset multivariat yang besar dan Anda memiliki pemahaman yang cukup buram tentang itu. Yang perlu Anda lakukan adalah membuat prediksi tentang beberapa variabel berdasarkan apa yang Anda miliki. Seperti biasa, Anda membersihkan data, melihat statistik deskriptif, menjalankan beberapa model, memvalidasi silangnya, dll., …

207 machine-learning  forecasting  modeling  model-selection  forecastability 

... dengan asumsi bahwa saya dapat menambah pengetahuan mereka tentang varians secara intuitif ( Memahami "varians" secara intuitif ) atau dengan mengatakan: Ini adalah jarak rata-rata dari nilai data dari 'rata-rata' - dan karena varians berada dalam kuadrat unit, kami mengambil akar kuadrat untuk menjaga unit yang sama dan itu …

207 variance  covariance  intuition 

Jadi kita memiliki mean aritmatika (AM), mean geometrik (GM) dan rata-rata harmonik (HM). Formulasi matematis mereka juga terkenal bersama dengan contoh-contoh stereotip mereka yang terkait (misalnya, rata-rata Harmonik dan aplikasinya untuk masalah-masalah terkait 'kecepatan'). Namun, pertanyaan yang selalu membuat saya penasaran adalah "bagaimana cara saya memutuskan mana yang paling tepat …

197 mean 

Saya ingin menerapkan algoritma untuk pemilihan model otomatis. Saya berpikir untuk melakukan regresi bertahap tetapi apa pun akan dilakukan (itu harus didasarkan pada regresi linier). Masalah saya adalah bahwa saya tidak dapat menemukan metodologi, atau implementasi open source (saya bangun di java). Metodologi yang saya pikirkan adalah sesuatu seperti: menghitung …

193 references  feature-selection  model-selection  aic  stepwise-regression 

Yang mana buku teks pengantar terbaik untuk statistik Bayesian? Tolong, satu buku per jawaban.

192 bayesian  references 

Jika saya memiliki data positif yang sangat miring saya sering mengambil log. Tapi apa yang harus saya lakukan dengan data non-negatif yang sangat miring yang menyertakan nol? Saya telah melihat dua transformasi yang digunakan: catatan( X + 1 )log⁡(x+1)\log(x+1) yang memiliki fitur rapi yang 0 peta ke 0. catatan( x …

191 data-transformation  large-data 

Saya yakin banyak orang akan merespons dengan tautan ke 'biarkan saya mencari Google untuk Anda', jadi saya ingin mengatakan bahwa saya telah mencoba untuk mencari tahu ini jadi tolong maafkan kurangnya pemahaman saya di sini, tapi saya tidak tahu bagaimana caranya implementasi praktis dari jaringan saraf benar-benar berfungsi. Saya memahami …

187 machine-learning  neural-networks  nonlinear-regression 

Saya memiliki bingkai data R seperti ini: age group 1 23.0883 1 2 25.8344 1 3 29.4648 1 4 32.7858 2 5 33.6372 1 6 34.9350 1 7 35.2115 2 8 35.2115 2 9 35.2115 2 10 36.7803 1 ... Saya perlu mendapatkan bingkai data dalam formulir berikut: group mean …

181 r  data-transformation 

Setelah baru-baru ini lulus dari program PhD saya di bidang statistik, saya selama beberapa bulan terakhir mulai mencari pekerjaan di bidang statistik. Hampir setiap perusahaan yang saya anggap memiliki lowongan pekerjaan dengan judul pekerjaan " Data Scientist ". Bahkan, rasanya seperti sudah lama berlalu adalah hari-hari melihat jabatan pekerjaan Statistik …

181 terminology  definition  careers 

Saya menggunakan Python Keras packageuntuk jaringan saraf. Ini tautannya . Apakah batch_sizesama dengan jumlah sampel uji? Dari Wikipedia, kami memiliki informasi ini : Namun, dalam kasus lain, mengevaluasi jumlah-gradien mungkin memerlukan evaluasi mahal dari gradien dari semua fungsi puncak. Ketika set pelatihan sangat besar dan tidak ada rumus sederhana, mengevaluasi …

176 neural-networks  python  terminology  keras