Statistik dan Big Data

Apa arti sebenarnya dari notasi subskrip dalam harapan bersyarat dalam kerangka teori ukuran? Subskrip ini tidak muncul dalam definisi ekspektasi bersyarat, tetapi kita dapat melihat misalnya di halaman wikipedia ini . (Perhatikan bahwa itu tidak selalu terjadi, halaman yang sama beberapa bulan yang lalu).EX[f(X)]EX[f(X)]\mathbb{E}_X[f(X)] Apa yang seharusnya misalnya arti dengan …

64 conditional-expectation  notation 

Saya cukup senang menggunakan model efek campuran untuk sementara waktu sekarang dengan data longitudinal. Saya berharap saya dapat menyesuaikan hubungan AR dengan Lmer (saya pikir saya benar bahwa saya tidak bisa melakukan ini?) Tapi saya tidak berpikir itu sangat penting sehingga saya tidak terlalu khawatir. Saya baru saja menemukan persamaan …

63 mixed-model  gee 

Ada banyak perdebatan dalam statistik antara orang Bayes dan sering. Saya biasanya menemukan ini agak mengganggu (walaupun saya pikir itu sudah mereda). Di sisi lain, saya telah bertemu beberapa orang yang mengambil pandangan pragmatis sepenuhnya dari masalah ini, mengatakan bahwa kadang-kadang lebih mudah untuk melakukan analisis yang sering dan kadang-kadang …

63 bayesian  frequentist 

Dalam beberapa tahun terakhir saya telah membaca sejumlah makalah yang menentang penggunaan pengujian signifikansi nol hipotesis dalam sains, tetapi tidak berpikir untuk membuat daftar persisten. Seorang kolega baru-baru ini meminta saya daftar seperti itu, jadi saya pikir saya akan meminta semua orang di sini untuk membantu membangunnya. Untuk memulai, inilah …

63 hypothesis-testing  statistical-significance  references  p-value 

Buku Taleb "The Black Swan" adalah buku terlaris New York Times ketika diterbitkan beberapa tahun yang lalu. Buku ini sekarang dalam edisi kedua. Setelah bertemu dengan ahli statistik di JSM (konferensi statistik tahunan), Taleb sedikit mengurangi kritiknya terhadap statistik. Tetapi tujuan buku ini adalah bahwa statistik tidak terlalu berguna karena …

63 extreme-value  rare-events 

Saya telah mencoba mereproduksi beberapa penelitian (menggunakan PCA) dari SPSS di R. Dalam pengalaman saya, principal() fungsi dari paket psychadalah satu-satunya fungsi yang mendekati (atau jika ingatan saya benar, mati) untuk mencocokkan output. Untuk mencocokkan hasil yang sama seperti di SPSS, saya harus menggunakan parameter principal(..., rotate = "varimax"). Saya …

63 r  spss  pca  factor-analysis  factor-rotation 

Apakah regresi berganda dan multivariat benar-benar berbeda? Apa itu variasi?

63 regression  multiple-regression  terminology  multivariate-regression 

Apa perbedaan antara data diskrit dan data kontinu?

63 continuous-data  discrete-data 

Apa yang menentukan pilihan fungsi (Softmax vs Sigmoid) dalam pengklasifikasi Logistik? Misalkan ada 4 kelas output. Masing-masing fungsi di atas memberikan probabilitas masing-masing kelas menjadi hasil yang benar. Jadi mana yang harus diambil untuk classifier?

63 machine-learning  logistic  classification  softmax 

Untuk beberapa pengujian R, ada batas yang lebih rendah pada perhitungan nilai p . Saya tidak yakin mengapa ini nomor ini, apakah ada alasan yang bagus untuk itu atau apakah itu hanya sewenang-wenang. Banyak paket statistik lain hanya pergi , jadi ini adalah tingkat presisi yang jauh lebih tinggi. Tapi …

63 r  p-value  reporting  precision 

Saya mendapat kesan bahwa ketika orang mengacu pada jaringan 'keyakinan mendalam' bahwa ini pada dasarnya adalah jaringan saraf tetapi sangat besar. Apakah ini benar atau apakah jaringan kepercayaan yang mendalam juga menyiratkan bahwa algoritma itu sendiri berbeda (yaitu, tidak ada umpan balik neural net tetapi mungkin sesuatu dengan loop umpan …

62 machine-learning  neural-networks  deep-learning  deep-belief-networks 

Apakah ada tujuan khusus dalam hal efisiensi atau fungsionalitas mengapa algoritma k-means tidak menggunakan misalnya cosine (dis) kesamaan sebagai metrik jarak, tetapi hanya dapat menggunakan norma Euclidean? Secara umum, akankah metode K-means patuh dan benar ketika jarak selain Euclidean dipertimbangkan atau digunakan? [Tambahan oleh @ttnphns. Pertanyaannya adalah dua kali lipat. …

62 clustering  k-means  distance-functions  euclidean 

Saya menghargai kegunaan bootstrap dalam memperoleh estimasi ketidakpastian, tetapi satu hal yang selalu mengganggu saya adalah distribusi yang sesuai dengan estimasi tersebut adalah distribusi yang ditentukan oleh sampel. Secara umum, sepertinya ide yang buruk untuk percaya bahwa frekuensi sampel kami terlihat persis seperti distribusi yang mendasarinya, jadi mengapa itu masuk …

62 bootstrap  uncertainty 

Siapa pun mendapat saran pustaka atau kode tentang cara sebenarnya merencanakan beberapa pohon sampel dari: getTree(rfobj, k, labelVar=TRUE) (Ya saya tahu Anda tidak seharusnya melakukan ini secara operasional, RF adalah kotak hitam, dll. Saya ingin secara visual kewarasan-periksa pohon untuk melihat apakah ada variabel yang berperilaku berlawanan, perlu penyesuaian / …

62 r  data-visualization  random-forest  cart 

Dalam menjawab pertanyaan ini John Christie menyarankan agar kecocokan model regresi logistik harus dinilai dengan mengevaluasi residu. Saya akrab dengan cara menafsirkan residu dalam OLS, mereka berada dalam skala yang sama dengan DV dan sangat jelas perbedaan antara y dan y yang diprediksi oleh model. Namun untuk regresi logistik, di …

62 r  logistic  generalized-linear-model  residuals  aic