Statistik dan Big Data

Saya memiliki beberapa coder independen yang mencoba mengidentifikasi peristiwa dalam rangkaian waktu - dalam hal ini, menonton video percakapan tatap muka dan mencari perilaku nonverbal tertentu (misalnya, anggukan kepala) dan mengkode waktu dan kategori masing-masing peristiwa. Data ini dapat diperlakukan sebagai seri waktu diskrit dengan laju pengambilan sampel tinggi (30 …

13 time-series  reliability  agreement-statistics 

Salah satu asumsi regresi logistik adalah linearitas dalam logit. Jadi begitu saya mendapatkan model saya dan menjalankan saya menguji nonlinier menggunakan uji Box-Tidwell. Salah satu prediktor kontinu saya (X) telah diuji positif untuk nonlinier. Apa yang harus saya lakukan selanjutnya? Karena ini merupakan pelanggaran terhadap asumsi saya harus menyingkirkan prediktor …

13 regression  logistic  references  assumptions  regression-strategies 

Bagaimana Anda tahu jika korelasi pada lag yang berbeda diperoleh dari korelasi silang (fungsi ccf) dari dua seri waktu adalah signifikan.

13 r  statistical-significance  cross-correlation 

Teorema Gauss-Markov memberi tahu kita bahwa penaksir OLS adalah penaksir tidak bias linier terbaik untuk model regresi linier. Tapi seandainya saya tidak peduli tentang linearitas dan ketidakberpihakan. Lalu apakah ada beberapa penaksir (kemungkinan nonlinier / bias) lainnya untuk model regresi linier yang merupakan yang paling efisien berdasarkan asumsi Gauss-Markov atau …

13 regression  unbiased-estimator 

Saya memiliki banyak artikel yang menyajikan "ATAU" dengan a- 95% CI (interval kepercayaan). Saya ingin memperkirakan dari artikel nilai P untuk OR yang diamati. Untuk itu, saya perlu asumsi mengenai distribusi OR. Distribusi apa yang dapat saya asumsikan / gunakan?

13 distributions  odds-ratio 

Dapatkah seseorang menjelaskan kepada saya perbedaan antara metode saat dan GMM (metode umum saat), hubungan mereka, dan kapan satu atau yang lain harus digunakan?

13 estimation  method-of-moments  generalized-moments 

Baru-baru ini mulai mengajar diri saya sendiri Pembelajaran Mesin dan Analisis Data, saya mendapati diri saya membentur dinding bata pada kebutuhan untuk membuat dan menanyakan set data yang besar. Saya ingin mengambil data yang telah saya kumpulkan dalam kehidupan profesional dan pribadi saya dan menganalisisnya tetapi saya tidak yakin cara …

13 data-mining  dataset  eda 

Pertanyaan ini sudah memiliki jawaban di sini : Algoritma backpropagation (2 jawaban) Ditutup 3 bulan lalu . Apa algoritma back-propagation dan bagaimana cara kerjanya?

13 algorithms  optimization  neural-networks 

Pertanyaannya langsung: Apakah pantas menggunakan regresi linier ketika Y dibatasi dan diskrit (misalnya skor tes 1 ~ 100, beberapa peringkat yang telah ditentukan 1 ~ 17)? Dalam hal ini, apakah "tidak baik" menggunakan regresi linier, atau benar-benar salah menggunakannya?

13 regression  multiple-regression  least-squares  linear  bounds 

Ketika kami melakukan pengujian kami berakhir dengan dua hasil. 1) Kami menolak hipotesis nol 2) Kami gagal menolak hipotesis nol. Kami tidak berbicara tentang menerima hipotesis alternatif. Jika kita tidak berbicara tentang menerima hipotesis alternatif, mengapa kita perlu memiliki hipotesis alternatif sama sekali? Berikut ini adalah pembaruan: Bisakah seseorang memberi …

13 hypothesis-testing 

Dengan pengetahuan terbatas yang saya miliki tentang SVM, itu baik untuk data pendek dan gemuk matriks , (banyak fitur, dan tidak terlalu banyak contoh), tetapi tidak untuk data besar.XXX Saya mengerti salah satu alasannya adalah Kernel Matrix adalah matriks mana, adalah jumlah instance dalam data. Jika kita mengatakan, 100K data, …

13 machine-learning  svm  large-data 

Saya sedang mengerjakan masalah regresi linier yang sangat besar, dengan ukuran data yang sangat besar sehingga harus disimpan pada sekelompok mesin. Akan terlalu besar untuk menggabungkan semua sampel ke dalam memori satu mesin (bahkan disk) Untuk melakukan regresi data ini, saya berpikir tentang pendekatan paralel, yaitu menjalankan regresi pada setiap …

13 regression  linear  large-data 

Dua ungkapan ini sangat membingungkan saya ketika saya belajar statistik. Sepertinya bagi saya mereka adalah hal yang sama sekali berbeda. Sebuah sampel acak adalah untuk secara acak mengambil sampel dari suatu populasi, sedangkan variabel acak seperti fungsi yang memetakan himpunan semua hasil yang mungkin dari suatu eksperimen untuk bilangan real. …

13 mathematical-statistics  random-variable  terminology  sample 

Saya bertanggung jawab untuk mempresentasikan hasil tes A / B (dijalankan berdasarkan variasi situs web) di perusahaan saya. Kami menjalankan tes selama satu bulan dan kemudian memeriksa nilai-p pada interval reguler sampai kami mencapai signifikansi (atau mengabaikan jika signifikansi tidak tercapai setelah menjalankan tes untuk waktu yang lama), sesuatu yang …

13 hypothesis-testing  statistical-significance  bias  ab-test  optimal-stopping 

Pertanyaan saya berasal dari fakta berikut. Saya telah membaca posting, blog, ceramah serta buku tentang pembelajaran mesin. Kesan saya adalah bahwa praktisi pembelajaran mesin tampaknya tidak peduli dengan banyak hal yang dipedulikan oleh para ahli statistik / ekonometrik. Secara khusus, praktisi pembelajaran mesin menekankan akurasi prediksi di atas inferensi. Salah …

13 machine-learning  self-study  inference