Statistik dan Big Data

Saya bukan ahli statistik dalam bidang pendidikan, saya seorang insinyur perangkat lunak. Namun statistik banyak muncul. Bahkan, pertanyaan-pertanyaan khusus tentang kesalahan Tipe I dan Tipe II banyak muncul dalam proses belajar saya untuk ujian Associate Pengembangan Perangkat Lunak Bersertifikat (matematika dan statistik adalah 10% dari ujian). Saya mengalami masalah selalu …

88 terminology  type-i-and-ii-errors 

Saya bekerja dengan sejumlah besar deret waktu. Rangkaian waktu ini pada dasarnya adalah pengukuran jaringan yang datang setiap 10 menit, dan beberapa di antaranya periodik (yaitu bandwidth), sementara beberapa lainnya tidak (yaitu jumlah lalu lintas perutean). Saya ingin algoritma sederhana untuk melakukan "deteksi outlier" online. Pada dasarnya, saya ingin menyimpan …

88 time-series  outliers  mathematical-statistics  real-time 

Jika kita memasang glmer, kita mungkin mendapat peringatan yang memberitahu kita bahwa model tersebut mengalami kesulitan untuk berkumpul ... misalnya >Warning message: In checkConv(attr(opt, "derivs"), opt$par, ctrl = control$checkConv, : Model failed to converge with max|grad| = 0.00389462 (tol = 0.001) Cara lain untuk memeriksa konvergensi yang dibahas di utas …

88 r  mixed-model  lme4-nlme 

Menyesuaikan regresi logistik menggunakan lme4 berakhir dengan Error in mer_finalize(ans) : Downdated X'X is not positive definite. Kemungkinan penyebab kesalahan ini adalah kelangkaan peringkat. Apa itu kekurangan peringkat, dan bagaimana saya harus mengatasinya?

87 r  logistic  lme4-nlme 

Saya tahu bahwa k-means tidak diawasi dan digunakan untuk pengelompokan dll dan bahwa k-NN diawasi. Tapi saya ingin tahu perbedaan konkret antara keduanya?

86 machine-learning  k-means  k-nearest-neighbour 

Mengingat bahwa perangkat lunak dapat melakukan perhitungan tes Fisher dengan sangat mudah saat ini , apakah ada keadaan di mana, secara teoritis atau praktis, tes chi-squared sebenarnya lebih disukai daripada tes eksak Fisher? Keuntungan dari uji eksak Fisher meliputi: skala untuk tabel kontingensi lebih besar dari 2x2 (yaitu setiap r …

86 chi-squared  contingency-tables  fishers-exact 

Misalkan saya memiliki satu set data sampel dari distribusi yang tidak diketahui atau kompleks, dan saya ingin melakukan beberapa kesimpulan pada statistik dari data tersebut. Kecenderungan default saya adalah untuk hanya menghasilkan sekelompok sampel bootstrap dengan penggantian, dan menghitung statistik saya pada setiap sampel bootstrap untuk membuat distribusi diperkirakan untuk …

86 hypothesis-testing  confidence-interval  bootstrap 

Saya tahu secara kasar dan tidak resmi apa itu interval kepercayaan diri. Namun, sepertinya saya tidak bisa membungkus kepala saya di sekitar satu detail yang agak penting: Menurut Wikipedia: Interval kepercayaan tidak memprediksi bahwa nilai sebenarnya dari parameter memiliki probabilitas tertentu berada dalam interval kepercayaan mengingat data benar-benar diperoleh. Saya …

86 confidence-interval  definition 

Wiki membahas masalah yang muncul ketika multikolinieritas merupakan masalah dalam regresi linier. Masalah dasarnya adalah hasil multikolinieritas dalam estimasi parameter yang tidak stabil yang membuatnya sangat sulit untuk menilai pengaruh variabel independen terhadap variabel dependen. Saya mengerti alasan teknis di balik masalah (mungkin tidak dapat membalikkan , - dikondisikan dll) …

85 regression  intuition  multicollinearity 

Apakah pernah valid untuk memasukkan interaksi dua arah dalam suatu model tanpa menyertakan efek utama? Bagaimana jika hipotesis Anda hanya tentang interaksi, apakah Anda masih perlu memasukkan efek utama?

85 regression  modeling  interaction  regression-coefficients 

Saya suka buku G van Belle tentang Aturan Statistik Thumb , dan pada tingkat lebih rendah Kesalahan Umum dalam Statistik (dan Cara Menghindari Mereka) dari Phillip I Good dan James W. Hardin. Mereka mengatasi perangkap umum ketika menafsirkan hasil dari studi eksperimental dan pengamatan dan memberikan rekomendasi praktis untuk inferensi …

85 modeling  eda  rule-of-thumb 

Kita semua tahu mantra "korelasi tidak menyiratkan sebab akibat" yang dimasukkan ke dalam semua siswa statistik tahun pertama. Ada beberapa contoh bagus di sini untuk menggambarkan ide tersebut. Tetapi kadang-kadang korelasi memang menyiratkan sebab-akibat. Contoh berikut diambil dari halaman Wikipedia ini Misalnya, seseorang dapat menjalankan percobaan pada kembar identik yang …

85 correlation  causality 

Saya muat beberapa model efek campuran (terutama model longitudinal) menggunakan lme4di Rtetapi ingin benar-benar menguasai model dan kode yang terjadi dengan mereka. Namun, sebelum menyelam dengan kedua kaki (dan membeli beberapa buku) saya ingin memastikan bahwa saya belajar perpustakaan yang tepat. Saya telah menggunakan lme4sampai sekarang karena saya baru saja …

85 r  mixed-model  lme4-nlme 

Ini adalah fakta yang diketahui bahwa median tahan terhadap pencilan. Jika itu masalahnya, kapan dan mengapa kita akan menggunakan mean di tempat pertama? Satu hal yang bisa saya pikirkan adalah memahami keberadaan outlier yaitu jika median jauh dari rata-rata, maka distribusinya miring dan mungkin data perlu diperiksa untuk memutuskan apa …

84 mathematical-statistics  mean  median 

Saya baru mengenal pembelajaran mesin, dan saya telah berusaha mencari tahu bagaimana menerapkan jaringan saraf pada peramalan runtun waktu. Saya telah menemukan sumber daya yang terkait dengan permintaan saya, tetapi sepertinya saya masih sedikit bingung. Saya pikir penjelasan dasar tanpa terlalu banyak detail akan membantu. Katakanlah saya memiliki beberapa nilai …

83 time-series  forecasting  neural-networks