Statistik dan Big Data

Ketika mempelajari pemilihan kovarians, saya pernah membaca contoh berikut. Sehubungan dengan model berikut: Matriks kovariansnya dan matriks kovarians terbalik diberikan sebagai berikut, Saya tidak mengerti mengapa independensi dan diputuskan oleh kovarians terbalik di sini?yxxxyyy Apa logika matematika yang mendasari hubungan ini? Juga, grafik sebelah kiri pada gambar berikut diklaim untuk …

10 machine-learning  bayesian  conditional-probability  covariance  graphical-model 

Saya mencoba mempelajari beberapa statistik menggunakan buku, Biometri oleh Sokal dan Rohlf (3e). Ini adalah latihan dalam bab ke-5 yang mencakup probabilitas, distribusi binomial, dan distribusi Poisson. Saya menyadari ada rumus untuk menghasilkan jawaban untuk pertanyaan ini: Namun, persamaan ini tidak ada dalam teks ini. Saya ingin tahu bagaimana cara …

10 self-study  binomial  proportion  power-analysis  type-i-and-ii-errors 

Dalam banyak algoritme pembelajaran mesin, penskalaan fitur (penskalaan variabel, normalisasi) adalah langkah umum yang belum ada. Wikipedia - Penskalaan Fitur - pertanyaan ini hampir selesai. Pertanyaan # 41704 - Bagaimana dan mengapa kerja normalisasi dan penskalaan fitur berfungsi? Saya punya dua pertanyaan khusus sehubungan dengan Pohon Keputusan: Apakah ada implementasi …

10 machine-learning  feature-selection  cart 

Dalam beberapa tahun terakhir, berbagai cendekiawan telah mengangkat masalah pengujian hipotesis ilmiah yang merugikan, dijuluki "derajat kebebasan peneliti," yang berarti bahwa para ilmuwan memiliki banyak pilihan untuk membuat selama analisis mereka yang bias terhadap penemuan dengan nilai p <5%. Pilihan ambigu ini, misalnya, kasus mana yang akan dimasukkan, kasus mana …

10 hypothesis-testing  inference  philosophical  reproducible-research  social-science 

Saya membaca artikel yang menunjukkan Hazard Ratios untuk variabel kontinu, tapi saya tidak yakin bagaimana menafsirkan nilai yang diberikan. Pemahaman saya saat ini tentang rasio bahaya adalah bahwa angka tersebut mewakili kemungkinan relatif dari [peristiwa] yang diberikan beberapa kondisi. Misalnya: jika rasio bahaya untuk kematian akibat kanker paru-paru yang diberikan …

10 continuous-data  hazard 

Saya bingung dengan rumus yang tepat untuk perkiraan derajat kebebasan untuk digunakan untuk uji-t Welch. (1946) rumus Satterthwaite adalah rumus yang paling sering dikutip, tetapi Welch memberi alternatif pada tahun 1947. Saya tidak yakin mana yang lebih disukai (atau digunakan oleh sebagian besar perangkat lunak statistik). Rumus Satterthwaite: ( s2x/ …

10 hypothesis-testing  t-test  degrees-of-freedom 

Apa langkah-langkah yang terlibat dalam penggunaan filter Kalman dalam model ruang negara? Saya telah melihat beberapa formulasi berbeda , tetapi saya tidak yakin tentang detailnya. Misalnya, Cowpertwait mulai dengan set persamaan ini: θt=Gtθt-1+wtyt= F′tθt+ vtyt=Ft′θt+vty_{t} = F^{'}_{t}\theta_{t}+v_{t} θt= Gtθt - 1+ wtθt=Gtθt−1+wt\theta_{t} = G_{t}\theta_{t-1}+w_{t} di mana , dan , adalah …

10 kalman-filter  state-space-models 

Ini adalah deskripsi penelitian saya. Saya bereksperimen dengan tiga tanaman: A, B, dan C. Tanaman ini seharusnya mengurangi glukosa darah untuk pasien diabetes. Saya ingin menentukan yang mana dari ketiga tanaman ini yang memiliki efek lebih lama pada pengurangan glukosa darah setelah pemberian tunggal pada tikus. Ini dilakukan dengan mengukur …

10 time-series  anova 

Pengaturan masalah Salah satu masalah mainan pertama yang ingin saya terapkan pada PyMC adalah pengelompokan nonparametrik: diberi beberapa data, modelkan sebagai campuran Gaussian, dan pelajari jumlah cluster dan rata-rata dan kovarian setiap cluster. Sebagian besar yang saya ketahui tentang metode ini berasal dari ceramah video oleh Michael Jordan dan Yee …

10 bayesian  clustering  python  pymc  nonparametric-bayes 

Saya memiliki 3 hingga 5 ukuran sifat per individu dalam dua kondisi berbeda (A dan B). Saya merencanakan rata-rata untuk setiap individu dalam setiap kondisi dan saya menggunakan kesalahan standar ( yaitu , , dengan = jumlah pengukuran) sebagai bar kesalahan. NSD/N−−√SD/NSD/\sqrt{N}NNN Sekarang saya ingin merencanakan perbedaan antara ukuran rata-rata …

10 standard-deviation  standard-error  error  error-propagation 

Apakah masuk akal untuk menghitung interval kepercayaan dan untuk menguji hipotesis ketika data dari seluruh populasi tersedia? Menurut pendapat saya, jawabannya adalah tidak, karena kita dapat secara akurat menghitung nilai sebenarnya dari parameter. Tetapi kemudian, berapa proporsi maksimal data dari populasi asli yang memungkinkan kita untuk menggunakan teknik yang disebutkan …

10 hypothesis-testing  confidence-interval  sample-size  large-data  population 

Saya menemukan pertanyaan sederhana tentang membandingkan model yang fleksibel (yaitu splines) vs model yang tidak fleksibel (misalnya regresi linier) di bawah skenario yang berbeda. Pertanyaannya adalah: Secara umum, apakah kita mengharapkan kinerja metode pembelajaran statistik yang fleksibel untuk melakukan lebih baik atau lebih buruk daripada metode yang tidak fleksibel ketika: …

10 machine-learning  model 

Saya tertarik pada referensi yang baik untuk hasil mengenai sifat asimptotik dari penduga kemungkinan maksimum. Pertimbangkan model mana adalah kepadatan -dimensi, dan \ hat \ theta_n adalah MLE berdasarkan sampel X_1, \ ldots, X_n dari f_n (\ cdot \ mid \ theta_0) di mana \ theta_0 adalah nilai \ true …

10 maximum-likelihood  references 

Saya sedang membaca artikel ini terkait dengan jaring elastis. Mereka mengatakan bahwa mereka menggunakan jaring elastis karena jika kita hanya menggunakan Lasso itu cenderung memilih hanya satu prediktor di antara para prediktor yang sangat berkorelasi. Tapi bukankah ini yang kita inginkan. Maksud saya itu menyelamatkan kita dari masalah multikolinearitas bukan. …

10 regression  lasso  elastic-net 

Saya membaca halaman web untuk uji kelayakan , ketika saya datang ke tes Anderson – Darling dan kriteria Cramér – von Mises . Sejauh ini saya mengerti maksudnya; tampaknya tes Anderson-Darling dan kriteria Cramér-von Mises serupa, hanya berdasarkan pada fungsi bobot yang berbeda dengan . Juga ada varian kriteria Cramér-von …

10 goodness-of-fit  anderson-darling