Statistik dan Big Data

Dalam uji klinis - perspektif metodologis , Steven Piantadosi menulis (bab.13, hal. 334): Dalam Bab 2, saya mencatat keberatan untuk pengacakan oleh Abel dan Koch (1997) dan Urbach (1993), dan menunjukkan nilai mempelajari kekhawatiran mereka dan kemungkinan kesalahan. Mereka menolak pengacakan sebagai berarti memvalidasi tes statistik tertentu, dasar untuk inferensi …

10 clinical-trials  random-allocation 

Banyak pertanyaan yang saya posting di SE bulan lalu bertujuan membantu saya memecahkan masalah khusus ini. Semua pertanyaan sudah dijawab, tetapi saya masih belum bisa menemukan solusi. Jadi, saya pikir saya harus menanyakan masalah yang saya coba selesaikan secara langsung. Biarkan , di mana , , (integer), dan setiap adalah …

10 distributions  mathematical-statistics  probability  function 

Saya mencoba memperbarui model berbasis lm () saya untuk mendapatkan kesalahan dan pengujian standar yang benar. Saya benar-benar bingung yang menggunakan matriks VC. The sandwichpaket penawaran vcovHC, vcovHACdan NeweyWest. Sementara yang pertama hanya bertanggung jawab untuk heteroskedastisitas, dua yang terakhir menjelaskan korelasi serial dan heteroskedastisitas. Namun, dokumentasi tidak memberi tahu …

10 regression  time-series  neweywest 

T: Untuk data mana yang tepat untuk menggunakan pemodelan ruang-negara dan pemfilteran Kalman alih-alih menghaluskan splines dan sebaliknya? Apakah ada hubungan kesetaraan antara keduanya? Saya mencoba untuk mendapatkan pemahaman tingkat tinggi tentang bagaimana metode ini cocok bersama. Saya melihat-lihat Estimasi Gaussian baru Johnstone : Sequence and Multiresolution Models . Yang …

10 kalman-filter  splines  state-space-models 

Saya mencoba memahami bagaimana sebenarnya faktor bekerja di R. Katakanlah saya ingin menjalankan regresi menggunakan beberapa data sampel di R: > data(CO2) > colnames(CO2) [1] "Plant" "Type" "Treatment" "conc" "uptake" > levels(CO2$Type) [1] "Quebec" "Mississippi" > levels(CO2$Treatment) [1] "nonchilled" "chilled" > lm(uptake ~ Type + Treatment, data = CO2) Call: …

10 r  regression  interaction 

Apakah ada fungsi untuk menguji hipotesis bahwa korelasi dua vektor sama dengan angka yang diberikan, katakanlah 0,75? Dengan menggunakan cor.test saya dapat menguji cor = 0 dan saya dapat melihat apakah 0,75 berada di dalam interval kepercayaan. Tetapi apakah ada fungsi untuk menghitung nilai p untuk cor = 0,75? x …

10 r  correlation 

Dalam pertanyaan ini mereka bertanya bagaimana cara membandingkan Pearson r untuk dua kelompok independen (seperti laki-laki vs perempuan). Balas dan komentar menyarankan dua cara: Gunakan rumus Fisher yang terkenal menggunakan "z-tranformation" dari r; Gunakan perbandingan lereng (koefisien regresi). Yang terakhir dapat dengan mudah dilakukan hanya melalui model linier jenuh: , …

10 regression  correlation  hypothesis-testing 

Adakah yang bisa menjelaskan secara detail: Apa yang dimaksud dengan menolak menyimpulkan? Bagaimana ini dapat digunakan untuk meningkatkan akurasi model saya? Saya memang memiliki gagasan untuk menolak menyimpulkan dalam aplikasi kartu kredit tetapi berjuang dengan pemikiran menggunakannya untuk meningkatkan akurasi model saya.

10 logistic 

Saya ingin mempelajari data mining. Apakah ada kuliah video gratis di luar sana yang menjelaskan proses penambangan data secara mendalam?

10 references  data-mining 

Ketika melakukan validasi silang 5 kali lipat (misalnya), biasanya menghitung kurva ROC terpisah untuk masing-masing dari 5 lipatan dan sering kali kurva ROC rata-rata dengan std. dev. ditampilkan sebagai ketebalan kurva. Namun, untuk LOO cross-validation, di mana hanya ada satu titik data pengujian di setiap lipatan, tampaknya tidak masuk akal …

10 cross-validation  roc 

Ketika saya mengambil kursus dalam statistik teoritis sebagai sarjana 10 tahun yang lalu, kami menggunakan Statistik Matematika Modern oleh Dudewicz dan Mishra. Saya menemukan diri saya merujuk kembali ke buku sekarang dan saya diingatkan beberapa contoh kode dalam perakitan untuk IBM 370. Meskipun aneh, saya tidak dapat membantu tetapi merasa …

10 references 

Saya punya pertanyaan tentang apakah atau tidak menggunakan offset. Asumsikan model yang sangat mudah, di mana Anda ingin menggambarkan jumlah (keseluruhan) gol dalam hoki. Jadi Anda memiliki gol, jumlah permainan yang dimainkan dan "striker" variabel dummy yang sama dengan 1 jika pemain adalah striker dan 0 sebaliknya. Jadi, mana dari …

10 r  regression  poisson-distribution  generalized-linear-model  count-data 

Ini cukup sulit untuk saya gambarkan, tetapi saya akan mencoba membuat masalah saya dapat dimengerti. Jadi pertama-tama Anda harus tahu bahwa saya telah melakukan regresi linier yang sangat sederhana sejauh ini. Sebelum saya memperkirakan koefisien, saya memperhatikan distribusi saya . Itu berat miring miring. Setelah saya memperkirakan model, saya cukup …

10 regression  residuals  skewness 

Misalkan saya memiliki model regresi kuadrat Y=β0+β1X+β2X2+ϵY=β0+β1X+β2X2+ϵ Y = \beta_0 + \beta_1 X + \beta_2 X^2 + \epsilon dengan kesalahan ϵϵ\epsilon memenuhi asumsi biasa (independen, normal, independen dari nilai-nilai XXX ). Biarkan b0,b1,b2b0,b1,b2b_0, b_1, b_2 menjadi estimasi kuadrat terkecil. Saya memiliki dua nilai XXX baru x1x1x_1 dan x2x2x_2 , dan …

10 regression  confidence-interval 

Dalam hal penduga yang kuat, Apa artinya efisiensi Gaussian ? Misalnya memiliki 82% efisiensi Gaussian dan 50% titik kerusakan.QnQnQ_{_n} Referensi adalah: Rousseeuw PJ, dan Croux, C. (1993). "Alternatif untuk median penyimpangan absolut." J. American Statistical Assoc., 88, 1273-1283

10 normal-distribution  scales  robust