Statistik dan Big Data

Katakanlah kita memiliki variabel dependen YYY dengan beberapa kategori dan set variabel independen. Apa keuntungan dari regresi logistik multinomial daripada serangkaian regresi logistik biner (yaitu skema one-vs-rest )? Dengan set regresi logistik biner yang saya maksud bahwa untuk setiap kategori yi∈Yyi∈Yy_{i} \in Y kita membangun model regresi logistik biner terpisah …

36 logistic  categorical-data  multinomial 

Dalam artikel saat ini di SCIENCE berikut ini diusulkan: Misalkan Anda membagi secara acak 500 juta pendapatan di antara 10.000 orang. Hanya ada satu cara untuk memberi setiap orang bagian yang sama, 50.000 saham. Jadi, jika Anda membagikan penghasilan secara acak, kesetaraan sangat tidak mungkin. Tetapi ada banyak cara untuk …

36 distributions  mathematical-statistics  exponential 

plot(density(rexp(100)) Jelas semua kepadatan di sebelah kiri nol merupakan bias. Saya ingin meringkas beberapa data untuk non-statistik, dan saya ingin menghindari pertanyaan tentang mengapa data non-negatif memiliki kepadatan di sebelah kiri nol. Plot-plot tersebut untuk pengecekan pengacakan; Saya ingin menunjukkan distribusi variabel berdasarkan kelompok perlakuan dan kontrol. Distribusi seringkali eksponensial-ish. …

36 r  pdf  gamma-distribution  kernel-smoothing 

Saya baru-baru ini menemukan kertas "The Signifikansi Null Hypothesis Significance Testing", Jeff Gill (1999) . Penulis mengemukakan beberapa kesalahpahaman umum mengenai pengujian hipotesis dan nilai-p, yang saya punya dua pertanyaan spesifik: Nilai-p secara teknis , yang, sebagaimana ditunjukkan oleh makalah, umumnya tidak memberi tahu kita apa-apa tentang , kecuali kita …

36 hypothesis-testing  p-value 

Baru-baru ini saya belajar tentang prinsip penalaran probabilistik yang disebut " menjelaskan ," dan saya mencoba memahami intuisi untuk itu. Biarkan saya mengatur skenario. Biarkan menjadi peristiwa gempa bumi terjadi. Biarkan acara menjadi acara dimana raksasa hijau periang itu berjalan-jalan di sekitar kota. Biarkan menjadi peristiwa bahwa tanah bergetar. Mari …

36 probability  intuition 

Ini adalah musim penerimaan untuk sekolah pascasarjana. Saya (dan banyak siswa seperti saya) sekarang mencoba memutuskan program statistik mana yang akan dipilih. Apa sajakah hal-hal di antara Anda yang bekerja dengan statistik menyarankan kami pertimbangkan tentang program master dalam statistik? Adakah kesalahan atau kesalahan umum yang dilakukan siswa (mungkin terkait …

36 machine-learning  mathematical-statistics  careers 

Saya ingin menggunakan Lasso atau regresi ridge untuk model dengan lebih dari 50.000 variabel. Saya ingin melakukannya menggunakan paket perangkat lunak dalam R. Bagaimana saya bisa memperkirakan parameter penyusutan ( )?λλ\lambda Suntingan: Inilah poin yang ingin saya sampaikan: set.seed (123) Y <- runif (1000) Xv <- sample(c(1,0), size= 1000*1000, replace …

36 r  lasso  ridge-regression  high-dimensional 

Saya punya daftar kecil perusahaan yang menyediakan platform untuk menjalankan skrip R, python, atau oktaf pada kluster yang dibangun di atas amazon EC2. Apakah ada nama lain yang harus saya tambahkan? Cloudnumber Opani crdata

36 r  machine-learning 

Jika didistribusikan , didistribusikan dan , saya tahu bahwa didistribusikan jika X dan Y independen.N ( μ X , σ 2 X ) Y N ( μ Y , σ 2 Y ) Z = X + Y Z N ( μ X + μ Y , σ 2 X …

36 normal-distribution  mathematical-statistics 

Saya mencari untuk melatih classifier yang akan membedakan antara Type Adan Type Bobjek dengan set pelatihan yang cukup besar sekitar 10.000 objek, sekitar setengah dari yang ada Type Adan setengahnya adalah Type B. Dataset terdiri dari 100 fitur kontinu yang merinci sifat fisik sel (ukuran, radius rata-rata, dll). Memvisualisasikan data …

36 r  machine-learning  random-forest 

Saya melihat regresi terbatas yang serupa di sini: Regresi linear terbatas melalui titik tertentu tetapi persyaratan saya sedikit berbeda. Saya perlu koefisien untuk menambahkan hingga 1. Secara khusus saya mundur pengembalian 1 seri valuta asing terhadap 3 seri valuta asing lainnya, sehingga investor dapat mengganti eksposur mereka ke seri itu …

36 r  regression 

Saya ingin mengukur waktu yang diperlukan untuk mengulangi menjalankan suatu fungsi. Apakah replicate()dan menggunakan for-loop setara? Sebagai contoh: system.time(replicate(1000, f())); system.time(for(i in 1:1000){f()}); Yang merupakan metode yang disukai. Dalam output system.time(), apakah sys+userwaktu CPU sebenarnya untuk menjalankan program? Apakah elapsedukuran kinerja waktu program yang baik?

36 r 

Versi yang sangat sederhana dari teorema terbatas pusat seperti di bawah ini yang merupakan Lindeberg-Lévy CLT. Saya tidak mengerti mengapa ada di sebelah kiri. Dan Lyapunov CLT mengatakan tetapi mengapa bukan ? Adakah yang bisa memberitahu saya apa saja faktor-faktor ini, seperti dan ? bagaimana kita mendapatkannya di teorema?n−−√((1n∑i=1nXi)−μ) →d …

36 central-limit-theorem  intuition 

Saya mencari di banyak situs web untuk mengetahui apa yang sebenarnya akan dilakukan lift? Hasil yang saya temukan semua tentang menggunakannya dalam aplikasi tidak dengan sendirinya. Saya tahu tentang fungsi dukungan dan kepercayaan diri. Dari Wikipedia, dalam penggalian data, lift adalah ukuran kinerja model dalam memprediksi atau mengklasifikasikan kasus, mengukur …

36 data-mining 

Dalam kondisi apa seseorang harus mempertimbangkan untuk menggunakan analisis bertingkat / hierarkis yang bertentangan dengan analisis yang lebih mendasar / tradisional (misalnya, ANOVA, regresi OLS, dll.)? Apakah ada situasi di mana ini dapat dianggap wajib? Apakah ada situasi di mana menggunakan analisis bertingkat / hierarkis tidak pantas? Akhirnya, apa saja …

36 mixed-model  multilevel-analysis