Statistik dan Big Data

Sebuah topik diskusi hangat baru-baru ini menyangkut jurnal yang melarang penggunaan "prosedur pengujian statistik nol hipotesis (NHSTP)" dari artikel yang diajukan ke jurnal. Saya melihat istilah ini digunakan oleh beberapa penulis, tetapi saya tidak mengerti perbedaan apa yang mereka coba buat. Apakah NHSTP sesuatu yang berbeda dari "uji hipotesis" atau …

9 hypothesis-testing  statistical-significance  terminology 

Saya memiliki satu set data dengan semua panggilan yang dilakukan ke layanan darurat dan waktu respons dari departemen ambulans. Mereka mengakui bahwa ada beberapa kesalahan dengan waktu respons karena ada kasus di mana mereka tidak mulai merekam (jadi nilainya 0) atau di mana mereka tidak menghentikan jam (sehingga nilainya bisa …

9 mean  outliers  median  trimmed-mean 

Tujuan saya adalah untuk menganalisis log jaringan (mis., Apache, syslog, audit keamanan Direktori Aktif, dan sebagainya) menggunakan deteksi pengelompokan / anomali untuk tujuan deteksi intrusi. Dari log saya memiliki banyak bidang teks seperti alamat IP, nama pengguna, nama host, port tujuan, port sumber, dan sebagainya (total 15-20 bidang). Saya tidak …

9 feature-selection  outliers  unsupervised-learning  feature-construction 

Saya memiliki satu set data tiga dimensi, dan saya mencoba menggunakan analisis Local Outlier Factor untuk mengidentifikasi nilai yang paling unik atau aneh. Bagaimana seseorang memutuskan nilai k untuk digunakan dalam analisis LOF? Saya mengerti apa yang menentukan nilai-k, dan jadi saya tidak terkejut bahwa saya melihat hasil yang sedikit …

9 data-mining  outliers 

Saya mencoba membantu seorang mahasiswa dari seorang kolega. Siswa mengamati dan menghitung perilaku burung (jumlah panggilan) dalam pengaturan eksperimental. Jumlah panggilan yang dikaitkan dengan burung yang diamati secara spesifik selama setiap percobaan tidak dapat ditentukan tetapi menghitung jumlah burung yang berkontribusi terhadap jumlah panggilan yang direkam dimungkinkan. Karenanya saran awal …

9 generalized-linear-model  count-data  offset 

Saya tidak pernah memiliki kursus statistik formal tetapi karena jalur penelitian saya, saya terus-menerus menemukan artikel yang menerapkan beberapa konsep statistik. Seringkali saya akan melihat deskripsi proses Monte Carlo yang diterapkan pada situasi tertentu, dan untuk apa yang dapat saya kumpulkan 9 dari 10 kali turun ke generasi acak sederhana …

9 monte-carlo  random-generation 

Mari kita asumsikan variabel acak independen yang pada tingkat tertentu diketahui melalui estimasi dari data: , ..., . Sekarang mari kita mendefinisikan variabel acak sebagai jumlah . Apakah ada cara untuk menghitung nilai kuantil dari jumlah pada level , yaitu, di ?NNNX1,...,XNX1,...,XNX_1, ..., X_Nαα\alphaα=P(X1&lt;q1)α=P(X1&lt;q1)\alpha = P(X_1 < q_1)α=P(XN&lt;qN)α=P(XN&lt;qN)\alpha = P(X_N …

9 quantiles 

Pemahaman saya adalah bahwa bahkan regresi tidak memberikan hubungan sebab akibat. Itu hanya dapat memberikan hubungan antara variabel y dan variabel x dan mungkin arah. Apakah saya benar? Saya sering menemukan frasa yang mirip dengan "x prediksi y" bahkan di sebagian besar buku pelajaran dan pada berbagai halaman kursus online. …

9 regression  logistic  predictive-models  terminology  causality 

Saya memiliki beberapa pencilan dalam data saya dan saya ingin mengecualikan mereka untuk melihat apakah ini mengubah hasil. Menurut Anda, berapa outlier maksimum yang harus dibatasi oleh seseorang? Terima kasih!

9 outliers 

Jadi, katakanlah Anda melempar koin 10 kali, dan menyebutnya 1 "peristiwa". Jika Anda menjalankan, 1.000.000 "acara" ini, berapa proporsi acara yang memiliki kepala antara 0,4 dan 0,6? Probabilitas binomial menyarankan ini sekitar 0,65, tetapi kode Mathematica saya memberi tahu saya sekitar 0,24 Inilah sintaksis saya: In[2]:= X:= RandomInteger[]; In[3]:= experiment[n_]:= …

9 computational-statistics  mathematica 

Misalkan X, Y dan Z menjadi tiga variabel acak independen. Jika X / Y memiliki distribusi yang sama dengan Z, apakah benar X memiliki distribusi yang sama dengan YZ?

9 probability  ratio 

Dalam Analisis Kelangsungan Hidup, Anda menganggap waktu kelangsungan hidup rv untuk didistribusikan secara eksponensial. Mempertimbangkan sekarang bahwa saya memiliki x 1 , … , x n "hasil" dari iid rv's X i . Hanya sebagian dari hasil ini yang sebenarnya "sepenuhnya terwujud", yaitu pengamatan yang tersisa masih "hidup".XiXiX_ix1,…,xnx1,…,xnx_1,\dots,x_nXiXiX_i Jika saya …

9 maximum-likelihood  references  survival  censoring  exponential-family 

Saya memiliki dataset sederhana berikut dengan dua variabel kontinu; yaitu: d = data.frame(x=runif(100,0,100),y = runif(100,0,100)) plot(d$x,d$y) abline(lm(y~x,d), col="red") cor(d$x,d$y) # = 0.2135273 Saya perlu mengatur ulang data agar memiliki korelasi antara variabel menjadi ~ 0,6. Saya perlu menjaga statistik statistik deskriptif dan lainnya (sd, min, max, dll.) Dari kedua variabel …

9 r  correlation 

Seumur hidup 3 komponen elektronik adalah dan . Variabel acak telah dimodelkan sebagai sampel acak berukuran 3 dari distribusi eksponensial dengan parameter . Fungsi likelihood adalah, untukX1=3,X2=1.5,X1=3,X2=1.5,X_{1} = 3, X_{2} = 1.5,X3=2.1X3=2.1X_{3} = 2.1θθ\thetaθ&gt;0θ&gt;0\theta > 0 x = ( 2 , 1.5 , 2.1 )f3(x|θ)=θ3exp(−6.6θ)f3(x|θ)=θ3exp(−6.6θ)f_{3}(x|\theta) = \theta^{3} exp(-6.6\theta) , di …

9 distributions  maximum-likelihood  exponential 

Saya memiliki dua variabel terdistribusi normal dan X 2 dengan mean nol dan matriks kovarians Σ . Saya tertarik untuk mencoba menghitung nilai E [ X 2 1 X 2 2 ] dalam hal entri Σ .X1X1X_1X2X2X_2ΣΣ\SigmaE[ X21X22]E[X12X22]E[X_1^2 X_2^2]ΣΣ\Sigma Saya menggunakan hukum probabilitas total untuk mendapatkan tapi saya tidak yakin …

9 normal-distribution  conditional-expectation