Statistik dan Big Data

(Saya memposting pertanyaan serupa di math.se. ) Dalam geometri informasi, penentu matriks informasi Fisher adalah bentuk volume alami pada manifold statistik, sehingga memiliki interpretasi geometris yang bagus. Fakta bahwa itu muncul dalam definisi sebelumnya Jeffreys, misalnya, terkait dengan invariannya di bawah reparametrizations, yang (imho) properti geometris. Tapi apa yang menentukan …

12 variance  information-theory  fisher-information  information-geometry 

R version 3.1.1 (2014-07-10) -- "Sock it to Me" > bl <- c(140, 138, 150, 148, 135) > fu <- c(138, 136, 148, 146, 133) > t.test(fu, bl, alternative = "two.sided", paired = TRUE) Error in t.test.default(fu, bl, alternative = "two.sided", paired = TRUE) : data are essentially constant Lalu …

12 r  t-test 

Saya sedang mengerjakan statistik untuk pembuatan perangkat lunak. Saya punya data untuk setiap build on pass / gagal dan waktu yang berlalu dan kami menghasilkan ~ 200 dari ini / minggu. Tingkat keberhasilannya mudah untuk dikumpulkan, saya dapat mengatakan bahwa 45% lulus setiap minggu. Tapi saya juga ingin menggabungkan waktu …

12 outliers  robust  average 

Saya adalah pengguna yang lebih terbiasa dengan R, dan telah mencoba memperkirakan lereng acak (koefisien seleksi) untuk sekitar 35 individu selama 5 tahun untuk empat variabel habitat. Variabel respons adalah apakah suatu lokasi merupakan habitat "bekas" (1) atau "tersedia" (0) ("digunakan" di bawah). Saya menggunakan komputer Windows 64-bit. Dalam R …

12 r  binomial  sas  random-effects-model  lme4-nlme 

Ringkasan: Apakah ada teori statistik untuk mendukung penggunaan distribusi- (dengan derajat kebebasan berdasarkan pada residual deviance) untuk pengujian koefisien regresi logistik, daripada distribusi normal standar?ttt Beberapa waktu yang lalu saya menemukan bahwa ketika memasang model regresi logistik di SAS PROC GLIMMIX, di bawah pengaturan default, koefisien regresi logistik diuji menggunakan …

12 r  logistic  mathematical-statistics  sas  degrees-of-freedom 

Saya mencoba mencari tahu tentang paket mediasi dalam R, menggunakan sketsa untuk paket tersebut. Saya berjuang untuk memahami output dari mediate()fungsi ini. require("mediation") require("sandwich") data("framing") med.fit <- lm(emo ~ treat + age + educ + gender + income, data = framing) out.fit <- glm(cong_mesg ~ emo + treat + age …

12 r  mediation 

Saya punya pertanyaan / kebingungan tentang seri stasioner yang diperlukan untuk pemodelan dengan ARIMA (X). Saya lebih memikirkan hal ini dalam hal inferensi (efek intervensi), tetapi ingin tahu apakah perkiraan versus inferensi membuat perbedaan dalam respons. Pertanyaan: Semua sumber pengantar yang telah saya baca menyatakan bahwa seri ini harus stasioner, …

12 time-series  econometrics  arima  inference 

Saya sering melihat orang membuat dimensi / fitur dataset menjadi nol-rata dengan menghapus rata-rata dari semua elemen. Tetapi saya tidak pernah mengerti mengapa melakukannya? Apa efek dari melakukan itu sebagai langkah preprocessing? Apakah ini meningkatkan kinerja klasifikasi? Apakah ada gunanya menjawab sesuatu tentang dataset? Apakah ada gunanya ketika melakukan visualisasi …

12 data-mining  dataset 

Saya sering melihat dataset terpisah yang diplot sebagai plot garis, tetapi saya sadar bahwa garis tersebut memberikan nilai pada suatu titik di antara interval pengukuran yang tidak ada artinya bagi dataset terpisah. Apakah karena itu kasus menggunakan plot garis untuk data diskrit salah? Sebagai contoh, ambil dua dataset deret waktu, …

12 data-visualization 

Saya seorang asisten peneliti untuk laboratorium (sukarelawan). Saya dan kelompok kecil telah ditugaskan untuk analisis data untuk satu set data yang ditarik dari sebuah penelitian besar. Sayangnya, data dikumpulkan dengan semacam aplikasi online, dan tidak diprogram untuk menampilkan data dalam bentuk yang paling dapat digunakan. Gambar-gambar di bawah menggambarkan masalah …

12 r  excel  data-cleaning 

Di sini salah tafsir dari asumsi normalitas dalam regresi linier dibahas (bahwa 'normalitas' merujuk X dan / atau Y daripada residual), dan poster bertanya apakah mungkin untuk memiliki X dan Y yang terdistribusi secara tidak normal. dan masih memiliki residu terdistribusi normal. Pertanyaan saya adalah: apakah X yang didistribusikan secara …

12 regression  normal-distribution  data-transformation  residuals  assumptions 

Kami memiliki dua kohort masing-masing 1000 sampel. Kami mengukur 2 jumlah pada setiap kelompok. Yang pertama adalah variabel biner. Yang kedua adalah bilangan real yang mengikuti distribusi ekor yang berat. Kami ingin menilai kohort mana yang berkinerja terbaik untuk setiap metrik. Ada banyak tes statistik yang dapat dipilih: orang menyarankan …

12 ab-test 

Misalkan kita memiliki variabel acak IID dengan distribusi . Kita akan mengamati sampel dengan cara berikut: biarkan menjadi independen variabel acak, misalkan semua dan 's independen, dan menentukan ukuran sampel . The 's menunjukkan yang mana dari ' s berada dalam sampel, dan kami ingin belajar fraksi keberhasilan dalam sampel …

12 probability-inequalities 

Saya tahu cara melakukan PCA (analisis komponen utama), tetapi saya ingin tahu langkah-langkah yang harus digunakan untuk analisis faktor. Untuk melakukan PCA, mari kita pertimbangkan beberapa matriks , misalnya:SEBUAHSEBUAHA 3 1 -1 2 4 0 4 -2 -5 11 22 20 Saya telah menghitung matriks korelasinya B = corr(A): 1.0000 …

12 pca  factor-analysis  algorithms 

Saya mencoba untuk menemukan distribusi karakteristik yang paling tepat dari data pengukuran berulang dari jenis tertentu. Pada dasarnya, di cabang geologi saya, kami sering menggunakan penanggalan radiometrik mineral dari sampel (bongkahan batu) untuk mengetahui berapa lama peristiwa terjadi (batu itu mendingin di bawah suhu ambang batas). Biasanya, beberapa (3-10) pengukuran …

12 distributions  normal-distribution  normalization  histogram