Statistik dan Big Data

Biarkan . Matriks Informasi Fisher didefinisikan sebagai:θ ∈ Rnθ∈Rn\theta \in R^{n} saya( θ )saya , j= - E[ ∂2catatan( f( X| θ))∂θsaya∂θj∣∣∣θ ]I(θ)i,j=−E[∂2log⁡(f(X|θ))∂θi∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] Bagaimana saya bisa membuktikan Matriks Informasi Fisher adalah semidefinit positif?

18 inference  linear-algebra  fisher-information 

Saya punya pertanyaan yang sangat pemula tentang Central Limit Theorem (CLT): Saya sadar bahwa CLT menyatakan bahwa rata-rata variabel acak iid adalah sekitar normal terdistribusi (untuk , di mana adalah indeks dari penjumlahan) atau variabel acak standar akan memiliki distribusi normal standar.nn → ∞n→∞n \to \inftynnn Sekarang Hukum Angka Besar …

18 probability  normal-distribution  convergence  central-limit-theorem  law-of-large-numbers 

Saya mengerti bahwa kami menggunakan model efek acak (atau efek campuran) ketika kami percaya bahwa beberapa parameter model bervariasi secara acak di beberapa faktor pengelompokan. Saya memiliki keinginan untuk menyesuaikan model di mana respons telah dinormalisasi dan terpusat (tidak sempurna, tapi cukup dekat) di seluruh faktor pengelompokan, tetapi variabel independen …

18 mixed-model  random-effects-model  fixed-effects-model  lme4-nlme  intraclass-correlation 

Saya seorang pengembang perangkat lunak yang bekerja pada sistem pengujian A / B. Saya tidak memiliki latar belakang statistik yang solid tetapi telah mengambil pengetahuan selama beberapa bulan terakhir. Skenario pengujian tipikal melibatkan membandingkan dua URL di situs web. Pengunjung mengunjungi LANDING_URLdan kemudian secara acak diteruskan ke salah satu URL_CONTROLatau …

18 power-analysis  ab-test  sequential-analysis  optimal-stopping 

Apakah implementasi ER lebih efisien (mirip Extreme Gradient Boostingdengan peningkatan gradien) - apakah perbedaannya penting dari sudut pandang praktis? Ada paket R yang mengimplementasikannya. Apakah ini algoritma baru yang mengatasi implementasi "generik" (paket RandomForest dari R) tidak hanya dalam hal efisiensi atau juga di beberapa area lain? Extreme Random Forest …

18 r  machine-learning  algorithms  random-forest 

Saya tahu bahwa salah satu keuntungan dari model campuran adalah bahwa mereka memungkinkan untuk menentukan matriks varians-kovarians untuk data (simetri gabungan, autoregresif, tidak terstruktur, dll.) Namun, lmerfungsi dalam R tidak memungkinkan spesifikasi mudah dari matriks ini. Adakah yang tahu struktur apa yang lmerdigunakan secara default dan mengapa tidak ada cara …

18 r  mixed-model  lme4-nlme  covariance-matrix 

Misalkan Anda memiliki tas dengan nnn ubin, masing-masing dengan huruf di atasnya. Ada nAnAn_A ubin dengan huruf 'A', nBnBn_B dengan 'B', dan seterusnya, dan n∗n∗n_* ubin wildcard '(kami memiliki ). Misalkan Anda memiliki kamus dengan jumlah kata yang terbatas.n=nA+nB+…+nZ+n∗n=nA+nB+…+nZ+n∗n = n_A + n_B + \ldots + n_Z + n_* Anda …

18 probability  games  combinatorics 

Saya perlu menghitung jarak sampel Mahalanobis dalam R antara setiap pasangan pengamatan dalam matriks kovariat . Saya memerlukan solusi yang efisien, yaitu hanya jarak yang dihitung, dan lebih baik diimplementasikan dalam C / RCpp / Fortran dll. Saya berasumsi bahwa , matriks kovarian populasi, tidak diketahui dan menggunakan sampel matriks …

18 r  algorithms  distance 

Saya menemukan referensi di artikel yang berbunyi seperti: Menurut Tabachnick & Fidell (1996) variabel independen dengan korelasi bivariat lebih dari 0,70 tidak boleh dimasukkan dalam analisis regresi berganda. Masalah: Saya digunakan dalam desain regresi berganda 3 variabel berkorelasi> 0,80, VIF sekitar 0,2 - .3, Toleransi ~ 4- 5. Saya tidak …

18 correlation  multiple-regression  multicollinearity  partial-correlation 

Sejarah banyak bidang ilmu dapat dibagi menjadi sejumlah kecil interval waktu yang sering dimulai dengan beberapa penemuan penting. Tetapi saya belum pernah melihat yang serupa dalam garis waktu statistik. Jelas, ada beberapa tanggal penting yang dapat dianggap sebagai titik awal periode baru (Pascal + Fermat, Bayes, Pearson, Tukey, ..). Bisakah …

18 history 

Di sini 'pemotongan' menyiratkan pengurangan presisi angka acak dan tidak memotong rangkaian angka acak. Sebagai contoh, jika saya memiliki angka yang benar-benar acak (diambil dari distribusi apa pun, misalnya, normal, seragam, dll.) Dengan presisi sewenang-wenang dan saya memotong semua angka sehingga akhirnya saya berakhir dengan satu set angka , masing-masing …

18 random-generation  measurement-error  truncation 

Saya punya data deret waktu dan saya menggunakan sebagai model agar sesuai dengan data. The merupakan variabel random indikator yang baik 0 (ketika saya tidak melihat peristiwa langka) atau 1 (ketika saya melihat peristiwa langka). Berdasarkan pengamatan sebelumnya yang saya miliki untuk , saya dapat mengembangkan model untuk menggunakan metodologi …

18 time-series  forecasting  simulation 

Baru-baru ini saya sangat malu ketika saya memberikan jawaban spontan tentang estimasi varians minimum yang tidak bias untuk parameter distribusi seragam yang benar-benar salah. Untungnya saya segera dikoreksi oleh kardinal dan Henry dengan Henry memberikan jawaban yang benar untuk OP . Ini membuat saya berpikir. Saya belajar teori estimator terbaik …

18 estimation  point-estimation 

Saya telah menggunakan SAS secara profesional selama hampir 5 tahun sekarang. Saya sudah menginstalnya di laptop saya dan sering harus menganalisis dataset dengan 1.000-2.000 variabel dan ratusan ribu pengamatan. Saya telah mencari alternatif untuk SAS yang memungkinkan saya untuk melakukan analisis pada set data berukuran serupa. Saya ingin tahu apa …

18 r  sas  large-data 

Hanya untuk memperjelas, ketika saya maksud statistik ringkasan, saya merujuk ke Mean, rentang Kuartil Median, Varians, Deviasi Standar. Ketika meringkas univariat yang kategorikal atau kualitatif , mempertimbangkan kasus Nominal dan Ordinal , apakah masuk akal untuk menemukan rata-rata, median, rentang kuartil, varian, dan standar deviasi? Jika ya, ini berbeda dengan …

18 categorical-data  descriptive-statistics