Statistik dan Big Data

Latar Belakang Saya memiliki data dari studi lapangan di mana ada empat tingkat pengobatan dan enam ulangan di masing-masing dua blok. (4x6x2 = 48 pengamatan) Blok berjarak sekitar 1 mil, dan di dalam blok, ada grid 42, 2m x 4m plot dan jalan setapak lebar 1m; studi saya hanya menggunakan …

10 r  spatial  linear-model  covariance 

Saya memiliki data persentase bahan organik dalam sedimen danau dari 0 cm (yaitu antarmuka sedimen - air) hingga 9 cm untuk sekitar 25 danau. Di setiap danau 2 core diambil dari masing-masing lokasi jadi saya memiliki 2 replikasi ukuran persentase bahan organik pada setiap kedalaman sedimen untuk setiap danau. Saya …

10 regression  nonlinear-regression 

Saya menjalankan regresi OLS besar di mana semua variabel independen (sekitar 400) adalah variabel dummy. Jika semua termasuk, ada multikolinieritas sempurna (perangkap variabel dummy), jadi saya harus menghilangkan salah satu variabel sebelum menjalankan regresi. Pertanyaan pertama saya adalah, variabel mana yang harus dihilangkan? Saya telah membaca bahwa lebih baik untuk …

10 categorical-data 

Saya ingin mengetahui nilai-nilai yang (x, y)digunakan dalam merencanakan plot(b, seWithMean=TRUE)di mgcv paket. Adakah yang tahu bagaimana saya bisa mengekstraksi atau menghitung nilai-nilai ini? Berikut ini sebuah contoh: library(mgcv) set.seed(0) dat <- gamSim(1, n=400, dist="normal", scale=2) b <- gam(y~s(x0), data=dat) plot(b, seWithMean=TRUE)

10 r  time-series  smoothing  mgcv 

Apa teknik statistik untuk membuat set sampel, yang mewakili seluruh populasi (dengan tingkat kepercayaan yang diketahui)? Juga, Bagaimana cara memvalidasi, jika sampel cocok dengan keseluruhan dataset? Apakah mungkin, tanpa mem-parsing seluruh dataset (yang bisa menjadi milyaran catatan)?

10 sampling  sample-size  validation 

Salam pembuka, Saya melakukan penelitian yang akan membantu menentukan ukuran ruang yang diamati dan waktu yang berlalu sejak big bang. Semoga Anda bisa membantu! Saya memiliki data yang sesuai dengan fungsi linear piecewise di mana saya ingin melakukan dua regresi linier. Ada titik di mana perubahan kemiringan dan mencegat, dan …

10 regression  change-point 

Saya memiliki dataset yang menanyakan kepada orang-orang apakah mereka pernah ke tempat tertentu (misalnya A, B, C, D), dan mereka dapat membuat lebih dari satu pilihan, kemudian spesimen diambil dari hidung mereka untuk melihat apakah mereka terinfeksi dengan beberapa penyakit. Saya perlu mengetahui risiko relatif terinfeksi untuk orang yang pergi …

10 logistic 

Pertanyaan: Dengan rantai MCMC 10 dimensi, katakanlah saya siap memberikan Anda sebuah matriks undian: 100.000 iterasi (baris) dengan 10 parameter (kolom), bagaimana cara terbaik saya mengidentifikasi mode posterior? Saya terutama memperhatikan beberapa mode. Latar Belakang:Saya menganggap diri saya seorang ahli statistik yang mengerti secara komputasi, tetapi ketika seorang kolega bertanya …

10 r  bayesian  mcmc  k-nearest-neighbour  mode 

Buku statistik yang saya baca merekomendasikan omega kuadrat untuk mengukur efek percobaan saya. Saya telah membuktikan menggunakan desain plot terpisah (campuran antara subyek dan desain antara subyek) bahwa faktor dalam subyek saya signifikan secara statistik dengan p <0,001 dan F = 17. Sekarang saya ingin melihat seberapa besar perbedaannya ... …

10 r  anova  effect-size  split-plot 

Saya mencoba menafsirkan tipe model logistik berikut: mdl <- glm(c(suc,fail) ~ fac1 + fac2, data=df, family=binomial) Apakah output dari predict(mdl)peluang keberhasilan yang diharapkan untuk setiap titik data? Apakah ada cara sederhana untuk menabulasi peluang untuk setiap tingkat faktor model, daripada semua titik data?

10 r  logistic  generalized-linear-model 

untuk mis. jika saya memiliki penilaian kredit variabel kelas dengan dua kelas baik dan buruk, di mana # (baik) = 700 dan # (buruk) = 300. Saya tidak ingin mempersingkat data saya. teknik mana yang harus saya gunakan? Saya menggunakan SVM tetapi memberikan semua prediksi buruk.

10 classification  binary-data 

Untuk variabel acak berkesinambungan XXX , jika E(|X|)E(|X|)E(|X|) adalah terbatas, apakah limn→∞nP(|X|>n)=0limn→∞nP(|X|>n)=0\lim_{n\to\infty}n P(|X|>n)=0 ? Ini adalah masalah yang saya temukan di internet, tetapi saya tidak yakin apakah itu berfungsi atau tidak. Saya tahu bahwa nP(|X|>n)<E(|X|)nP(|X|>n)<E(|X|)n P(|X|>n)

10 probability  expected-value  probability-inequalities 

Apa alat modern (berbasis Windows) yang Anda sarankan untuk memodelkan seri waktu keuangan?

10 modeling  time-series  finance  software 

Collinearity dapat menimbulkan masalah tertentu dalam berbagai macam masalah regresi. Secara khusus, ini dapat membuat estimasi parameter memiliki varian tinggi dan menjadi tidak stabil. Berbagai metode telah diusulkan untuk menangani hal ini termasuk regresi ridge, regresi kuadrat terkecil parsial, regresi komponen utama, menjatuhkan variabel dan mendapatkan lebih banyak data. Salah …

10 multicollinearity 

Ada banyak pertanyaan (seperti ini ) tentang beberapa ambiguitas dengan formula Bayes dalam kasus berkelanjutan. p ( θ | x ) =p(x|θ)⋅p(θ)p(x)p(θ|x)=p(x|θ)⋅p(θ)p(x)p(\theta | x) = \frac{p(x | \theta) \cdot p(\theta)}{p(x)} Sering kali, kebingungan timbul dari kenyataan bahwa definisi distribusi bersyarat dijelaskan sebagai menjadi fungsi diberikan tetap .f(variable|parameter)f(variable|parameter)f(variable | parameter) fffv …

10 distributions  bayesian  conditional-probability  likelihood