Statistik dan Big Data

Ini adalah posting yang panjang jadi saya harap Anda bisa tahan dengan saya, dan tolong perbaiki saya di mana saya salah. Tujuan saya adalah menghasilkan ramalan harian berdasarkan 3 atau 4 minggu dari data historis. Data adalah data 15 menit dari muatan lokal salah satu garis transformator. Saya mengalami kesulitan …

16 forecasting  arima  model-selection  seasonality  fourier-transform 

Saya memiliki dataset dengan sebagian besar variabel keuangan (120 fitur, 4k contoh) yang sebagian besar sangat berkorelasi dan sangat bising (indikator teknis, misalnya) jadi saya ingin memilih sekitar maks 20-30 untuk digunakan nanti dengan pelatihan model (klasifikasi biner - bertambah berkurang). Saya sedang berpikir tentang menggunakan hutan acak untuk peringkat …

16 feature-selection  random-forest  python 

Saya memiliki data untuk jaringan stasiun cuaca di seluruh Amerika Serikat. Ini memberi saya bingkai data yang berisi tanggal, lintang, bujur, dan beberapa nilai yang diukur. Asumsikan bahwa data dikumpulkan sekali sehari dan didorong oleh cuaca skala regional (tidak, kami tidak akan masuk ke dalam diskusi itu). Saya ingin menunjukkan …

16 r  regression  data-visualization  pca  spatial 

Saya mengalami kesulitan memahami hasil lmer()model saya . Ini adalah model sederhana dari variabel hasil (Dukungan) dengan berbagai penyadapan Negara / efek acak Negara: mlm1 <- lmer(Support ~ (1 | State)) Hasilnya summary(mlm1)adalah: Linear mixed model fit by REML Formula: Support ~ (1 | State) AIC BIC logLik deviance REMLdev …

16 r  mixed-model  random-effects-model  lme4-nlme 

Dapatkah mesin peningkat gradien Friedman mencapai kinerja yang lebih baik daripada Hutan Acak Breiman ? Jika demikian, dalam kondisi apa atau jenis data apa yang dapat membuat gbm lebih baik?

16 machine-learning  data-mining  random-forest  boosting 

Saya mencoba membuat video tentang dadu yang dimuat, dan pada satu titik dalam video kami menggulung sekitar 200 dadu, mengambil semua dadu, menggulung semuanya lagi, dan mengambil semua dadu, lalu menggulung yang ketiga kalinya. Kami memiliki satu mati yang muncul 6 tiga kali berturut-turut, yang jelas bukan tidak biasa karena …

16 probability  dice  law-of-large-numbers 

Saya mengerti bahwa satu kelas SVM (OSVM) diusulkan dengan tidak adanya data negatif dalam pikiran dan bahwa mereka berusaha untuk menemukan batas keputusan yang memisahkan set positif dan beberapa titik jangkar negatif, kata asalnya. Sebuah karya pada tahun 2011 mengusulkan Exemplar SVMs (ESVMs) yang melatih "satu pengelompokan per kategori" yang …

16 machine-learning  svm 

Saya ingin menggambar sampel . Wikipedia menyarankan untuk menggunakan komposisi Cholesky atau Eigend , yaitu atau x∼N(0,Σ)x∼N(0,Σ)\mathbf{x} \sim N\left(\mathbf{0}, \mathbf{\Sigma} \right)Σ=D1DT1Σ=D1D1T \mathbf{\Sigma} = \mathbf{D}_1\mathbf{D}_1^T Σ = QΛQTΣ=QΛQT \mathbf{\Sigma} = \mathbf{Q}\mathbf{\Lambda}\mathbf{Q}^T Dan karenanya sampel dapat diambil melalui: atau mana x =D1vx=D1v \mathbf{x} = \mathbf{D}_1 \mathbf{v} x = Q Λ--√vx=QΛv \mathbf{x} = …

16 normal-distribution  random-generation  svd  cholesky 

Saya baru saja membaca sebuah makalah di mana penulis melakukan regresi berganda dengan dua prediktor. Nilai r-squared keseluruhan adalah 0,65. Mereka menyediakan tabel yang membagi r-kuadrat antara dua prediktor. Tabelnya terlihat seperti ini: rsquared beta df pvalue whole model 0.65 NA 2, 9 0.008 predictor 1 0.38 1.01 1, 10 …

16 r  multiple-regression  r-squared  importance  variance-decomposition 

Saya bekerja pada kumpulan data electricityyang tersedia dalam paket R TSA. Tujuan saya adalah untuk mengetahui apakah suatu arimamodel akan sesuai untuk data ini dan pada akhirnya cocok. Jadi saya melanjutkan sebagai berikut: 1: Plot deret waktu yang dihasilkan jika grafik berikut: ke-2: Saya ingin mengambil log electricityuntuk menstabilkan varians …

16 r  time-series  stationarity 

Saya telah membaca bahwa mengendalikan FDR tidak seketat mengendalikan FWER, seperti di Wikipedia : Prosedur pengendalian FDR memberikan kontrol yang kurang ketat terhadap penemuan palsu dibandingkan dengan prosedur tingkat kesalahan keluarga (FWER) (seperti koreksi Bonferroni). Ini meningkatkan daya dengan biaya meningkatkan tingkat kesalahan tipe I, yaitu, menolak hipotesis nol yang …

16 hypothesis-testing  multiple-comparisons  false-discovery-rate 

Pertimbangkan model linier sederhana: yy = X ′ ββ + ϵyy=X′ββ+ϵ\pmb{y}=X'\pmb{\beta}+\epsilon dimana ϵ i ∼ i . i . d .N ( 0 , σ 2 )ϵi∼i.i.d.N(0,σ2)\epsilon_i\sim\mathrm{i.i.d.}\;\mathcal{N}(0,\sigma^2) dan X ∈ R n × pX∈Rn×pX\in\mathbb{R}^{n\times p} , p ≥ 2p≥2p\geq2 dan XXX berisi kolom konstanta. Pertanyaan saya adalah, mengingat E ( …

16 linear-model  expected-value 

Jika Anda ingin menguji apakah dua variabel mengikuti distribusi yang sama, apakah akan menjadi tes yang bagus untuk menyortir kedua variabel, dan kemudian memeriksa korelasinya? Jika tinggi (setidaknya 0,9?), Maka variabel yang paling mungkin berasal dari distribusi yang sama. Dengan distribusi di sini yang saya maksud "normal", "chi-square", "gamma" dll.

16 hypothesis-testing  distributions 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup 6 tahun yang lalu . Apa perbedaan antara fungsi rnormdan runifR?

16 r 

Dapatkah seseorang menjelaskan kepada saya secara intuitif apa periodisitas rantai Markov? Ini didefinisikan sebagai berikut: Untuk semua status dalamiiiSSS didid_i = gcd{n∈N|p(n)ii>0}=1{n∈N|pii(n)>0}=1\{n \in \mathbb{N} | p_{ii}^{(n)} > 0\} =1 Terima kasih atas upaya Anda!

16 stochastic-processes  markov-process