Statistik dan Big Data

Saya sedang mengerjakan tesis master saya saat ini dan berencana menjalankan statistik dengan SigmaPlot. Namun, setelah menghabiskan beberapa waktu dengan data saya, saya sampai pada kesimpulan bahwa SigmaPlot mungkin tidak cocok untuk masalah saya (saya mungkin salah) jadi saya memulai upaya pertama saya di R, yang sebenarnya tidak membuatnya lebih …

16 r  anova  nonparametric  heteroscedasticity 

Memperkirakan parameter menggunakan estimasi likelihood maksimum (MLE) melibatkan mengevaluasi fungsi likelihood, yang memetakan probabilitas sampel (X) yang terjadi pada nilai (x) pada ruang parameter (family) yang diberikan keluarga distribusi (P (X = x | θ ) lebih dari nilai yang mungkin dari θ (catatan: apakah saya benar tentang ini?). Semua …

16 maximum-likelihood 

Saya sering berurusan dengan data survei yang berantakan yang membutuhkan banyak pembersihan sebelum statistik dapat dilakukan. Saya biasa melakukan ini "secara manual" di Excel, kadang-kadang menggunakan rumus Excel, dan kadang-kadang memeriksa entri satu-per-satu. Saya mulai melakukan semakin banyak tugas ini dengan menulis skrip untuk melakukannya di R, yang sangat bermanfaat …

16 r  data-cleaning 

Misalkan dan masing-masing diambil iid dari beberapa distribusi, dengan independen dari . The secara ketat positif. Anda mengamati semua , tetapi bukan ; Anda lebih mengamati . Saya tertarik memperkirakan dari informasi ini. Jelas penaksir tidak bias, dan dapat dihitung dengan memberikan informasi yang ada.w1,w2,…,wnw1,w2,…,wnw_1,w_2,\ldots,w_nw i x i w i …

16 standard-error  weighted-mean 

Saya memiliki array nilai riil, yang memiliki rata-rata μ o l d dan standar deviasi σ o l d . Jika elemen array x i digantikan oleh elemen lain x j , maka rata-rata baru akan menjadinnnμoldμold\mu_{old}σoldσold\sigma_{old}xixix_ixjxjx_j μnew=μold+xj−xinμnew=μold+xj−xin\mu_{new}=\mu_{old}+\frac{x_j-x_i}{n} Keuntungan dari pendekatan ini adalah ia membutuhkan perhitungan yang konstan terlepas dari …

16 standard-deviation  online 

Proses Hawkes eksponensial univariat adalah proses poin yang menarik sendiri dengan tingkat kedatangan peristiwa: λ(t)=μ+∑ti&lt;tαe−β(t−ti)λ(t)=μ+∑ti&lt;tαe−β(t−ti) \lambda(t) = \mu + \sum\limits_{t_i<t}{\alpha e^{-\beta(t-t_i)}} di mana t1,..tnt1,..tn t_1,..t_n adalah kali event kedatangan. Fungsi kemungkinan log adalah −tnμ+αβ∑(e−β(tn−ti)−1)+∑i&lt;jln(μ+αe−β(tj−ti))−tnμ+αβ∑(e−β(tn−ti)−1)+∑i&lt;jln⁡(μ+αe−β(tj−ti)) - t_n \mu + \frac{\alpha}{\beta} \sum{( e^{-\beta(t_n-t_i)}-1 )} + \sum\limits_{i<j}{\ln(\mu+\alpha e^{-\beta(t_j-t_i)})} yang dapat dihitung secara rekursif: …

16 maximum-likelihood  stochastic-processes  likelihood 

Saya mencoba mendidik diri sendiri tentang Granger Causality. Saya sudah membaca posting di situs ini dan beberapa artikel bagus online. Saya juga menemukan alat yang sangat membantu, Bivariate Granger Causality - Kalkulator Statistik Gratis , yang memungkinkan Anda untuk memasukkan deret waktu dan menghitung Granger Stats. Di bawah, adalah output …

16 time-series  causality  granger-causality 

Saya menggunakan plm()untuk memperkirakan model efek tetap dari formulir y ~ x + time + time:fixed_trait di mana fixed_traitvariabel yang bervariasi antar individu tetapi konstan dalam individu. Inti dari berinteraksi timedengan fixed_traitadalah untuk memungkinkan efek fixed_traitbervariasi sepanjang waktu. (Saya bekerja di sini dari buklet terbaru Paul Allison tentang efek tetap. …

16 r 

Saya perlu memperkirakan 4 variabel berikut untuk unit waktu ke-29. Saya memiliki sekitar 2 tahun data historis, di mana 1 dan 14 dan 27 semuanya periode yang sama (atau sepanjang tahun). Pada akhirnya, saya melakukan dekomposisi gaya Oaxaca-Blinder pada , , , dan .WWWw dwdwdw cwcwchalhalp time W wd wc …

16 time-series  forecasting  multivariate-analysis  var 

Lebih banyak pertanyaan umum. Saya menjalankan SVF rbf untuk pemodelan prediktif. Saya pikir program saya saat ini jelas perlu sedikit mempercepat. Saya menggunakan scikit belajar dengan pencarian kasar ke grid + validasi silang. Setiap menjalankan SVM membutuhkan waktu sekitar satu menit, tetapi dengan semua iterasi, saya masih menemukannya terlalu lambat. …

16 machine-learning  svm  predictive-models  scikit-learn  kernel-trick 

Saya telah menemukan beberapa cara dasar untuk mengukur kompleksitas jaringan saraf: Naif dan informal: hitung jumlah neuron, neuron tersembunyi, lapisan, atau lapisan tersembunyi Dimensi VC (Eduardo D. Sontag [1998] "Dimensi VC dari jaringan saraf" [ pdf ].) Suatu ukuran kompleksitas komputasiTC0dTCd0TC^0_d berbutir dan asimptotik dengan ekivalensi dengan T C 0 …

16 neural-networks  theory  vc-dimension  pac-learning 

Saya tahu bahwa pdf dari distribusi hukum kuasa adalahp(x)=α−1xmin(xxmin)−αp(x)=α−1xmin(xxmin)−α p(x) = \frac{\alpha-1}{x_{\text{min}}} \left(\frac{x}{x_{\text{min}}} \right)^{-\alpha} Tapi apa artinya secara intuitif jika, misalnya, harga saham mengikuti distribusi kuasa hukum? Apakah ini berarti bahwa kerugian bisa sangat tinggi tetapi jarang terjadi?

16 distributions  power-law 

Halo guru statistik dan ahli pemrograman R, Saya tertarik dalam memodelkan tangkapan hewan sebagai fungsi dari kondisi lingkungan dan hari dalam setahun. Sebagai bagian dari penelitian lain, saya memiliki jumlah tangkapan pada ~ 160 hari selama tiga tahun. Pada setiap hari ini saya memiliki suhu, curah hujan, kecepatan angin, kelembaban …

16 r  mixed-model  autocorrelation  bugs  panel-data 

Apakah ada "aturan" untuk menentukan ukuran sampel minimum yang diperlukan agar uji-t valid? Sebagai contoh, perbandingan perlu dilakukan antara sarana 2 populasi. Ada 7 titik data dari satu populasi dan hanya 2 titik data dari yang lain. Sayangnya, percobaan ini sangat mahal dan memakan waktu, dan mendapatkan lebih banyak data …

16 t-test  sample-size  small-sample  wilcoxon-mann-whitney 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup 6 tahun yang lalu . Saya mencari korpus teks besar (&gt; 1000) untuk diunduh. Lebih disukai dengan berita dunia atau semacam laporan . Saya hanya …

16 dataset