Statistik dan Big Data

Misalkan kita berurusan dengan kumpulan data ini mana adalah variabel kontinu (misalnya Eksponensial) dan adalah distribusi diskrit (misalnya Poisson) untuk . Mari kita mengatakan bahwa adalah korelasi antara dan . Bagaimana seseorang bisa mendefinisikan ? (Xsaya,Nsaya)(Xsaya,Nsaya)(X_i, N_i)XsayaXsayaX_iNsayaNsayaN_ii = 1 , . . . , nsaya=1,...,ni=1,...,nρρ\rhoXXXNNNρρ\rho

9 correlation  count-data 

Bagian dari serangkaian upaya memahami Bayesian vs sering: 1 2 3 4 5 6 7 Saya pikir saya mendapatkan perbedaan tentang bagaimana Bayesian dan frequentist melakukan pendekatan dalam memilih antara hipotesis , tetapi saya tidak yakin apakah atau bagaimana hal itu seharusnya menjelaskan kepada saya bagaimana mereka memandang probabilitas. Dari …

9 probability  bayesian  frequentist  definition  philosophical 

Saya mencari jawaban yang akan memuaskan pembaca yang memahami nilai-p yang sering tetapi hanya memahami dasar-dasar pendekatan Bayesian untuk statistik. Saat ini pencarian google tidak mengungkapkan definisi baik pada halaman Wikipedia atau sumber daya lain yang diterima secara umum. Pertanyaan ini tampaknya terkait tetapi tidak benar-benar sejak terungkap bahwa pengguna …

9 bayesian  p-value 

Apakah mereka rasional (teoretis, substansial, statistik) untuk memilih pembelajaran mesin atau model bahaya saat memodelkan pelanggan churn (atau lebih umum, kejadian peristiwa)?

9 machine-learning  survival  hazard  churn 

The arimaxfungsi dalam TSApaket adalah untuk pengetahuan saya satu-satunya Rpaket yang akan cocok dengan fungsi transfer untuk model intervensi. Tidak memiliki fungsi prediksi meskipun yang kadang-kadang diperlukan. Apakah langkah-langkah berikut untuk mengatasi masalah ini, memanfaatkan forecastpaket yang sangat baik ? Apakah interval prediksi benar? Dalam contoh saya, kesalahan std adalah …

9 r  time-series  forecasting  arima  intervention-analysis 

Saya berjuang dengan menerapkan penduga kemungkinan maksimum untuk proses Hawkes multivarian (HP). Secara khusus, sementara ekspresi analitik untuk fungsi log-likelihood dari HP univariat dapat ditemukan dengan mudah secara online (mis. Ozaki, 1979), tampaknya ada versi yang berbeda (tidak konsisten atau setara?) Dari fungsi log-likelihood dari HP multivarian. di luar sana. …

9 maximum-likelihood  stochastic-processes  likelihood 

Sepertinya pertanyaan yang cukup mudah, tetapi ketika saya benar-benar memikirkannya, metode Stouffer tidak masuk akal bagi saya. Ini sebabnya: Asumsikan hipotesis dua sisi. Anda pertama-tama menghitung dari nilai- . Jadi mari kita ambil contoh yang cukup sederhana. Mari kita ambil dua -nilai . Ini berarti bahwa dan keduanya . Menurut …

9 p-value  meta-analysis  combining-p-values  z-statistic 

Saya ingin menggunakan Jaringan Saraf Tiruan untuk memprediksi seri waktu keuangan. Saya berasal dari latar belakang IT dan memiliki pengetahuan tentang Neural Networks dan saya telah membaca tentang ini: TDNN RNN Saya telah mencari paket R untuk mereka dan saya hanya menemukan satu untuk RNN, paket RSNNS yang memiliki implementasi …

9 time-series  forecasting  neural-networks  finance 

Saya mendapatkan berbagai tipe data dan saya butuh bantuan: Jika Anda melihat gambar di atas (diambil dari sini ), ia memiliki tipe data seperti ini: Kuantitatif (Terpisah, Berkelanjutan) Kualitatif (Nominal (N), Ordinal (O), Binary (B)). Tetapi jika Anda melihat gambar berikut ini (dari sini ), kategorinya adalah: Kuantitatif (Diskrit (NOB)) …

9 categorical-data  dataset  ordinal-data  binary-data 

Saya menggunakan regresi logistik untuk klasifikasi biner. Saya memiliki satu set data besar (kebetulan sangat tidak seimbang: 19: 1). Jadi saya menggunakan scikit-learn's LogisticRegression()untuk melatih 80% dari data berlabel saya dan kemudian saya memvalidasi dengan 20% lainnya (saya melihat area di bawah ROC serta presisi-recall karena datanya sangat tidak seimbang; …

9 regression  logistic  regression-coefficients 

Misalkan menjadi undian dari . Bagaimana statistik pesanan minimum dan maksimum didistribusikan, masing-masing?x1,…,xnx1,…,xnx_1,\dots,x_nBeta(k2,k−p−12)Beta(k2,k−p−12)Beta\left(\frac{k}2,\frac{k-p-1}{2}\right) Saya akan sangat menghargai referensi jika memungkinkan. Secara umum saya tidak terbiasa dengan derivasi statistik pesanan. Sunting: Mengingat bahwa distribusi beta dapat diartikan sebagai statistik- untuk distribusi seragam, perkiraan saya adalah bahwa minimum atau maksimum distribusi beta …

9 order-statistics  beta-distribution 

Bagaimana cara menghitung mean, varians, median, standar deviasi dan modus dari distribusi? Jika saya secara acak menghasilkan angka yang membentuk distribusi normal, saya telah menetapkan mean sebagai m=24.2standar deviasi seperti sd=2.2: > dist = rnorm(n=1000, m=24.2, sd=2.2) Maka saya bisa melakukan hal berikut: Berarti: > mean(dist) [1] 24.17485 Perbedaan: > …

9 r  distributions  mean 

Saya belajar mandiri pada teori model linier sekarang, dan satu hal yang saya temukan mengejutkan adalah meskipun didefinisikan untuk vektor acak , tidak disebutkan lagi momen-momen selanjutnya selain matriks kovarians.E[Y]E[Y]\mathbb{E}[\mathbf{Y}]Y=⎡⎣⎢⎢⎢⎢y1y2⋮yn⎤⎦⎥⎥⎥⎥Y=[y1y2⋮yn]\mathbf{Y} = \begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_n\end{bmatrix} Pencarian Google belum banyak berubah. Apakah momen th (raw) dipertimbangkan, atau …

9 self-study  moments 

Teorema berikut ini berasal dari edisi ke-7 " Pengantar Statistik Matematika " oleh Hogg, Craig dan Mckean dan menyangkut kondisi yang diperlukan dan cukup untuk independensi dua bentuk kuadrat variabel normal. Ini adalah ekstrak agak panjang tapi apa yang saya akan menghargai bantuan dengan hanya transisi dari 9.9.6 ke 9.9.7 …

9 self-study  mathematical-statistics  quadratic-form 

Menggunakan uji T Siswa, T-Critical dihitung melalui: t =X¯-μ0s /n√t=X¯−μ0s/nt = \frac{\bar{X} - \mu_{0}}{s / \sqrt{n}} Melihat artikel Wikipedia pada Estimasi berisi deviasi standar, ada bagian Hasil untuk Distribusi biasa yang menyebutkan faktor koreksi untuk diukur deviasi standar sampel, s , berdasarkan ukuran sampel. Pertanyaan:c4( n )c4(n)c_4(n) (1) Apakah faktor …

9 t-test  standard-deviation  unbiased-estimator  t-distribution