Statistik dan Big Data

Saya mengambil data boneka suhu vs Es Krim Penjualan dan mengkategorikannya menggunakan K Means (n ​​cluster = 2) untuk membedakan 2 kategori (benar-benar boneka). Sekarang saya sedang melakukan Analisis Komponen Utama pada data ini dan tujuan saya adalah untuk memahami apa yang saya lihat. Saya tahu bahwa tujuan PCA adalah …

9 pca  interpretation  k-means  dimensionality-reduction 

Saya tertarik untuk membangun variabel acak yang ketidaksamaan Markov atau Chebyshev sangat ketat. Contoh sepele adalah variabel acak berikut. P( X= 1 ) = P( X= - 1 ) = 0,5P(X=1)=P(X=-1)=0,5P(X=1)=P(X=-1) = 0.5 . Mean-nya adalah nol, varians adalah 1 dan . Untuk variabel acak ini chebyshev ketat (berlaku dengan …

9 probability  distributions  random-variable  probability-inequalities 

Jika saya memberikan dua kuantil (q1,q2)(q1,q2)(q_1,q_2) dan lokasi yang sesuai (masing-masing) dalam interval terbuka , bisakah saya selalu menemukan parameter distribusi beta yang memiliki kuantil tersebut pada yang ditentukan lokasi?(l1,l2)(l1,l2)(l_1,l_2)(0,1)(0,1)(0,1)

9 quantiles  curve-fitting  beta-distribution 

Saya memiliki dataset dengan variabel dependen dan independen. Keduanya bukan deret waktu. Saya memiliki 120 pengamatan. Koefisien korelasi adalah 0,43 Setelah perhitungan ini, saya telah menambahkan kolom untuk kedua variabel dengan rata-rata untuk setiap 12 pengamatan, menghasilkan 2 kolom baru dengan 108 pengamatan (pasangan). Koefisien korelasi kolom-kolom ini adalah 0,77 …

9 regression  correlation  mean  predictor  cross-section 

Katakanlah saya memiliki data yang memiliki ketidakpastian. Sebagai contoh: X Y 1 10±4 2 50±3 3 80±7 4 105±1 5 120±9 Sifat ketidakpastian dapat berupa pengukuran ulang atau eksperimen, atau misalnya ketidakpastian instrumen pengukuran. Saya ingin menyesuaikan kurva menggunakan R, sesuatu yang biasanya saya lakukan lm. Namun, ini tidak memperhitungkan …

9 r  least-squares  error-propagation 

Saya membaca kertas pendeteksian changepoint online Bayesian oleh Adams dan MacKay ( tautan ). Penulis mulai dengan menulis distribusi prediksi marjinal: manaP(xt+1|x1:t)=∑rtP(xt+1|rt,x(r)t)P(rt|x1:t)(1)P(xt+1|x1:t)=∑rtP(xt+1|rt,xt(r))P(rt|x1:t)(1) P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t} P(x_{t+1} | r_t, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) \qquad \qquad (1) txtxtx_t adalah pengamatan pada waktu ;ttt tx1:tx1:t\textbf{x}_{1:t} menunjukkan set pengamatan sampai waktu ;ttt …

9 time-series  bayesian  inference  change-point 

Saya perlu menyelesaikan masalah regresi yang rumit pada unit disk. Pertanyaan aslinya menarik beberapa komentar menarik, tetapi sayangnya tidak ada jawaban. Sementara itu, saya belajar lebih banyak tentang masalah ini, jadi saya akan mencoba untuk membagi masalah asli menjadi submasalah, dan melihat apakah saya lebih beruntung kali ini. Saya memiliki …

9 regression  spatial  circular-statistics 

Saya sedang mengerjakan buku ESL Hastie, dan saya mengalami kesulitan dengan Pertanyaan 2.3. Pertanyaannya adalah sebagai berikut: Kami sedang mempertimbangkan perkiraan tetangga terdekat di titik asal, dan jarak median dari titik asal ke titik data terdekat diberikan oleh persamaan ini. Saya tidak tahu harus mulai dari mana dalam hal mencoba …

9 machine-learning  computational-statistics 

Saya telah melihat banyak yang membahas apakah regresi Poisson dasar adalah versi bersarang dari regresi Poisson nol-meningkat. Misalnya situs ini berpendapat bahwa itu adalah, karena yang terakhir mencakup parameter tambahan untuk memodelkan nol tambahan, tetapi sebaliknya menyertakan parameter regresi Poisson yang sama dengan yang sebelumnya, meskipun halaman tersebut tidak menyertakan …

9 poisson-regression  zero-inflation 

Ditutup . Pertanyaan ini perlu lebih fokus . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga berfokus pada satu masalah hanya dengan mengedit posting ini . Ditutup 3 tahun yang lalu . Saya ingin belajar tentang teori probabilitas, mengukur teori dan akhirnya mempelajari mesin. Tujuan utama …

9 machine-learning  probability  references  measure-theory 

Misalkan kita ingin menghitung beberapa harapan: EYEX| Y[ f( X, Y) ]EYEX|Y[f(X,Y)]E_YE_{X|Y}[f(X,Y)] Misalkan kita ingin memperkirakan ini menggunakan simulasi Monte Carlo. EYEX| Y[ f( X, Y) ] ≈ 1R S∑r = 1R∑s = 1Sf( xr , s, yr)EYEX|Y[f(X,Y)]≈1RS∑r=1R∑s=1Sf(xr,s,yr)E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r) TAPI kira itu mahal untuk menarik sampel dari kedua distribusi, …

9 optimization  conditional-probability  simulation  expected-value  monte-carlo 

Pertimbangkan 3 sampel awal yang diambil dari distribusi seragam u(θ,2θ)u(θ,2θ)u(\theta, 2\theta) , di mana θθ\theta adalah parameter. Saya ingin mencari E[X(2)|X(1),X(3)]E[X(2)|X(1),X(3)] \mathbb{E}\left[X_{(2)}| X_{(1)}, X_{(3)}\right] mana X( i )X(i)X_{(i)} adalah statistik pesanan .sayaii Saya berharap hasilnya menjadi Tetapi satu-satunya cara saya dapat menunjukkan hasil ini tampaknya terlalu panjangnya, saya tidak dapat …

9 uniform  conditional-expectation  order-statistics 

Saya membuat halaman Web yang menarik hasil medali Olimpiade langsung dari Thompson Reuters dan jumlah populasi di seluruh dunia dari CIA. Hasilnya menarik bagi saya - Hongaria memiliki angka dua digit dalam medali emas di seluruh dunia. Juga, AS dan Cina berada di dekat bagian bawah di hampir setiap kategori. …

9 statistical-significance 

Saya tahu bagaimana menerapkan fungsi objektif linear dan peningkatan linear di XGBoost. Pertanyaan konkret saya adalah: ketika algoritme itu cocok dengan residual (atau gradien negatif) apakah ia menggunakan satu fitur pada setiap langkah (yaitu model univariat) atau semua fitur (model multivariat)? Referensi apa pun untuk dokumentasi tentang peningkatan linear di …

9 regression  machine-learning  boosting  xgboost 

Ditutup . Pertanyaan ini membutuhkan detail atau kejelasan . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Tambahkan detail dan jelaskan masalahnya dengan mengedit posting ini . Ditutup 3 tahun yang lalu . Dari apa yang saya baca dan dari jawaban untuk pertanyaan lain yang saya ajukan di sini, …

9 bayesian  frequentist  philosophical