Statistik dan Big Data

Saya melihat lembar excel yang mengklaim menghitung χ2χ2\chi^2 , tetapi saya tidak mengenali cara melakukannya, dan saya bertanya-tanya apakah saya kehilangan sesuatu. Berikut adalah data yang dianalisis: +------------------+----------+----------+ | Total Population | Observed | Expected | +------------------+----------+----------+ | 2000 | 42 | 32.5 | | 2000 | 42 | 32.5 …

9 r  chi-squared  excel 

Ketika , masalah kuadrat terkecil yang memaksakan pembatasan bola pada nilai dapat ditulis sebagai untuk sistem yang ditentukan secara berlebihan. \ | \ cdot \ | _2 adalah norma Euclidean dari suatu vektor.y=Xβ+ey=Xβ+ey = X\beta + eδδ\deltaββ\betamin ∥y−Xβ∥22s.t. ∥β∥22≤δ2min⁡ ‖y−Xβ‖22s.t.⁡ ‖β‖22≤δ2\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ …

9 regression  least-squares  regularization  ridge-regression  underdetermined 

Seorang kolega saya mengirimi saya masalah ini yang tampaknya membuat putaran di internet: If $3 = 18, 4 = 32, 5 = 50, 6 = 72, 7 = 98$, Then, $10 =$ ? Jawabannya sepertinya 200. 3*6 4*8 5*10 6*12 7*14 8*16 9*18 10*20=200 Ketika saya melakukan regresi linier di …

9 r  regression  lm 

Saya tahu bahwa jika Anda sampel ulang dari kumpulan data berkali-kali dan menghitung rata-rata setiap kali, berarti ini akan mengikuti distribusi normal (oleh CLT). Dengan demikian, Anda dapat menghitung interval kepercayaan pada rata-rata kumpulan data tanpa membuat asumsi pada distribusi probabilitas kumpulan data. Saya bertanya-tanya apakah Anda bisa melakukan sesuatu …

9 distributions  confidence-interval  bootstrap  resampling 

Saya ingin merencanakan pada grafik yang sama interaksi antara prediktor kontinu saya dan moderator kategorikal saya. Saya tahu bagaimana melakukannya ketika keduanya kategorikal ( interaksi faktor ), tetapi tidak benar-benar tahu bagaimana melakukannya ketika satu kontinu dan satu kategorikal.

9 data-visualization  categorical-data  interaction  continuous-data 

Pengaturan mana yang benar untuk perbedaan dalam menggunakan model regresi perbedaan Yi s t= α + γs∗ T+ λ dt+ δ∗ ( T∗ dt) + ϵi s tYsayast=α+γs∗T+λdt+δ∗(T∗dt)+ϵsayastY_{ist} = \alpha +\gamma_s*T + \lambda d_t + \delta*(T*d_t)+ \epsilon_{ist} di mana T adalah dummy yang sama dengan 1 jika pengamatan berasal dari …

9 regression  econometrics  difference-in-difference 

Mengingat nnn angka, di mana nilai setiap nomor berbeda, dilambangkan sebagai v1,v2,...,vnv1,v2,...,vnv_1, v_2, ..., v_n , dan probabilitas memilih setiap nomor adalah p1,p2,...,pnp1,p2,...,pnp_1, p_2, ..., p_n , masing-masing. Sekarang jika saya memilih nomor KKK berdasarkan probabilitas yang diberikan, di mana K≤nK≤nK \leq n , apa harapan dari jumlah angka-angka KKK …

9 probability 

Saya tahu bahwa aljabar linier dan analisis (terutama teori ukuran) penting. Apakah bermanfaat untuk mengambil kursus tingkat pascasarjana dalam analisis nyata dan kompleks? Haruskah saya mengambil kursus dalam aljabar abstrak di luar kursus pengantar, misalnya, aljabar komutatif dan geometri aljabar?

9 mathematical-statistics  academia  algebraic-statistics 

Saya membaca dari sebuah buku yang memperkenalkan distribusi Dirchilet dan kemudian mempresentasikan angka-angka tentangnya. Tetapi saya tidak benar-benar dapat memahami angka-angka itu. Saya lampirkan gambar di sini di bagian bawah. Yang tidak saya mengerti adalah arti dari segitiga. Biasanya ketika seseorang ingin memplot fungsi 2 variabel, Anda mengambil nilai var1 …

9 distributions  data-visualization  dirichlet-distribution 

Saya memiliki banyak gambar raster satelit yang tersedia dari berbagai sensor. Dari ini, yang lebih kasar memiliki resolusi temporal yang sangat berlimpah. Raster resolusi menengah cenderung memiliki lebih sedikit tanggal akuisisi tetapi masih ada beberapa tingkat informasi yang tersedia. Resolusi yang lebih halus memiliki resolusi temporal yang sangat rendah, berkisar …

9 time-series  machine-learning  predictive-models  multivariate-regression 

Misalkan, saya telah melakukan: n1n1n_1 uji coba independen dengan tingkat keberhasilan yang tidak diketahui dan mengamati keberhasilan .k 1p1p1p_1k1k1k_1 n2n2n_2 percobaan independen dengan tingkat keberhasilan yang tidak diketahui dan mengamati keberhasilan .k 2p2p2p_2k2k2k_2 Jika, sekarang tapi masih belum diketahui, kemungkinan untuk mengamati untuk diberikan (atau sebaliknya) sebanding dengan \ int_0 …

9 hypothesis-testing  binomial  references 

1) Bagaimana saya bisa mengubah ambang klasifikasi (saya pikir itu adalah 0,5 secara default) di RandomForest di sklearn? 2) bagaimana saya bisa mengambil sampel dalam sklearn? 3) Saya mendapatkan hasil berikut dari pengelompokkan RandomForest: [[1635 1297] [520 3624]] precision recall f1-score support class 0 0.76 0.56 0.64 2932 class 1 …

9 classification  random-forest  precision-recall  unbalanced-classes 

Sepertinya untuk mengelola dengan pengukuran yang dipesan, para peneliti biasanya berurusan dengan Korelasi Polikorik . (Misalnya, untuk membuat matriks sebelum melakukan Analisis Faktor.) Mengapa demikian? Koefisien Korelasi Peringkat Kendall Tau dan koefisien korelasi peringkat Spearman juga cocok untuk data yang dipesan. Semua poin 'pro' dan 'kontra' untuk koefisien korelasi ini …

9 correlation  ordinal-data  spearman-rho  kendall-tau  polychoric 

Indeks stabilitas populasi mengukur perubahan distribusi variabel dengan membandingkan sampel data dalam dua periode waktu. Ini sangat umum digunakan untuk mengukur pergeseran skor. Ini dihitung sebagai berikut: 1) Sampel dari periode dasar diskritisasi. Biasanya dipartisi ke dalam desil 2) Sampel dari periode target didiskritisasi menggunakan interval yang sama seperti pada …

9 distributions  kullback-leibler 

Saya ingin kode kmeans pengelompokan dalam python menggunakan panda dan scikit belajar. Untuk memilih k yang baik, saya ingin mengkodekan Statistik Gap dari Tibshirani dan al 2001 ( pdf ). Saya ingin tahu apakah saya dapat menggunakan hasil inersia_ dari scikit dan mengadaptasi formula statistik gap tanpa harus mengkode ulang …

9 clustering  python  k-means  scikit-learn  metric