Statistik dan Big Data

Jika kami cocok dengan GAM seperti: gam.fit = gam::gam(Outstate ~ Private + s(Room.Board, df = 2) + s(PhD, df = 2) + s(perc.alumni, df = 2) + s(Expend, df = 5) + s(Grad.Rate, df = 2), data = College) Di mana, kami menggunakan dataset College, yang dapat ditemukan di dalam …

12 anova  gam 

Ditutup . Pertanyaan ini didasarkan pada pendapat . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga dapat dijawab dengan fakta dan kutipan dengan mengedit posting ini . Ditutup 2 tahun yang lalu . Saat ini saya berada dalam kelas regresi linier, tetapi saya tidak dapat menghilangkan …

12 regression  machine-learning  linear  teaching 

Bagaimana cara estimasi parameter / Pelatihan regresi logistik bekerja? Saya akan mencoba untuk menempatkan apa yang saya dapatkan sejauh ini. Outputnya adalah y dari fungsi logistik yang berbentuk probabilitas tergantung pada nilai x: P( y= 1 | x ) = 11 + e- ωTx≡ σ( ωTx )P(y=1|x)=11+e−ωTx≡σ(ωTx)P(y=1|x)={1\over1+e^{-\omega^Tx}}\equiv\sigma(\omega^Tx) P( y= 0 …

12 regression  logistic  likelihood 

Cara membuat contoh distribusi probabilitas yang memegang berlaku, dengan asumsi ?E(1X)=1E(X)E(1X)=1E(X)\mathbb{E}\left(\frac{1}{X}\right)=\frac{1}{\mathbb{E}(X)}P(X≠0)=1P(X≠0)=1\mathbb{P}(X\ne0)=1 Ketidaksetaraan yang mengikuti dari ketidaksetaraan Jensen untuk RV bernilai positif adalah seperti (ketimpangan terbalik jika ). Ini karena pemetaan adalah cembung untuk dan cekung untuk . Setelah kondisi kesetaraan dalam ketidaksetaraan Jensen, saya kira distribusinya harus merosot agar kesetaraan …

12 probability  distributions  random-variable  expected-value 

Saya membaca Multivariable Model Building: Pendekatan Pragmatis untuk Analisis Regresi Berdasarkan Polinomial Fraksional untuk Pemodelan Variabel Berkelanjutan oleh Patrick Royston dan Willie Sauerbrei. Sejauh ini, saya terkesan dan ini pendekatan yang menarik yang belum saya pertimbangkan sebelumnya. Tetapi penulis tidak berurusan dengan data yang hilang. Memang, pada hal. 17 mereka …

12 regression  missing-data  fractional-polynomial 

EDIT: Saya lebih tertarik pada masalah teknis dan metodologi untuk menentukan kemungkinan maksimum "benar" dalam populasi tertentu yang diberikan sampel statistik. Ada masalah dengan memperkirakan kemungkinan pelari yang lebih cepat daripada Tn. Bolt dari waktu dasbor yang mengatur rekor yang jelas dan halus. Humor saya dengan membayangkan ini tidak terjadi. …

12 normal-distribution  maximum 

Saya memiliki sebaran plot yang memiliki ukuran sampel yang sama dengan jumlah orang pada sumbu x dan gaji median pada sumbu y, saya mencoba mencari tahu apakah ukuran sampel memiliki pengaruh terhadap gaji median. Ini plotnya: Bagaimana saya menafsirkan plot ini?

12 data-visualization  median  scatterplot  pandas 

Fungsi objektif dari Principal Component Analysis (PCA) adalah meminimalkan kesalahan rekonstruksi dalam norma L2 (lihat bagian 2.12 di sini . Pandangan lain sedang mencoba untuk memaksimalkan varians pada proyeksi. Kami juga memiliki posting yang sangat baik di sini: Apa fungsi tujuan PCA ? ). Pertanyaan saya adalah apakah optimasi PCA …

12 machine-learning  pca  optimization  convex 

Apakah salah bahwa splines hanya tersedia dalam model GAM, dan tidak dalam model GLM? Saya mendengar ini beberapa waktu lalu, dan bertanya-tanya apakah ini hanya kesalahpahaman, atau ada kebenarannya. Berikut ini ilustrasi:

12 generalized-linear-model  splines 

Dalam buku Gelman & Hill (2007) (Analisis Data Menggunakan Regresi dan Multilevel / Model Hirarki), para penulis mengklaim bahwa memasukkan parameter rata-rata redundan dapat membantu mempercepat MCMC. Contoh yang diberikan adalah model "simulator penerbangan" yang tidak bersarang (Persamaan 13.9): ysayaγjδk∼ N( μ + γj [ i ]+ δk [ i …

12 mcmc  hierarchical-bayesian  gibbs 

Kompetisi Kaggle menentukan peringkat akhir berdasarkan set tes yang diadakan. Satu set tes yang diadakan adalah sampel; mungkin tidak mewakili populasi yang dimodelkan. Karena setiap pengiriman seperti hipotesis, algoritme yang memenangkan kompetisi mungkin saja, secara kebetulan, akhirnya cocok dengan set tes yang lebih baik daripada yang lain. Dengan kata lain, …

12 machine-learning  probability  hypothesis-testing  sample  kaggle 

Ada beberapa posting tentang cara memilih fitur. Salah satu metode menggambarkan pentingnya fitur berdasarkan t-statistik. Dalam R varImp(model)diterapkan pada model linier dengan fitur standar , nilai absolut t-statistik untuk setiap parameter model digunakan. Jadi, pada dasarnya kita memilih fitur berdasarkan t-statistiknya, artinya seberapa tepat koefisiennya. Tetapi apakah ketepatan koefisien saya …

12 regression  p-value  feature-selection 

Saya memiliki lintasan objek dalam ruang 2D (permukaan). Lintasan diberikan sebagai urutan (x,y)koordinat. Saya tahu bahwa pengukuran saya berisik dan kadang-kadang saya memiliki outlier yang jelas. Jadi, saya ingin memfilter pengamatan saya. Sejauh yang saya mengerti filter Kalman, itu melakukan apa yang saya butuhkan. Jadi, saya mencoba menggunakannya. Saya menemukan …

12 python  kalman-filter  smoothing 

Dalam R, saya memiliki sampel 348 tindakan, dan ingin tahu apakah saya dapat berasumsi bahwa itu didistribusikan secara normal untuk tes di masa mendatang. Pada dasarnya mengikuti jawaban Stack lain , saya melihat plot kepadatan dan plot QQ dengan: plot(density(Clinical$cancer_age)) qqnorm(Clinical$cancer_age);qqline(Clinical$cancer_age, col = 2) Saya tidak memiliki pengalaman yang kuat …

12 r  normal-distribution 

Apa cara terbaik untuk menjelaskan mengapa adalah bukan ukuran yang baik, katakanlah, dibandingkan dengan F1?Presisi + IngatPrecision+Recall\text{Precision} + \text{Recall}

12 precision-recall