Statistik dan Big Data

Saya telah menganalisis beberapa data menggunakan pemodelan efek campuran linier dalam R. Saya berencana untuk membuat poster dengan hasilnya dan saya hanya ingin tahu apakah ada yang berpengalaman dengan model efek campuran dapat menyarankan plot mana yang akan digunakan dalam menggambarkan hasil dari model. Saya sedang memikirkan tentang plot sisa, …

13 r  data-visualization  mixed-model 

Jika variabel faktor (misalnya jenis kelamin dengan level M dan F) digunakan dalam rumus glm, variabel dummy dibuat, dan dapat ditemukan dalam ringkasan model glm bersama dengan koefisien yang terkait (misalnya genderM) Jika, alih-alih mengandalkan R untuk membagi faktor dengan cara ini, faktor tersebut dikodekan dalam serangkaian variabel 0/1 numerik …

13 r  generalized-linear-model  categorical-data  categorical-encoding 

Bagaimana ukuran relatif nilai ap berubah pada ukuran sampel yang berbeda? Seperti jika Anda mendapat p=0.20p=0.20p=0.20 pada n=45n=45n=45 untuk korelasi dan kemudian pada n=120n=120n=120 Anda mendapat nilai p yang sama dari 0,20, apa yang akan menjadi ukuran relatif dari nilai p untuk tes kedua, dibandingkan dengan nilai p asli kapan …

13 p-value  sample-size 

Saya mencoba untuk menulis fungsi saya sendiri untuk analisis komponen utama, PCA (tentu saja sudah banyak yang ditulis tetapi saya hanya tertarik untuk mengimplementasikan hal-hal sendiri). Masalah utama yang saya temui adalah langkah validasi silang dan menghitung prediksi jumlah kuadrat (PRESS). Tidak masalah validasi silang mana yang saya gunakan, itu …

13 pca  cross-validation  matlab 

Apakah ada literatur yang meneliti pilihan ukuran minibatch saat melakukan stochastic gradient descent? Dalam pengalaman saya, ini tampaknya menjadi pilihan empiris, biasanya ditemukan melalui validasi silang atau menggunakan berbagai aturan praktis. Apakah ide yang baik untuk secara perlahan meningkatkan ukuran minibatch saat kesalahan validasi berkurang? Apa efek ini pada kesalahan …

13 machine-learning  gradient-descent  hyperparameter  deep-learning 

Saya perlu memperkirakan fungsi dasar bahaya dalam model Cox tergantung waktuλ0( t )λ0(t)\lambda_0(t) λ ( t ) = λ0( t ) exp( Z( t )′β)λ(t)=λ0(t)exp⁡(Z(t)′β)\lambda(t) = \lambda_0(t) \exp(Z(t)'\beta) Ketika saya mengikuti kursus Survival, saya ingat bahwa turunan langsung dari fungsi bahaya kumulatif ( ) tidak akan menjadi penaksir yang baik …

13 r  survival  cox-model 

Apakah ada cara untuk melakukan Regresi Proses Gaussian pada output multidimensi (mungkin berkorelasi) menggunakan GPML ? Dalam skrip demo saya hanya bisa menemukan contoh 1D. Sebuah pertanyaan serupa pada CV yang menangani kasus masukan multidimensi. Saya membaca buku mereka untuk melihat apakah saya dapat menemukan sesuatu. Dalam bab ke - …

13 regression  machine-learning  matlab  gaussian-process  nonparametric-bayes 

Saya sedang mempelajari pembelajaran mesin dan setiap buku yang saya buka saya menabrak distribusi chi-squared, fungsi gamma, distribusi-t, Gaussian, dll. Setiap buku yang saya buka sejauh ini hanya mendefinisikan apa distribusinya: mereka tidak menjelaskan atau memberikan intuisi dari mana formula khusus untuk fungsi berasal. Sebagai contoh, mengapa distribusi chi-square seperti …

13 probability  distributions  mathematical-statistics  references 

Pertanyaan saya berkaitan dengan hubungan antara alfa dan beta dan definisi mereka dalam statistik. alpha = tipe I tingkat kesalahan = tingkat signifikansi dalam pertimbangan bahwa hipotesis NULL benar Beta = tingkat kesalahan tipe II Jika alpha diturunkan (spesifisitas meningkat ketika alpha = 1- spesifisitas), beta meningkat (sensitivitas / daya …

13 statistical-significance  mathematical-statistics 

Jika saya tertarik untuk menyesuaikan interaksi dua arah antara variabel penjelas linier dan variabel penjelas lain yang memiliki hubungan kuadratik dengan variabel dependen , apakah saya harus memasukkan interaksi dengan komponen kuadratik dan interaksi dengan linier komponen dalam model? Misalnya: Pada gilirannya membangun di utas saya sebelumnya: Istilah kelengkungan dan …

13 r  regression  model-selection 

Bagaimana saya bisa membuktikan bahwa produk dua fungsi kernel adalah fungsi kernel?

13 machine-learning  kernel-trick 

Saya perlu mengotomatiskan peramalan time-series, dan saya tidak tahu sebelumnya fitur-fitur dari seri tersebut (musiman, tren, kebisingan, dll.). Tujuan saya bukan untuk mendapatkan model terbaik untuk setiap seri, tetapi untuk menghindari model yang sangat buruk. Dengan kata lain, untuk mendapatkan kesalahan kecil setiap kali bukanlah masalah, tetapi untuk mendapatkan kesalahan …

13 time-series  forecasting  arima  ensemble  exponential-smoothing 

Setelah mengumpulkan umpan balik yang berharga dari pertanyaan dan diskusi sebelumnya, saya telah mengajukan pertanyaan berikut: Misalkan tujuannya adalah untuk mendeteksi perbedaan efek di dua kelompok, misalnya pria dan wanita. Ada dua cara untuk melakukannya: menjalankan dua regresi terpisah untuk kedua kelompok, dan menggunakan uji Wald untuk menolak (atau tidak) …

13 statistical-significance  interaction  regression-coefficients 

Maaf jika ini adalah pertanyaan newb; Saya mencoba untuk belajar statistik sendiri untuk pertama kalinya. Saya pikir saya memiliki prosedur dasar, tapi saya berjuang untuk melaksanakannya dengan R. Jadi, saya mencoba untuk mengevaluasi signifikansi koefisien regresi dalam bentuk regresi linier berganda y^= Xβ^y^=Xβ^ \hat y = X \hat \beta Saya …

13 r  statistical-significance  multiple-regression 

Apa intuisi / interpretasi Anda dari distribusi nilai eigen dari matriks korelasi? Saya cenderung mendengar bahwa biasanya 3 nilai eigen terbesar adalah yang paling penting, sedangkan yang mendekati nol adalah noise. Juga, saya telah melihat beberapa makalah penelitian yang menyelidiki bagaimana distribusi nilai eigen yang terjadi secara alami berbeda dari …

13 distributions  correlation