Statistik dan Big Data

Saya ingin memahami, apa perbedaan implementasi utama antara algoritma klaster standar dan k-means. Dalam setiap langkah, k-means menghitung jarak antara vektor elemen dan centroid cluster, dan menugaskan kembali dokumen ke cluster ini, yang centroid adalah yang terdekat. Kemudian, semua centroid dihitung ulang. Dalam k-means bola, semua vektor dinormalisasi, dan ukuran …

28 clustering  data-mining  algorithms  k-means 

Saya punya pertanyaan terkait dengan regresi berganda dan interaksi, yang diilhami oleh utas CV ini: Istilah interaksi menggunakan variabel terpusat analisis regresi hirarkis? Variabel apa yang harus kita pusatkan? Ketika memeriksa efek moderasi saya memusatkan variabel independen saya dan mengalikan variabel terpusat untuk menghitung istilah interaksi saya. Kemudian saya menjalankan …

28 regression  interaction  centering 

Saya ke epidemiologi. Saya bukan ahli statistik tetapi saya mencoba melakukan analisis sendiri, walaupun saya sering menemui kesulitan. Saya melakukan analisis pertama saya sekitar 2 tahun yang lalu. Nilai P dimasukkan di mana-mana dalam analisis saya (saya hanya melakukan apa yang dilakukan peneliti lain) dari tabel deskriptif hingga analisis regresi. …

28 probability  hypothesis-testing  statistical-significance  p-value 

Ada tiga variabel acak, . Tiga korelasi antara ketiga variabel itu sama. Itu adalah,x,y,zx,y,zx,y,z ρ=cor(x,y)=cor(x,z)=cor(y,z)ρ=cor(x,y)=cor(x,z)=cor(y,z)\rho=\textrm{cor}(x,y)=\textrm{cor}(x,z)=\textrm{cor}(y,z) Apa ketat terikat Anda dapat memberikan untuk ?ρρ\rho

28 correlation  correlation-matrix 

Saya memiliki dataset dengan 9 variabel independen kontinu. Saya mencoba untuk memilih antara variabel-variabel ini sesuai model untuk persentase tunggal (tergantung) variabel, Score. Sayangnya, saya tahu akan ada kolinearitas yang serius antara beberapa variabel. Saya sudah mencoba menggunakan stepAIC()fungsi dalam R untuk pemilihan variabel, tetapi metode itu, anehnya, tampaknya sensitif …

28 r  multiple-regression  feature-selection  multicollinearity 

Saya ingin memahami mengapa, di bawah model OLS, RSS (jumlah sisa kuadrat) didistribusikan ( menjadi jumlah parameter dalam model, jumlah pengamatan).χ2⋅(n−p)χ2⋅(n−p)\chi^2\cdot (n-p)pppnnn Saya minta maaf karena mengajukan pertanyaan mendasar seperti itu, tetapi sepertinya saya tidak dapat menemukan jawabannya secara online (atau dalam buku teks saya yang lebih berorientasi pada aplikasi).

28 regression  distributions  least-squares 

Seorang penyelidik ingin menghasilkan analisis gabungan dari beberapa dataset. Dalam beberapa dataset ada pengamatan berpasangan untuk pengobatan A dan B. Di lain dataset ada data A dan / atau B tidak berpasangan. Saya mencari referensi untuk adaptasi uji-t, atau untuk uji rasio kemungkinan, untuk data yang dipasangkan sebagian. Saya bersedia …

28 hypothesis-testing  t-test  paired-data  change-scores 

Saya telah membaca tentang kontroversi mengenai pengujian hipotesis dengan beberapa komentator yang menyarankan bahwa pengujian hipotesis tidak boleh digunakan. Beberapa komentator menyarankan agar interval kepercayaan sebaiknya digunakan. Apa perbedaan antara interval kepercayaan dan pengujian hipotesis? Penjelasan dengan referensi dan contoh akan sangat dihargai.

28 hypothesis-testing  confidence-interval 

Dalam statistik Bayesian, sering disebutkan bahwa distribusi posterior tidak dapat dilakukan dan dengan demikian perkiraan inferensi harus diterapkan. Apa faktor-faktor yang menyebabkan kepraktisan ini?

28 bayesian  approximation  inference 

Saya memiliki matriks di mana a (i, j) memberi tahu saya berapa kali individu yang saya lihat halaman j. Ada 27K individu dan 95K halaman. Saya ingin memiliki beberapa "dimensi" atau "aspek" dalam ruang halaman yang sesuai dengan set halaman yang sering dilihat bersama. Tujuan utama saya adalah untuk kemudian …

28 r  clustering  dimensionality-reduction 

Saya melatih jaringan saraf sederhana pada dataset CIFAR10. Setelah beberapa waktu, kehilangan validasi mulai meningkat, sedangkan akurasi validasi juga meningkat. Kehilangan pengujian dan akurasi pengujian terus meningkat. Bagaimana ini mungkin? Tampaknya jika kehilangan validasi meningkat, keakuratan akan menurun. PS Ada beberapa pertanyaan serupa, tetapi tidak ada yang menjelaskan apa yang …

28 neural-networks  deep-learning  conv-neural-network  overfitting 

Saya baru saja mulai membaca tentang dokter dan analog dengan distribusi Gaussian biasa itu ditandai dengan fungsi rata-rata dan fungsi kovarian atau kernel. Saya sedang berbicara dan pembicara mengatakan bahwa fungsi rata-rata biasanya tidak menarik dan semua upaya inferensi dihabiskan untuk memperkirakan fungsi kovarian yang benar. Dapatkah seseorang menjelaskan kepada …

28 gaussian-process 

Saya membaca Klasifikasi Naif Bayes hari ini. Saya membaca, di bawah judul Estimasi Parameter dengan menambahkan 1 smoothing : Mari ccc merujuk ke kelas (seperti positif atau negatif), dan membiarkan www mengacu pada tanda atau kata. Estimasi kemungkinan maksimum untuk P( w | c )P(w|c)P(w|c) adalah c o u n …

28 machine-learning  classification  text-mining  naive-bayes  laplace-smoothing 

Saya tidak pernah memiliki kesempatan untuk mengunjungi kursus statistik dari fakultas matematika. Saya mencari teori probabilitas dan buku statistik yang lengkap dan mandiri. Secara lengkap saya maksudkan bahwa itu berisi semua bukti dan bukan hanya menyatakan hasil. Dengan swadaya saya maksudkan bahwa saya tidak diharuskan membaca buku lain untuk dapat …

28 probability  self-study  mathematical-statistics  references 

Dapatkah distribusi dengan mean hingga dan varians tak terbatas memiliki fungsi menghasilkan momen? Bagaimana dengan distribusi dengan mean terbatas dan varian terbatas tetapi momen-momen lebih tinggi yang tak terbatas?

28 variance  moments  mgf