Statistik dan Big Data

Saya tertarik dengan gagasan penyusutan James-Stein (yaitu bahwa fungsi nonlinier dari pengamatan tunggal terhadap suatu vektor yang normalnya independen dapat menjadi penaksir yang lebih baik dari rata-rata variabel acak, di mana 'lebih baik' diukur dengan kuadrat kesalahan ). Namun, saya belum pernah melihatnya dalam pekerjaan terapan. Jelas saya tidak cukup …

15 estimation  error  shrinkage  application  steins-phenomenon 

Sebagai seorang insinyur perangkat lunak, saya tertarik pada topik-topik seperti algoritma statistik, penambangan data, pembelajaran mesin, jaringan Bayesian, algoritma klasifikasi, jaringan saraf, rantai Markov, metode Monte Carlo, dan pembangkitan angka acak. Saya pribadi belum merasa senang bekerja langsung dengan salah satu teknik ini, tetapi saya harus bekerja dengan perangkat lunak …

15 references  computational-statistics  computing 

pertanyaan saya khususnya berlaku untuk rekonstruksi jaringan

15 correlation  mutual-information 

Pergantian label (yaitu, distribusi posterior tidak berbeda dengan pergantian label komponen) adalah masalah ketika menggunakan MCMC untuk memperkirakan model campuran. Apakah ada metodologi standar (seperti yang diterima secara luas) untuk menangani masalah ini? Jika tidak ada pendekatan standar maka apa pro dan kontra dari pendekatan terkemuka untuk memecahkan masalah label …

15 bayesian  mcmc  mixture 

Australia saat ini sedang mengadakan pemilihan dan dapat dimengerti bahwa media melaporkan hasil jajak pendapat politik baru setiap hari. Di negara berpenduduk 22 juta, berapa persen dari populasi yang perlu disampel untuk mendapatkan hasil yang valid secara statistik? Apakah mungkin bahwa menggunakan sampel yang terlalu besar dapat memengaruhi hasil, atau …

15 sample-size  polling 

Ditutup . Pertanyaan ini didasarkan pada pendapat . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga dapat dijawab dengan fakta dan kutipan dengan mengedit posting ini . Ditutup 3 tahun yang lalu . Aturan: satu classifier per jawaban pilih jika Anda setuju downvote / hapus duplikat. …

15 machine-learning  classification  application 

Beberapa waktu yang lalu seorang pengguna di milis R-help bertanya tentang kesehatan menggunakan skor PCA dalam suatu regresi. Pengguna mencoba menggunakan beberapa skor PC untuk menjelaskan variasi di PC lain (lihat diskusi lengkap di sini ). Jawabannya adalah tidak, ini tidak masuk akal karena PC saling orthogonal. Adakah yang bisa …

15 regression  pca 

Dalam bidang penelitian saya, cara populer menampilkan data adalah dengan menggunakan kombinasi diagram batang dengan "bilah pegangan". Sebagai contoh, The "handle-bar" bergantian antara kesalahan standar dan standar deviasi tergantung pada penulis. Biasanya, ukuran sampel untuk setiap "bilah" cukup kecil - sekitar enam. Plot-plot ini tampaknya sangat populer dalam ilmu biologi …

15 data-visualization 

Seperti yang saya pahami, Sekolah UK mengajarkan bahwa Standar Deviasi ditemukan menggunakan: sedangkan Sekolah AS mengajar: (pada tingkat dasar pula). Ini telah menyebabkan sejumlah masalah siswa saya di masa lalu ketika mereka mencari di Internet, tetapi menemukan penjelasan yang salah. Kenapa bedanya? Dengan dataset sederhana yang mengatakan 10 nilai, tingkat …

15 standard-deviation  error  teaching  unbiased-estimator 

Saya pikir, saya sudah mengerti definisi matematika dari penduga yang konsisten. Koreksi saya jika saya salah: WnWnW_n adalah estimator yang konsisten untukθθ\theta jika∀ϵ>0∀ϵ>0\forall \epsilon>0 limn→∞P(|Wn−θ|>ϵ)=0,∀θ∈Θlimn→∞P(|Wn−θ|>ϵ)=0,∀θ∈Θ\lim_{n\to\infty} P(|W_n - \theta|> \epsilon) = 0, \quad \forall\theta \in \Theta Di mana, ΘΘ\Theta adalah Parametric Space. Tetapi saya ingin memahami perlunya penaksir untuk konsisten. Mengapa …

15 estimation  consistency 

Saya membaca buku teks Proses Gaussian untuk Pembelajaran Mesin oleh CE Rasmussen dan CKI Williams dan saya mengalami kesulitan memahami apa arti distribusi dari fungsi . Dalam buku pelajaran, contoh diberikan, bahwa orang harus membayangkan fungsi sebagai vektor yang sangat panjang (pada kenyataannya, itu harus sangat panjang?). Jadi saya membayangkan …

15 distributions  gaussian-process 

Pertanyaan saya sangat sederhana: mengapa kita memilih normal sebagai distribusi yang diikuti oleh istilah kesalahan dalam asumsi regresi linier? Kenapa kita tidak memilih yang lain seperti seragam, t atau apa pun?

15 regression  mathematical-statistics  normal-distribution  error  linear 

Dalam regresi linier, kami membuat asumsi berikut Mean dari respon, E(Yi)E(Yi)E(Y_i) , pada setiap set nilai prediktor, (x1i,x2i,…)(x1i,x2i,…)(x_{1i}, x_{2i},…) , adalah fungsi Linear dari prediktor. Kesalahan, εiεiε_i , adalah Independen. Kesalahan, εiεiε_i , pada setiap rangkaian nilai prediktor, (x1i,x2i,…)(x1i,x2i,…)(x_{1i}, x_{2i},…) , terdistribusi secara normal. Kesalahan, εiεiε_i , pada setiap set …

15 regression  assumptions 

Ketika kita mempelajari literatur Neural Networks , kita dapat mengidentifikasi metode lain dengan topologi neuromorfik (arsitektur seperti Neural-Network). Dan saya tidak berbicara tentang Teorema Perkiraan Universal . Contoh diberikan di bawah ini. Lalu, itu membuat saya bertanya-tanya: apa definisi Jaringan Syaraf Tiruan buatan? Topologinya tampaknya mencakup segalanya. Contoh: Salah satu …

15 machine-learning  neural-networks  deep-learning  unsupervised-learning  supervised-learning 

Pertanyaan ini merujuk pada makalah Galit Shmueli "Untuk Menjelaskan atau Memprediksi" . Secara khusus, di bagian 1.5, "Penjelasan dan Prediksi Berbeda", Profesor Shmueli menulis: Dalam pemodelan penjelas fokusnya adalah pada meminimalkan bias untuk mendapatkan representasi paling akurat dari teori yang mendasarinya. Ini membingungkan saya setiap kali saya membaca koran. Dalam …

15 predictive-models  inference  bias  unbiased-estimator  explanatory-models