Statistik dan Big Data

Secara khusus, bagaimana kesalahan standar efek tetap dalam model efek campuran linier harus dihitung (dalam arti frequentist)? Saya telah memimpin untuk percaya bahwa perkiraan tipikal ( ), seperti yang disajikan dalam Laird dan Ware [1982] akan memberikan SE ukurannya diremehkan karena estimasi komponen varians diperlakukan seolah-olah mereka adalah nilai sebenarnya.Var(β^)=(X′VX)-1Var(β^)=(X′VX)-1{\rm …

18 r  mixed-model  random-effects-model 

Apakah "margin of error" sama dengan "standard error"? Sebuah contoh (sederhana) untuk menggambarkan perbedaan akan sangat bagus!

18 definition 

Saya ingin melakukan klasifikasi pada data teks saya. Saya punya 300 classes, 200 dokumen pelatihan per kelas (jadi 60000 documents in total) dan ini cenderung menghasilkan data dimensi yang sangat tinggi (kita mungkin melihat lebih dari 1 juta dimensi ). Saya ingin melakukan langkah-langkah berikut dalam pipa (hanya untuk memberi …

18 machine-learning  classification  text-mining 

Saya mencoba meminimalkan fungsi khusus. Ini harus menerima lima parameter dan kumpulan data dan melakukan segala macam perhitungan, menghasilkan angka tunggal sebagai output. Saya ingin menemukan kombinasi lima parameter input yang menghasilkan output terkecil dari fungsi saya.

18 r  optimization 

Saya mencari makalah atau teks yang membandingkan dan mendiskusikan (baik secara empiris atau teoritis): Algoritma Boosting dan Decision tree seperti Random Forests atau AdaBoost , dan GentleBoost diterapkan pada pohon keputusan. dengan Metode pembelajaran yang dalam seperti Mesin Boltzmann Terbatas , Memori Temporal Hirarki , Jaringan Neural Konvolusional , dll. …

18 machine-learning  deep-learning  cart  rbm  adaboost 

Sering diperdebatkan bahwa kerangka bayesian memiliki keuntungan besar dalam interpretasi (lebih sering), karena ia menghitung probabilitas parameter yang diberikan data - daripada seperti pada kerangka kerja frequentist. Sejauh ini baik.p(θ|x)p(θ|x)p(\theta|x)p(x|θ)p(x|θ)p(x|\theta) Tapi, seluruh persamaan itu didasarkan pada: p(θ|x)=p(x|θ).p(θ)p(x)p(θ|x)=p(x|θ).p(θ)p(x)p(\theta|x) = {p(x|\theta) . p(\theta) \over p(x)} menurut saya sedikit mencurigakan karena 2 alasan: …

18 bayesian  interpretation  prior  likelihood  posterior 

Saya punya poin (x, y) bahwa saya memerlukan regresi linier untuk melewati diberikan satu set data (X, Y). Bagaimana cara menerapkan ini dalam R?

18 r  regression 

Adakah yang tahu R setara dengan SAS PROC FREQ? Saya mencoba untuk menghasilkan statistik deskriptif ringkasan untuk beberapa variabel sekaligus.

18 r  descriptive-statistics  sas 

Saya menemukan bahwa latihan analisis data sederhana sering dapat membantu untuk menggambarkan dan mengklarifikasi konsep statistik. Latihan analisis data apa yang Anda gunakan untuk mengajarkan konsep statistik?

18 teaching 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Tutup 3 tahun yang lalu . Bagaimana saya bisa menambahkan variabel baru ke dalam kerangka data yang akan menjadi peringkat persentil dari salah satu variabel? Saya …

18 r  quantiles 

Saya ingin menguji model jalur multi-tahap (misalnya, A memprediksi B, B memprediksi C, C memprediksi D) di mana semua variabel saya adalah pengamatan individu yang bersarang dalam kelompok. Sejauh ini saya sudah melakukan ini melalui beberapa analisis multilevel unik di R. Saya lebih suka menggunakan teknik seperti SEM yang memungkinkan …

18 r  multilevel-analysis  sem  path-model 

Membaca Statistik Statistik Fielding Menggunakan SPSS (Edisi ke-3) Saya sedikit terkejut dengan tes post-hoc di ANOVA. Bagi mereka yang ingin mengendalikan tingkat kesalahan Tipe I ia menyarankan Bonferroni atau Tukey dan mengatakan (hal. 374): Bonferroni memiliki kekuatan lebih ketika jumlah perbandingan kecil, sedangkan Tukey lebih kuat ketika menguji sejumlah besar …

18 anova  multiple-comparisons  post-hoc  bonferroni  tukey-hsd 

Saya memiliki beberapa data yang sangat berkorelasi. Jika saya menjalankan regresi linier, saya mendapatkan garis regresi dengan kemiringan mendekati satu (= 0,93). Yang ingin saya lakukan adalah menguji apakah kemiringan ini sangat berbeda dari 1,0. Harapan saya adalah tidak. Dengan kata lain, saya ingin mengubah hipotesis nol dari regresi linier …

18 regression  correlation  hypothesis-testing 

Terkunci . Pertanyaan ini dan jawabannya dikunci karena pertanyaannya di luar topik tetapi memiliki signifikansi historis. Saat ini tidak menerima jawaban atau interaksi baru. Saya ingin menggunakan R untuk merencanakan sesuatu seperti ini: Tampaknya mungkin tetapi sangat kompleks untuk melacak koordinat, lebar, tinggi, dll. Secara intuitif tampaknya akan lebih baik …

18 r  data-visualization  tables 

Konteks: Dari pertanyaan tentang Pertukaran Matematika Stack (Dapatkah saya membangun program) , seseorang memiliki satu set poin , dan ingin menyesuaikan kurva untuk itu, linier, eksponensial atau logaritmik. Metode yang biasa adalah memulai dengan memilih salah satu dari ini (yang menentukan model), dan kemudian melakukan perhitungan statistik.x - yx-yx-y Tetapi …

18 regression  predictive-models  model-selection  curve-fitting