Statistik dan Big Data

Saya melakukan banyak pelaporan real estat dan harga median sering dilaporkan, terutama oleh NAR (National Association Of Realtors). Yang terbaik yang bisa saya katakan, mereka hanya mendapatkan median harga real estat dari masing-masing daerah. Pertanyaan saya adalah, bagaimana seharusnya median nasional dihitung, mengingat batasan data? Sebagai median median, rata-rata median …

13 median 

Saya ingin mengotomatiskan pilihan burn-in untuk rantai MCMC, misalnya dengan menghapus baris pertama berdasarkan pada diagnostik konvergensi. Sejauh mana langkah ini dapat diotomatisasi dengan aman? Bahkan jika saya masih mengecek autokorelasi, jejak mcmc, dan pdf, alangkah baiknya jika memiliki pilihan burn-in length otomatis. Pertanyaan saya bersifat umum, tetapi akan lebih …

13 r  bayesian  mcmc 

Ini mungkin pertanyaan naif, tapi begini saja. Jika saya memiliki satu set data empiris dan menyesuaikan kepadatan kernel dengan itu, dan kemudian memperoleh nilai tunggal baru yang mungkin berasal dari proses yang sama yang menghasilkan set data asli, dapatkah saya menetapkan probabilitas bahwa nilai baru ini milik set / proses …

13 kde 

Saya menjalankan model logistik. Dataset model yang sebenarnya memiliki lebih dari 100 variabel, tetapi saya memilih kumpulan data uji yang ada sekitar 25 variabel. Sebelumnya saya juga membuat dataset yang memiliki 8-9 variabel. Saya diberi tahu bahwa nilai AIC dan SC dapat digunakan untuk membandingkan model. Saya mengamati bahwa model …

13 model-selection  logistic  aic 

Biarkan Qn=Cn.{|Xi−Xj|;i&lt;j}(k)Qn=Cn.{|Xi−Xj|;i&lt;j}(k)Q_n = C_n.\{|X_i-X_j|;i < j\}_{(k)} jadi untuk sampel yang sangat singkat seperti {1,3,6,2,7,5}{1,3,6,2,7,5}\{1,3,6,2,7,5\} dapat dihitung dari menemukan urutan kkk statis dari perbedaan berpasangan: 7 6 5 3 2 1 1 6 5 4 2 1 2 5 4 3 1 3 4 3 2 5 2 1 6 1 …

13 data-transformation  scales  robust  optimal-scaling 

Saya memiliki regresi multivarian, yang mencakup interaksi. Misalnya, untuk mendapatkan perkiraan efek pengobatan untuk kuintil termiskin, saya perlu menambahkan koefisien dari regressor pengobatan ke koefisien dari variabel interaksi (yang berinteraksi dengan pengobatan dan kuintil 1). Saat menambahkan dua koefisien dari regresi, bagaimana seseorang mendapatkan kesalahan standar? Apakah mungkin untuk menambahkan …

13 regression  standard-deviation  standard-error 

Pertanyaan: Apa metode yang baik untuk melakukan tes post hoc perbedaan antara rata-rata kelompok setelah menyesuaikan efek kovariat? Contoh prototipe: Empat kelompok, 30 peserta per kelompok (misalnya, empat populasi psikologi klinis yang berbeda) Variabel Dependent adalah numerik (mis., Skor kecerdasan) Kovariat adalah numerik (misalnya, indeks status sosial ekonomi) Pertanyaan penelitian …

13 anova  multiple-comparisons  ancova 

Apa yang harus menjadi rasio jumlah pengamatan dan jumlah variabel? Bagaimana mendeteksi overfitting pada model jaringan saraf dan apa cara untuk menghindari overfitting? Jika saya ingin melakukan klasifikasi dengan Neural Network, haruskah kelas memiliki frekuensi yang sama? Tolong bantu saya.

13 neural-networks 

Katakanlah saya memiliki populasi 50 juta hal unik, dan saya mengambil 10 juta sampel (dengan penggantian) ... Grafik pertama yang saya lampirkan menunjukkan berapa kali saya mencicipi "benda" yang sama, yang relatif jarang seperti populasi lebih besar dari sampel saya. Namun jika populasi saya hanya 10 juta hal, dan saya …

13 r  sampling  expectation-maximization 

Saya telah membaca dan melihat banyak plot Koordinat paralel. Dapatkah seseorang menjawab serangkaian pertanyaan berikut: Apa yang dimaksud dengan plot koordinat paralel (PCP) dalam kata-kata sederhana, sehingga orang awam dapat mengerti? Penjelasan matematis dengan beberapa intuisi jika memungkinkan Kapan PCP berguna dan kapan menggunakannya? Kapan PCP tidak berguna dan kapan …

13 r  data-visualization 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup 5 bulan lalu . Apakah ada perpustakaan python yang bagus untuk pelatihan pohon keputusan yang didorong?

13 python  cart  boosting 

Mengikuti pertanyaan terakhir yang kami miliki di sini . Saya ingin tahu apakah ada yang menemukan atau dapat berbagi kode R untuk melakukan analisis kekuatan khusus berdasarkan simulasi untuk model linier? Kemudian saya jelas ingin memperluasnya ke model yang lebih kompleks, tetapi saya tampaknya tempat yang tepat untuk memulai. Terima …

13 r  power  power-analysis 

Saat memberi kuliah statistik, akan berguna untuk menggabungkan video pendek sesekali. Pikiran pertama saya termasuk: Animasi dan visualisasi konsep statistik Kisah-kisah tentang penerapan teknik tertentu Video lucu yang memiliki relevansi dengan ide statistik Wawancara dengan ahli statistik atau peneliti yang menggunakan statistik Apakah ada video yang Anda gunakan saat mengajar …

13 teaching  references 

Saya telah berjuang dengan masalah berikut dengan mudah-mudahan mudah untuk para ahli statistik (saya seorang programmer dengan beberapa paparan statistik). Saya perlu meringkas tanggapan terhadap survei (untuk manajemen). Survei ini memiliki 100+ pertanyaan, dikelompokkan dalam berbagai area (dengan sekitar 5 hingga 10 pertanyaan per area). Semua jawaban bersifat kategoris (dalam …

13 categorical-data  data-transformation  descriptive-statistics 

Tes apa yang tersedia untuk menguji dua sampel independen untuk hipotesis nol yang berasal dari populasi dengan kemiringan yang sama? Ada tes 1 sampel klasik untuk apakah kemiringan sama dengan angka tetap (tes melibatkan momen sampel keenam!); apakah ada terjemahan langsung ke tes 2 sampel? Apakah ada teknik yang tidak …

13 hypothesis-testing  distributions  bootstrap  moments  l-moments