Statistik dan Big Data

Jika jaring saraf yang dalam dianggap sebagai penduga fungsi universal, apakah perluasan basis benar-benar diperlukan? Atau apakah ini spesifik kasus? Misalnya, jika seseorang memiliki tiga variabel X kuantitatif, apakah akan ada keuntungan dalam memperluas jumlah variabel dengan memperkenalkan interaksi, polinomial, dll.? Ini tampaknya memiliki utilitas yang baik dalam RF misalnya …

8 neural-networks  deep-learning  feature-construction 

Misalkan kita memiliki tes yang terdiri dari 30 pertanyaan, dan 10 orang mengikuti tes ini. Nilai tes rata-rata dari 10 orang ini adalah 17, dan standar deviasi dari semua skor dalam sampel adalah 4. Ketika melaporkan statistik deskriptif di sekolah, kami menggunakan skor mentah ini dan menulis ( M = …

8 mean  standard-deviation  percentage 

Dalam semua kertas hutan acak (regresi) yang saya baca, ketika tiba saatnya untuk mengumpulkan prediksi semua pohon, kami mengambil nilai rata-rata sebagai prediksi. Pertanyaan saya adalah mengapa kita melakukan itu? Apakah ada justifikasi statistik untuk mengambil rata-rata? EDIT: Untuk mengklarifikasi pertanyaan, saya tahu dimungkinkan untuk menggunakan fungsi agregasi lainnya (kami …

8 regression  random-forest  ensemble 

Masalah saya adalah ini: Saya memiliki ansambel prediktor yang masing-masing menghasilkan distribusi melalui serangkaian kelas. Apa yang ingin saya lakukan adalah terlebih dahulu memiliki informasi non-informatif tentang bagaimana penampilan label ini, dan kemudian memperbaruinya dengan prediksi masing-masing anggota ensemble. Jadi saya berpikir untuk menggunakan Dirichlet non-informatif sebelumnya, yang kemudian saya …

8 bayesian  ensemble  dirichlet-distribution 

Saya mengerti beberapa dari banyak masalah regresi bertahap. Namun, sebagai upaya akademis, anggap saya ingin menggunakan regresi bertahap untuk model prediksi, dan saya ingin lebih memahami dampak yang mungkin ditimbulkan terhadap kinerja. Diberikan model linier, misalnya, apakah melakukan regresi bertahap pada model cenderung meningkatkan atau menurunkan daya prediksi model ketika …

8 regression  predictive-models  stepwise-regression 

Regresi kuantil (QR) kadang-kadang dikatakan untuk mengungkapkan hubungan yang berbeda antara variabel pada kuantil yang berbeda dari distribusi. Misalnya Le Cook et al. "Berpikir di luar rata-rata: panduan praktis untuk menggunakan metode regresi kuantil untuk penelitian layanan kesehatan" menyiratkan bahwa QR memungkinkan hubungan antara hasil yang menarik dan variabel penjelas …

8 interpretation  quantile-regression 

Dalam sebagian besar mata kuliah teori probabilitas dasar, fungsi menghasilkan momen yang Anda katakan (mgf) berguna untuk menghitung momen dari variabel acak. Khususnya harapan dan varians. Sekarang di sebagian besar program contoh yang mereka berikan untuk harapan dan varians dapat diselesaikan secara analitis menggunakan definisi. Adakah contoh nyata dari distribusi …

8 probability  distributions  mathematical-statistics  mgf  method-of-moments 

TL; DR (terlalu panjang, tidak dibaca): Saya sedang mengerjakan masalah prediksi deret waktu, yang saya rumuskan sebagai masalah Regresi menggunakan Deep Learning (keras). Saya ingin mengoptimalkan korelasi Pearson antara prediksi saya dan label yang sebenarnya. Saya bingung dengan fakta bahwa menggunakan MSE sebagai proxy sebenarnya mengarah ke hasil yang lebih …

8 machine-learning  deep-learning  loss-functions  pearson-r  mse 

Ini adalah pertanyaan tentang uji-t di SPSS. Saya memiliki dua kelompok dan saya ingin menguji apakah kedua cara itu sama. Saya menggunakan uji-t dengan bootstrap. Pada akhirnya saya mendapat nilai-p <0,005, yang umumnya akan menyebabkan saya menolak hipotesis nol bahwa rata-rata dari dua populasi sama tetapi dalam kasus saya nol …

8 confidence-interval  t-test  p-value  spss 

Dalam Analisis Ekonometrik Jeff Wooldridge (edisi ke-2), ia memperoleh ungkapan untuk penduga perbedaan-perbedaan-dalam-perbedaan (DDD) pada halaman 151 untuk kasus dua periode di mana negara B mengimplementasikan perubahan kebijakan perawatan kesehatan yang ditujukan untuk orang tua. . Pertama, saya bingung mengapa persamaan (6.56) tidak memiliki suku keempat (y¯A , N, 2-y¯A …

8 panel-data  econometrics  difference-in-difference 

Saat ini saya melihat beberapa data yang dihasilkan oleh simulasi MC yang saya tulis - saya berharap nilai-nilai akan terdistribusi secara normal. Secara alami saya merencanakan histogram dan itu terlihat masuk akal (saya kira?): [Kiri atas: histogram dengan dist.pdf(), kanan atas: histogram kumulatif dengan dist.cdf(), bawah: plot QQ, datavs dist] …

8 hypothesis-testing  normal-distribution  python  kolmogorov-smirnov 

Seharusnya XXX adalah k × 1k×1k\times 1vektor variabel acak. Maka tolong verifikasi ituEX′( EXX′)- 1EX≤ 1EX′(EXX′)−1EX≤1EX^{\prime}(EXX^{\prime})^{-1}EX\leq 1. Kapan K= 1K=1K=1 ini adalah hasil yang terkenal itu ( EX)2≤ EX2(EX)2≤EX2(EX)^{2}\leq EX^{2}. Tetapi bagaimana saya harus mengklaim ini secara umum?

8 self-study  mathematical-statistics  expected-value  matrix  covariance-matrix 

Masalah pekerjaan rumah saya adalah memberikan contoh tandingan di mana statistik tertentu secara umum tidak cukup memadai. Terlepas dari rincian menemukan sampel tandingan tertentu untuk statistik khusus ini, ini menimbulkan pertanyaan bagi saya: Pertanyaan: Bagaimana seseorang dapat merumuskan kondisi tidak menjadi statistik yang cukup minimal dengan cara yang memungkinkan untuk …

8 self-study  mathematical-statistics  sufficient-statistics 

Dalam "Panduan Practioner untuk Generalized linear models" dalam paragraf 1.83 dinyatakan bahwa: "Dalam kasus khusus GLM multiplikatif Poisson dapat ditunjukkan bahwa klaim pemodelan dihitung dengan istilah offset yang sama dengan log paparan yang menghasilkan hasil yang identik dengan pemodelan frekuensi klaim dengan bobot sebelumnya yang ditetapkan sama dengan paparan setiap …

8 generalized-linear-model  modeling  poisson-regression  weights  offset 

Saya bertanya-tanya bagaimana cara mengintegrasikan splines kubik terbatas (seperti dalam paket rms) dalam model imputasi dalam paket imputasi tikus. Konteks : Saya sedang melakukan penelitian biomedis dan memiliki akses ke dataset yang terdiri dari karakteristik pasien dan data tentang perkembangan penyakit pasien, di samping hasil setelah perawatan medis (misalnya kelangsungan …

8 data-imputation  multiple-imputation  splines