Statistik dan Big Data

Fungsi qqnorm()R menghasilkan plot QQ normal dan qqline()menambahkan garis yang melewati kuartil pertama dan ketiga. Apa asal mula dari baris ini? Apakah membantu memeriksa normalitas? Ini bukan garis klasik ( diagonal mungkin setelah penskalaan linear).y= xy=xy=x Berikut ini sebuah contoh. Pertama saya membandingkan fungsi distribusi empiris dengan fungsi distribusi teoritis …

20 r  normal-distribution  qq-plot 

Saya baru-baru ini menganalisis percobaan yang memanipulasi 2 variabel kategori dan satu variabel kontinu menggunakan ANCOVA. Namun, peninjau menyarankan bahwa regresi berganda dengan variabel kategori dikodekan sebagai variabel dummy adalah tes yang lebih tepat untuk eksperimen dengan variabel kategorikal dan kontinu. Kapan sebaiknya menggunakan ANCOVA vs regresi berganda dengan variabel …

20 regression  multiple-regression  ancova  categorical-encoding 

Misalkan saya ingin membangun model untuk memprediksi beberapa jenis rasio atau persentase. Sebagai contoh, katakanlah saya ingin memprediksi jumlah anak laki-laki vs perempuan yang akan menghadiri pesta, dan fitur-fitur pesta yang dapat saya gunakan dalam model adalah hal-hal seperti jumlah iklan untuk pesta, ukuran tempat acara, apakah ada akan ada …

20 regression  logistic 

Apakah saya benar untuk memahami bahwa urutan variabel ditentukan dalam ANOVA multifaktorial membuat perbedaan tetapi urutan itu tidak masalah ketika melakukan regresi linier berganda? Jadi dengan asumsi hasil seperti kehilangan darah yang diukur y dan dua variabel kategori metode adenoidektomi a , metode tonsilektomi b . Model y~a+bberbeda dengan model …

20 regression  hypothesis-testing  anova  unbalanced-classes  sums-of-squares 

Dalam sejumlah paket statistik termasuk SAS, SPSS dan mungkin lebih, ada opsi untuk "menekan intersep". Mengapa Anda ingin melakukan itu?

20 regression 

Dalam studi asosiasi genom-luas (GWAS): Apa komponen utama? Mengapa mereka digunakan? Bagaimana mereka dihitung? Bisakah studi asosiasi genome dilakukan tanpa menggunakan PCA?

20 pca  genetics  gwas 

Saya bingung tentang bagaimana memutuskan apakah memperlakukan waktu sebagai hal yang berkelanjutan atau terpisah dalam analisis kelangsungan hidup. Secara khusus, saya ingin menggunakan analisis survival untuk mengidentifikasi variabel tingkat anak dan rumah tangga yang memiliki perbedaan terbesar dalam dampaknya terhadap kelangsungan hidup anak laki-laki dan perempuan (hingga usia 5). Saya …

20 survival  ties 

Biasanya menggunakan momen distribusi kedua, ketiga dan keempat untuk menggambarkan properti tertentu. Apakah momen parsial atau momen yang lebih tinggi dari keempat menggambarkan sifat berguna dari suatu distribusi?

20 distributions  moments  partial-moments 

Saya sedang mengerjakan pembuatan situs web, yang menampilkan data sensus untuk pengguna yang dipilih Poligon & ingin menampilkan distribusi berbagai parameter secara grafis (satu grafik per parameter). Data biasanya memiliki sifat-sifat berikut: Ukuran sampel cenderung besar (misalnya sekitar 10.000 titik data) Kisaran nilai cenderung quire besar (misalnya, populasi minimum bisa …

20 distributions  data-visualization  boxplot 

Setelah model ARMA cocok dengan deret waktu, adalah umum untuk memeriksa residu melalui tes portmanteau Ljung-Box (di antara tes lain). Tes Ljung-Box mengembalikan nilai ap. Ini memiliki parameter, h , yang merupakan jumlah kelambatan yang akan diuji. Beberapa teks merekomendasikan penggunaan h = 20; yang lain merekomendasikan penggunaan h = …

20 time-series 

Telah disarankan oleh Angrist dan Pischke bahwa Robust (yaitu kuat terhadap heteroskedastisitas atau varians yang tidak setara) Kesalahan Standar dilaporkan sebagai hal yang biasa daripada pengujian untuk itu. Dua pertanyaan: Apa dampaknya terhadap kesalahan standar dalam melakukan hal tersebut ketika ada homoskedastisitas? Apakah ada yang benar-benar melakukan ini dalam pekerjaan …

20 regression  standard-error  heteroscedasticity  robust-standard-error 

Konteks Multivariate Gaussian sering muncul dalam Pembelajaran Mesin dan hasil berikut digunakan di banyak buku dan kursus ML tanpa derivasi. Data yang diberikan dalam bentuk matriks XX\mathbf{X} dimensi m×pm×p m \times p , jika kita mengasumsikan bahwa data mengikuti distribusi Gaussian ppp variatif dengan rata-rata parameter μμ\mu ( p×1p×1p \times …

20 normal-distribution  maximum-likelihood  estimators  multivariate-normal 

Saya mencoba memahami cara kerja XGBoost. Saya sudah mengerti bagaimana gradien meningkatkan kerja pohon di Python sklearn. Yang tidak jelas bagi saya adalah apakah XGBoost bekerja dengan cara yang sama, tetapi lebih cepat, atau jika ada perbedaan mendasar antara itu dan implementasi python. Ketika saya membaca makalah ini http://learningsys.org/papers/LearningSys_2015_paper_32.pdf Bagi …

20 scikit-learn  boosting  gbm  xgboost 

Dalam istilah istilah jaringan saraf (y = Berat * x + bias) bagaimana saya tahu variabel mana yang lebih penting daripada yang lain? Saya memiliki jaringan saraf dengan 10 input, 1 layer tersembunyi dengan 20 node, dan 1 layer output yang memiliki 1 node. Saya tidak yakin bagaimana mengetahui variabel …

20 machine-learning  neural-networks  bias  tensorflow  theano 

Algoritma genetika adalah salah satu bentuk metode optimasi. Seringkali penurunan gradien stokastik dan turunannya adalah pilihan terbaik untuk optimasi fungsi, tetapi kadang-kadang algoritma genetika masih digunakan. Misalnya, antena pesawat ruang angkasa ST5 NASA dibuat dengan algoritma genetika: Kapan metode optimisasi genetik merupakan pilihan yang lebih baik daripada metode gradient descent …

20 machine-learning  optimization  gradient-descent  genetic-algorithms