Statistik dan Big Data

Catatan: Saya saya menyadari filosofis perbedaan antara Bayesian dan statistik frequentist. Misalnya "berapa probabilitas bahwa koin di atas meja adalah kepala" tidak masuk akal dalam statistik sering, karena sudah ada kepala atau ekor yang mendarat - tidak ada yang probabilistik tentang hal itu. Jadi pertanyaannya tidak memiliki jawaban dalam istilah …

54 bayesian  frequentist 

Atau lebih tepatnya "apakah itu"? Big Data menjadikan statistik dan pengetahuan yang relevan menjadi lebih penting tetapi tampaknya tidak mendukung Teori Sampling. Saya telah melihat hype ini di sekitar 'Big Data' dan saya bertanya-tanya bahwa "mengapa" saya ingin menganalisis semuanya ? Apakah tidak ada alasan untuk "Teori Pengambilan Sampel" untuk …

54 sampling  data-mining  large-data 

Saya baru dalam pemilihan fitur dan saya ingin tahu bagaimana Anda akan menggunakan PCA untuk melakukan pemilihan fitur. Apakah PCA menghitung skor relatif untuk setiap variabel input yang dapat Anda gunakan untuk menyaring variabel input noninformatif? Pada dasarnya, saya ingin dapat memesan fitur asli dalam data berdasarkan varians atau jumlah …

54 r  pca  feature-selection 

Kami menemukan pusat-pusat klaster dan menetapkan poin ke k tempat-tempat klaster yang berbeda dalam klaster k-means yang merupakan algoritma yang sangat terkenal dan ditemukan hampir di setiap paket pembelajaran mesin di internet. Tetapi bagian yang hilang dan paling penting menurut saya adalah pilihan k yang benar. Apa nilai terbaik untuk …

54 clustering  k-means 

Saya telah bekerja di R sedikit dan telah dihadapkan dengan hal-hal seperti PCA, SVD, dekomposisi QR dan banyak hasil aljabar linier tersebut (ketika memeriksa estimasi regresi berbobot dan semacamnya) jadi saya ingin tahu apakah ada yang punya rekomendasi tentang barang yang bagus. buku aljabar linier yang komprehensif yang tidak terlalu …

54 references  matrix  linear-algebra  weighted-regression 

Saya sering mendengar bahwa post hoc test setelah ANOVA hanya dapat digunakan jika ANOVA itu signifikan. Namun, tes post hoc menyesuaikan nilai untuk menjaga tingkat kesalahan tipe I global sebesar 5%, bukan?ppp Jadi mengapa kita perlu tes global terlebih dahulu? Jika kita tidak memerlukan tes global apakah terminologi "post hoc" …

54 anova  statistical-significance  post-hoc 

Mari kita asumsikan bahwa Anda adalah seorang peneliti ilmu sosial / ekonometrik yang mencoba menemukan prediktor yang relevan dari permintaan layanan. Anda memiliki 2 variabel hasil / dependen yang menggambarkan permintaan (menggunakan layanan ya / tidak, dan jumlah kesempatan). Anda memiliki 10 variabel prediktor / independen yang secara teoritis dapat …

54 regression  multivariate-analysis  predictive-models  multiple-regression  multiple-comparisons 

Saya sebelumnya menanyakan ini pada StackOverflow, tetapi sepertinya itu mungkin lebih tepat di sini, mengingat bahwa itu tidak mendapatkan jawaban pada SO. Ini semacam persimpangan antara statistik dan pemrograman. Saya perlu menulis beberapa kode untuk melakukan PCA (Principal Component Analysis). Saya telah melihat-lihat algoritma yang terkenal dan menerapkan yang ini …

54 pca  algorithms  model-evaluation  high-dimensional 

Apa yang merupakan penduga standar deviasi dari standar deviasi jika normalitas data dapat diasumsikan?

54 estimation  standard-deviation  normality-assumption 

Sebuah pertanyaan yang sebelumnya dicari rekomendasi untuk buku teks tentang statistik matematika Adakah yang tahu tentang kuliah video daring yang bagus tentang statistik matematika ? Yang paling dekat yang saya temukan adalah: Pembelajaran mesin Ekonometrika UPDATE: Sejumlah saran yang disebutkan di bawah ini adalah video jenis statistik-101 yang baik. Namun, …

54 mathematical-statistics  references 

Apa pengantar yang baik untuk statistik untuk seorang ahli matematika yang sudah berpengalaman dalam probabilitas? Saya memiliki dua motivasi berbeda untuk bertanya, yang mungkin mengarah pada saran yang berbeda: Saya ingin lebih memahami motivasi statistik di balik banyak masalah yang dipertimbangkan oleh para probabilis. Saya ingin tahu bagaimana cara lebih …

54 references 

Tampaknya mungkin untuk mendapatkan hasil yang mirip dengan jaringan saraf dengan regresi linier multivariat dalam beberapa kasus, dan regresi linier multivariat super cepat dan mudah. Dalam keadaan apa jaringan saraf dapat memberikan hasil yang lebih baik daripada regresi linier multivariat?

54 regression  multiple-regression  neural-networks 

Saya sudah membaca banyak tentang PCA, termasuk berbagai tutorial dan pertanyaan (seperti yang ini , yang ini , yang ini , dan yang ini ). Masalah geometris yang PCA coba optimalkan jelas bagi saya: PCA mencoba menemukan komponen utama pertama dengan meminimalkan kesalahan rekonstruksi (proyeksi), yang secara bersamaan memaksimalkan varians …

54 pca  optimization  linear-algebra  intuition 

Bagi saya, tampaknya validasi tahan tidak berguna. Yaitu, memisahkan dataset asli menjadi dua bagian (pelatihan dan pengujian) dan menggunakan skor pengujian sebagai ukuran generalisasi, agak tidak berguna. K-fold cross-validation tampaknya memberikan perkiraan yang lebih baik dari generalisasi (karena melatih dan menguji pada setiap titik). Jadi, mengapa kita menggunakan validasi hold-out …

54 machine-learning  cross-validation  validation 

Saya membaca dari buku teks saya bahwa tidak menjamin X dan Y independen. Tetapi jika mereka independen, kovarian mereka harus 0. Saya belum bisa memikirkan contoh yang tepat; bisakah seseorang menyediakannya?cov(X,Y)=0cov(X,Y)=0\text{cov}(X,Y)=0

54 independence  covariance