Statistik dan Big Data

Saya membaca buku Larry Wasserman, All of Statistics , dan saat ini tentang nilai-p (halaman 187). Ijinkan saya memperkenalkan beberapa definisi (saya kutip): Definisi 1 Fungsi daya pengujian dengan wilayah penolakan didefinisikan oleh Ukuran tes didefinisikan sebagai Suatu tes dikatakan memiliki level \ alpha jika ukurannya kurang dari atau sama …

11 hypothesis-testing  mathematical-statistics  p-value 

Saya mencoba membangun bukti untuk masalah yang sedang saya kerjakan dan salah satu asumsi yang saya buat adalah bahwa kumpulan poin yang saya ambil sampel padat di seluruh ruang. Secara praktis, saya menggunakan pengambilan sampel Latin Hypercube untuk mendapatkan poin saya di seluruh ruang sampel. Yang ingin saya ketahui adalah …

11 sampling  asymptotics  latin-square  latin-hypercube 

Saya mencoba memvisualisasikan plot yang sesuai untuk pengamatan pada tabel rata-rata dan standar deviasi skor recall ini: PenarikanKontrolBerarti37SD8EksperimentalBerarti21SD6KontrolEksperimentalBerartiSDBerartiSDPenarikan378216\begin{array} {c|c c|c c|} & \text{Control} & & \text{Experimental} & \\ & \text{Mean} & \text{SD} &\text{Mean} &\text{SD} \\ \hline \text{Recall} & 37 & 8 & 21 & 6 \\ \hline \end{array} Apa cara …

11 data-visualization  standard-deviation  mean  descriptive-statistics  barplot 

Tidak seperti analisis komponen utama, solusi untuk model analisis faktor tidak harus bersarang. Yaitu, beban (misalnya) untuk faktor pertama tidak harus sama ketika hanya faktor pertama yang diekstraksi vs. ketika dua faktor pertama. Dengan mengingat hal itu, pertimbangkan kasus di mana Anda memiliki satu set variabel manifes yang sangat berkorelasi …

11 references  factor-analysis  psychometrics 

Saya sedang mempelajari LASSO (setidaknya penyusutan absolut dan operator seleksi) sementara itu. Saya melihat bahwa nilai optimal untuk parameter regularisasi dapat dipilih dengan validasi silang. Saya melihat juga dalam regresi ridge dan banyak metode yang menerapkan regularisasi, kita dapat menggunakan CV untuk menemukan parameter regularisasi yang optimal (mengatakan penalti). Sekarang …

11 lasso  regularization  shrinkage 

Saya memiliki situasi di mana saya dapat memperkirakan (yang pertama) kkk momen dari kumpulan data, dan ingin menggunakannya untuk menghasilkan estimasi fungsi kerapatan. Saya sudah menemukan distribusi Pearson , tetapi menyadari itu hanya bergantung pada 4 momen pertama (dengan beberapa pembatasan pada kemungkinan kombinasi momen). Saya juga mengerti bahwa setiap …

11 pdf  kernel-smoothing  moments 

Saya mencoba menanamkan sekitar 60 juta frasa ke dalam ruang vektor , lalu menghitung persamaan cosinus di antara mereka. Saya telah menggunakan sklearn's CountVectorizerdengan fungsi tokenizer yang dibuat khusus yang menghasilkan unigrams dan bigrams. Ternyata untuk mendapatkan representasi yang bermakna, saya harus mengizinkan sejumlah besar kolom, linier dalam jumlah baris. …

11 machine-learning  natural-language  word2vec  word-embeddings  cosine-similarity 

Konteks Ini agak mirip dengan pertanyaan ini , tetapi saya tidak berpikir itu adalah duplikat yang tepat. Ketika Anda mencari instruksi bagaimana melakukan tes hipotesis bootstrap, biasanya dinyatakan bahwa boleh saja menggunakan distribusi empiris untuk interval kepercayaan tetapi Anda perlu mem-bootstrap dengan benar dari distribusi di bawah hipotesis nol untuk …

11 confidence-interval  p-value  bootstrap 

Saya belajar tentang pemilihan fitur. Saya bisa melihat mengapa itu penting dan bermanfaat, untuk pembuatan model. Tetapi mari kita fokus pada tugas-tugas pembelajaran (klasifikasi) yang diawasi. Mengapa pemilihan fitur penting, untuk tugas klasifikasi? Saya melihat banyak literatur yang ditulis tentang pemilihan fitur dan penggunaannya untuk pembelajaran yang diawasi, tetapi ini …

11 feature-selection  accuracy  regression-strategies 

Saya ingin mendeteksi apakah collinearity merupakan masalah dalam regresi OLS saya. Saya memahami bahwa varians faktor inflasi dan indeks kondisi adalah dua ukuran yang umum digunakan, tetapi saya merasa kesulitan untuk menemukan sesuatu yang pasti pada manfaat dari setiap pendekatan, atau berapa skor yang seharusnya. Sumber terkemuka yang menunjukkan pendekatan …

11 multiple-regression  references  least-squares  multicollinearity  vif 

Saya harus menghitung estimasi kepadatan kernel 2d (KDE) dari daftar koordinat lintang dan bujur. Tetapi satu derajat dalam garis lintang tidak sama dengan satu derajat dalam garis bujur, ini berarti bahwa masing-masing kernel akan berbentuk oval, khususnya titik selanjutnya dari khatulistiwa. Dalam kasus saya, semua titik cukup dekat satu sama …

11 spatial  kernel-smoothing  geostatistics  geography 

Saya membaca artikel yang metodenya sepenuhnya berdasarkan uji rasio kemungkinan. Penulis mengatakan bahwa uji LR terhadap alternatif satu sisi adalah UMP. Dia melanjutkan dengan mengklaim itu "... bahkan ketika [tes LR] tidak dapat ditunjukkan paling kuat secara seragam, tes LR sering memiliki sifat statistik yang diinginkan." Saya bertanya-tanya apa sifat …

11 hypothesis-testing  power-analysis  power  likelihood-ratio  neyman-pearson-lemma 

Misalkan saya ingin mempelajari classifier yang mengambil vektor angka sebagai input, dan memberikan label kelas sebagai output. Data pelatihan saya terdiri dari sejumlah besar pasangan input-output. Namun, ketika saya datang untuk menguji beberapa data baru, data ini biasanya hanya sebagian yang lengkap. Misalnya jika vektor input panjangnya 100, hanya 30 …

11 machine-learning  classification  neural-networks  deep-learning 

Saya menggunakan proses Gaussian (GP) untuk regresi. Dalam masalah saya, cukup umum untuk dua atau lebih titik data saling berdekatan, relatif dengan panjangnya skala masalah. Juga, pengamatan bisa sangat bising. Untuk mempercepat perhitungan dan meningkatkan presisi pengukuran , tampaknya wajar untuk menggabungkan / mengintegrasikan kelompok titik yang dekat satu sama …

11 regression  machine-learning  gaussian-process 

Mengingat rumus untuk estimasi MAP dari suatu parameter Mengapa diperlukan pendekatan MCMC (atau serupa), tidak bisakah saya mengambil turunannya, menetapkannya menjadi nol dan kemudian menyelesaikannya untuk parameter?

11 bayesian  estimation  mcmc