Statistik dan Big Data

Dalam pengujian hipotesis, pertanyaan umum adalah apa varians populasi? Pertanyaan saya adalah bagaimana kita bisa mengetahui varians populasi? Jika kita tahu seluruh distribusinya, kita mungkin juga tahu rata - rata dari seluruh populasi. Lalu apa gunanya pengujian hipotesis?

10 hypothesis-testing  variance  t-test  z-test 

Saya memiliki satu set data yang terdiri dari 482 observasi. data=Populationfull Saya akan melakukan analisis asosiasi genotipe untuk 3 SNP. Saya mencoba membangun model untuk analisis saya dan saya menggunakan aov (y ~ x, data = ...). Untuk satu sifat saya memiliki beberapa efek tetap dan kovariat yang telah saya …

10 r  anova 

Di kelas pembelajaran mesin saya, kami telah belajar tentang bagaimana regresi LASSO sangat baik dalam melakukan pemilihan fitur, karena menggunakan regularisasi .l1l1l_1 Pertanyaan saya: apakah orang biasanya menggunakan model LASSO hanya untuk melakukan pemilihan fitur (dan kemudian melanjutkan untuk membuang fitur-fitur tersebut ke model pembelajaran mesin yang berbeda), atau apakah …

10 feature-selection  lasso  regression-strategies 

Saya memiliki dua variabel kategori / nominal. Masing-masing hanya dapat mengambil dua nilai berbeda (jadi, saya memiliki total 4 kombinasi). Setiap kombinasi nilai dilengkapi dengan satu set nilai numerik. Jadi, saya punya 4 set angka. Untuk membuatnya lebih konkret, mari kita katakan bahwa saya memiliki male / femaledan young / …

10 hypothesis-testing  p-value  nonparametric  permutation-test 

Saya mencoba menerapkan estimasi numerik Kullback-Leibler Divergence untuk dua sampel. Untuk debug implementasi, ambil sampel dari dua distribusi normal dan .N ( 1 , 2 )N(0,1)N(0,1)\mathcal N (0,1)N(1,2)N(1,2)\mathcal N (1,2) Untuk perkiraan sederhana saya menghasilkan dua histogram dan mencoba untuk memperkirakan secara integral numerik. Saya terjebak dengan menangani bagian-bagian histogram …

10 estimation  intuition  kullback-leibler  numerics 

Apakah ada persamaan dengan rumus rata-rata: mean=1N∑i=1NXimean=1N∑i=1NXi\begin{equation} \mathrm{mean} = \cfrac{1}{N} \sum_{i=1}^{N} X_i \end{equation} untuk median?

10 median  definition 

Sebagai contoh, saya sering bertemu siswa yang tahu bahwa Observed adalah penduga yang bias dari Populasi . Kemudian, ketika menulis laporan mereka, mereka mengatakan hal-hal seperti:R 2R2R2R^2R2R2R^2 "Saya menghitung Observed dan Adjusted , dan mereka sangat mirip, menunjukkan hanya sedikit bias dalam nilai Observed kami peroleh."R 2 R 2R2R2R^2R2R2R^2R2R2R^2 Saya …

10 mathematical-statistics  terminology  bias  estimators 

Saya memahami bahwa dalam regresi linier, kesalahan diasumsikan terdistribusi secara normal, tergantung pada nilai prediksi y. Kemudian kita melihat residu sebagai semacam proksi untuk kesalahan. Ini sering direkomendasikan untuk menghasilkan output seperti ini: . Namun, saya tidak mengerti apa gunanya mendapatkan residual untuk setiap titik data dan menumbuknya bersama dalam …

10 regression  assumptions 

Saya mencoba untuk melatih jaringan saraf yang mendalam untuk klasifikasi, menggunakan propagasi balik. Secara khusus, saya menggunakan jaringan saraf convolutional untuk klasifikasi gambar, menggunakan perpustakaan Tensor Flow. Selama pelatihan, saya mengalami beberapa perilaku aneh, dan saya hanya ingin tahu apakah ini tipikal, atau apakah saya mungkin melakukan sesuatu yang salah. …

10 machine-learning  classification  neural-networks  conv-neural-network  tensorflow 

Pertanyaan singkat: Apakah ada distribusi lemak-jari? Saya yakin jika itu ada, maka ia memiliki nama yang berbeda. Saya tidak tahu bagaimana merumuskannya sebagai fungsi analitik. Bisakah Anda membantu saya menemukan versi yang sudah ada atau mulai merumuskannya dalam sesuatu yang lebih bersih daripada simulasi raksasa? Ini adalah distribusi angka yang …

10 distributions  simulation 

Dalam PCA, apakah ada bedanya jika kita memilih komponen utama dari matriks kovarians terbalik ATAU jika kita menjatuhkan vektor eigen dari matriks kovarians yang sesuai dengan nilai eigen besar? Ini terkait dengan diskusi di dalam posting ini .

10 machine-learning  pca  computational-statistics 

Pertanyaan singkat: Saya telah melihat Cohen menghitung dua cara berbeda untuk uji-t sampel dependen (misalnya, desain sampel dalam menguji keefektifan obat dengan titik waktu sebelum / sesudah). Menggunakan deviasi standar dari skor perubahan dalam penyebut persamaan untuk Cohen d. Menggunakan standar deviasi skor pretest dalam penyebut persamaan untuk Cohen d. …

10 t-test  effect-size 

Saya mencoba memasukkan sedikit ke dalam statistik, tetapi saya terjebak dengan sesuatu. Data saya adalah sebagai berikut: Year Number_of_genes 1990 1 1991 1 1993 3 1995 4 Sekarang saya ingin membangun model regresi untuk dapat memprediksi jumlah gen untuk tahun tertentu berdasarkan data. Saya melakukannya dengan regresi linier sampai sekarang, …

10 regression  count-data  poisson-regression 

Saya baru-baru ini mulai menggunakan Pareto smoothed pentingnya pengambilan sampel validasi silang keluar-keluar-keluar (PSIS-LOO), yang dijelaskan dalam makalah ini: Vehtari, A., & Gelman, A. (2015). Pareto memuluskan sampel kepentingan. pracetak arXiv ( tautan ). Vehtari, A., Gelman, A., & Gabry, J. (2016). Evaluasi model Bayesian praktis menggunakan validasi silang tinggalkan-keluar-keluar …

10 machine-learning  cross-validation  mcmc  pareto-distribution  importance-sampling 

Apa pendekatan yang biasa untuk pemodelan deret waktu biner? Apakah ada kertas atau buku teks di mana ini dirawat? Saya memikirkan proses biner dengan korelasi otomatis yang kuat. Sesuatu seperti tanda proses AR (1) mulai dari nol. Katakan dan dengan white noise . Kemudian deret waktu biner didefinisikan oleh akan …

10 regression  time-series  logistic  binary-data  autoregressive