Statistik dan Big Data

Saya mencoba untuk beralih dari menggunakan ezpaket ke lmeuntuk tindakan berulang ANOVA (karena saya berharap saya akan dapat menggunakan kontras kustom dengan lme). Mengikuti saran dari posting blog ini saya dapat mengatur model yang sama menggunakan keduanya aov(seperti halnya ez, ketika diminta) dan lme. Namun, sedangkan dalam contoh yang diberikan …

24 r  anova  mixed-model  repeated-measures  lme4-nlme 

Awalnya saya pikir urutannya tidak penting, tetapi kemudian saya membaca tentang proses ortogonisasi gram-schmidt untuk menghitung beberapa koefisien regresi, dan sekarang saya sedang berpikir dua kali. Menurut proses gram-schmidt, variabel penjelas selanjutnya diindeks di antara variabel-variabel lainnya, semakin kecil vektor residualnya karena vektor residual variabel sebelumnya dikurangi dari itu. Akibatnya, …

24 regression  multiple-regression  regression-coefficients 

The New York Times memiliki komentar panjang tentang sistem evaluasi guru 'nilai tambah' yang digunakan untuk memberikan umpan balik kepada pendidik Kota New York. Lede adalah persamaan yang digunakan untuk menghitung skor - disajikan tanpa konteks. Strategi retoris tampaknya intimidasi melalui matematika: Teks lengkap artikel ini tersedia di: http://www.nytimes.com/2011/03/07/education/07winerip.html Penulis, …

24 regression  multilevel-analysis  statistics-in-media 

Saya ingin memperkirakan jumlah beberapa data. Data tersebut sangat besar sehingga tidak dapat ditampung dalam memori. Dan data tidak statis, data baru terus berdatangan. Adakah yang tahu algoritma untuk memonitor kuantil data yang diamati sejauh ini dengan memori dan komputasi yang sangat terbatas? Saya menemukan algoritma P2 berguna, tetapi tidak …

24 algorithms  quantiles 

Buku teks ekonometrika yang bagus mana yang akan Anda rekomendasikan? Sunting: ada beberapa buku di luar sana, dengan berbagai tingkat kecanggihan matematika. Sebaiknya Anda mengetahui seberapa teknis buku yang Anda rekomendasikan.

24 econometrics  references 

Saya memiliki nilai p dari banyak tes dan ingin tahu apakah sebenarnya ada sesuatu yang signifikan setelah mengoreksi beberapa pengujian. Komplikasinya: tes saya tidak independen. Metode yang saya pikirkan (varian dari Fisher's Product Method, Zaykin et al., Genet Epidemiol , 2002) membutuhkan korelasi antara nilai-nilai p. Untuk memperkirakan korelasi ini, …

24 correlation  multiple-comparisons  statistical-significance  genetics 

Apakah "hour of the day" di mana nilainya bisa 0, 1, 2, ..., 23 menjadi variabel kategori? Saya akan tergoda untuk mengatakan tidak, karena 5, misalnya, 'lebih dekat' ke 4 atau 6 daripada ke 3 atau 7. Di sisi lain, ada diskontinuitas antara 23 dan 0. Jadi apakah secara umum …

24 categorical-data  circular-statistics 

Saya ingin lebih memahami bagaimana koreksi kontinuitas distribusi binomial untuk perkiraan normal diturunkan. Metode apa yang digunakan untuk memutuskan kita harus menambahkan 1/2 (mengapa tidak nomor lain?). Penjelasan apa pun (atau tautan ke bacaan yang disarankan, selain ini , akan dihargai).

24 binomial  asymptotics 

Apa notasi aljabar untuk menghitung interval prediksi untuk regresi berganda? Kedengarannya konyol, tetapi saya kesulitan menemukan notasi aljabar yang jelas tentang ini.

24 multiple-regression  least-squares  prediction-interval 

Saya mencoba untuk memahami perbedaan antara metode reduksi dimensionalitas linier (misalnya, PCA) dan yang nonlinier (misalnya, Isomap). Saya tidak begitu mengerti apa arti linearitas (non) dalam konteks ini. Saya membaca dari Wikipedia itu Sebagai perbandingan, jika PCA (algoritma reduksi dimensionalitas linier) digunakan untuk mengurangi dataset yang sama ini menjadi dua …

24 pca  terminology  dimensionality-reduction  pattern-recognition  manifold-learning 

Dalam Alex Krizhevsky, et al. Klasifikasi imagenet dengan jaringan saraf convolutional yang mendalam mereka menyebutkan jumlah neuron di setiap lapisan (lihat diagram di bawah). Input jaringan adalah 150.528-dimensi, dan jumlah neuron dalam lapisan jaringan yang tersisa diberikan oleh 253.440–186.624–64.889–64.889–43.264–4096–4096–1000. Tampilan 3D Jumlah neuron untuk semua lapisan setelah yang pertama jelas. …

24 neural-networks  deep-learning  conv-neural-network 

Saya mencoba mensimulasikan injeksi titik acak di dalam lingkaran, sehingga setiap bagian dari lingkaran memiliki kemungkinan yang sama memiliki cacat. Saya mengharapkan penghitungan per area dari distribusi yang dihasilkan untuk mengikuti distribusi Poisson jika saya memecah lingkaran menjadi persegi area yang sama. Karena hanya membutuhkan penempatan titik dalam area melingkar, …

24 random-generation  circular-statistics 

Saya menggunakan matriks kebingungan untuk memeriksa kinerja classifier saya. Saya menggunakan Scikit-Learn, saya agak bingung. Bagaimana saya bisa menafsirkan hasil dari from sklearn.metrics import confusion_matrix >>> y_true = [2, 0, 2, 2, 0, 1] >>> y_pred = [0, 0, 2, 2, 0, 2] >>> confusion_matrix(y_true, y_pred) array([[2, 0, 0], [0, …

24 predictive-models  prediction  confusion-matrix 

Saya sedang membangun model dan saya pikir bahwa lokasi geografis cenderung sangat baik dalam memprediksi variabel target saya. Saya memiliki kode pos masing-masing pengguna saya. Saya tidak sepenuhnya yakin tentang cara terbaik untuk memasukkan kode pos sebagai fitur prediktor dalam model saya. Meskipun kode pos adalah angka, itu tidak berarti …

24 machine-learning  feature-construction  many-categories 

Saya belajar tentang PCA beberapa kuliah yang lalu di kelas dan dengan menggali lebih banyak tentang konsep yang menarik ini, saya mengetahui tentang PCA yang jarang. Saya ingin bertanya, jika saya tidak salah, ini adalah PCA yang jarang: Di PCA, jika Anda memiliki titik data dengan variabel p , Anda …

24 machine-learning  pca  sparse