Statistik dan Big Data

Saya menggunakan pengindeksan semantik laten untuk menemukan kesamaan antara dokumen ( terima kasih, JMS! ) Setelah pengurangan dimensi, saya sudah mencoba k-means clustering untuk mengelompokkan dokumen menjadi cluster, yang berfungsi dengan sangat baik. Tapi saya ingin melangkah lebih jauh, dan memvisualisasikan dokumen sebagai satu set node, di mana jarak antara …

11 data-visualization  clustering  python  multidimensional-scaling 

Baik sebagai statistik dan pemula R, saya telah mengalami waktu yang sangat sulit untuk menghasilkan qqplots dengan rasio aspek 1: 1. ggplot2 tampaknya menawarkan kontrol yang jauh lebih besar terhadap plot daripada paket plotting R default, tapi saya tidak bisa melihat bagaimana melakukan qqplot di ggplot2 untuk membandingkan dua dataset. …

11 r  distributions  ggplot2  qq-plot 

Saya bekerja dengan beberapa set data besar menggunakan paket gbm di R. Baik matriks prediktor saya dan vektor respons saya cukup jarang (yaitu sebagian besar entri adalah nol). Saya berharap untuk membangun pohon keputusan menggunakan algoritma yang mengambil keuntungan dari jarangnya ini, seperti yang dilakukan di sini ). Dalam makalah …

11 r  regression  machine-learning  classification  cart 

Saya mengajar kursus geografi ekonomi pengantar. Untuk membantu siswa saya mengembangkan pemahaman yang lebih baik tentang jenis negara yang ditemukan dalam ekonomi dunia kontemporer dan apresiasi teknik pengurangan data, saya ingin membangun sebuah tugas yang menciptakan tipologi berbagai jenis negara (misalnya, berpenghasilan tinggi nilai tambah, harapan umur panjang mfg, pengekspor …

11 pca  factor-analysis  dimensionality-reduction 

Saya telah menggunakan beragam tes untuk data tesis saya, mulai dari ANOVA parametrik dan uji-t hingga tes Kruskal-Wallis non-parametrik dan Mann-Whitney, serta ANOVA 2 arah yang ditransformasikan dengan pangkat, dan GzLM dengan biner, poisson dan data proporsional. Sekarang saya harus melaporkan semuanya saat saya menuliskan semua ini di hasil saya. …

11 data-visualization  median  error 

Uji-F klasik untuk subset variabel dalam regresi multilinear memiliki bentuk di manaSSE(R)adalah jumlah kesalahan kuadrat di bawah 'berkurang' model, yang sarang di dalam 'besar' modelB, dandfadalah derajat kebebasan dari dua model. Di bawah hipotesis nol bahwa variabel tambahan dalam model 'besar' tidak memiliki kekuatan penjelas linear, statistik didistribusikan sebagai F …

11 regression  hypothesis-testing  power-analysis  non-central  f-distribution 

Model "Linear Ballistic Accumulator" (LBA) adalah model yang agak berhasil untuk perilaku manusia dalam tugas keputusan cepat yang dipercepat. Donkin et al (2009, PDF ) menyediakan kode yang memungkinkan memperkirakan parameter model yang diberikan data perilaku manusia, dan saya telah menyalin kode ini (dengan beberapa perubahan format kecil) ke intisari …

11 r  stochastic-processes 

Saya ingin melatih classifier, katakanlah SVM, atau forest acak, atau classifier lainnya. Salah satu fitur dalam dataset adalah variabel kategori dengan 1000 level. Apa cara terbaik untuk mengurangi jumlah level dalam variabel ini. Dalam R ada fungsi yang disebut combine.levels()dalam paket Hmisc , yang menggabungkan tingkat jarang, tetapi saya mencari …

11 classification  svm  random-forest  many-categories 

Apa manfaat dari memberikan nilai awal tertentu untuk probabilitas transisi dalam Model Markov Tersembunyi? Akhirnya sistem akan mempelajarinya, jadi apa gunanya memberikan nilai selain yang acak? Apakah algoritma yang mendasari membuat perbedaan seperti Baum-Welch? Jika saya mengetahui probabilitas transisi di awal dengan sangat akurat, dan tujuan utama saya adalah untuk …

11 machine-learning  expectation-maximization  hidden-markov-model 

Ditutup . Pertanyaan ini didasarkan pada pendapat . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga dapat dijawab dengan fakta dan kutipan dengan mengedit posting ini . Ditutup 7 bulan lalu . Latar Belakang Saya membaca tentang StatProb.com dari komentar di Blog Andrew Gelman . Menurut …

11 probability  references  methodology 

Saya memiliki jumlah total panggilan yang diterima setiap minggu dan telah merencanakannya pada sebuah grafik, kembali hampir 3 tahun. Dari mata tampak bahwa ada penurunan besar selama Natal, yang tampaknya tidak pulih, tampaknya telah terjadi perubahan langkah dalam permintaan. Apakah ada tes yang dapat saya lakukan yang dapat mengukur perbedaan …

11 time-series  statistical-significance  change-point 

Statistik pemrosesan gambar yang khas adalah penggunaan fitur tekstur Haralick , yaitu 14. Saya bertanya-tanya tentang ke-14 fitur ini: Diberikan peta adjacency (yang kita dapat dengan mudah melihat distribusi empiris dari dua integer ), didefinisikan sebagai: akar kuadrat dari nilai eigen kedua , dimana adalah:i , j < 256 Q …

11 probability  computational-statistics 

Katakanlah saya punya model klasifikasi prediksi berdasarkan hutan acak (menggunakan paket randomForest di R). Saya ingin mengaturnya agar pengguna akhir dapat menentukan item untuk menghasilkan prediksi, dan itu akan menampilkan kemungkinan klasifikasi. Sejauh ini, tidak masalah. Tetapi akan berguna / keren untuk dapat menampilkan sesuatu seperti grafik kepentingan variabel, tetapi …

11 machine-learning  random-forest 

Kovarian antara dua variabel acak mendefinisikan ukuran seberapa dekat mereka terkait secara linear satu sama lain. Tetapi bagaimana jika distribusi bersama itu berbentuk sirkuler? Tentunya ada struktur dalam distribusi. Bagaimana struktur ini diekstraksi?

11 covariance-matrix 

Saya ingin menghasilkan matriks korelasi acak sehingga distribusi elemen off-diagonal yang tampak kurang seperti biasa. Bagaimana saya bisa melakukannya? Motivasinya adalah ini. Untuk satu set data deret waktu, distribusi korelasi sering terlihat cukup dekat dengan normal. Saya ingin menghasilkan banyak matriks korelasi "normal" untuk mewakili situasi umum dan menggunakannya untuk …

11 normal-distribution  random-generation  correlation-matrix