Statistik dan Big Data

Terinspirasi oleh pertanyaan ini , saya bertanya-tanya apakah ada pekerjaan yang telah dilakukan pada model topik untuk koleksi besar teks yang sangat pendek. Intuisi saya adalah bahwa Twitter harus menjadi inspirasi alami untuk model seperti itu. Namun, dari beberapa eksperimen terbatas, sepertinya model topik standar (LDA, dll) berkinerja sangat buruk …

14 references  text-mining  topic-models  natural-language 

Saya menggunakan spotfire (S ++) untuk analisis statistik dalam proyek saya dan saya harus menjalankan regresi logistik multinomial untuk kumpulan data besar. Saya tahu algoritma terbaik adalah mlogit, tapi sayangnya itu tidak tersedia di s ++. Namun, saya memiliki opsi untuk menggunakan algoritma glm untuk regresi ini. Saya ingin mengklarifikasi …

14 generalized-linear-model  logistic 

Saya seorang mahasiswa pascasarjana dalam ilmu komputer. Saya telah melakukan beberapa analisis faktor eksplorasi untuk proyek penelitian. Rekan-rekan saya (yang memimpin proyek) menggunakan SPSS, sementara saya lebih suka menggunakan R. Ini tidak masalah sampai kami menemukan perbedaan besar antara dua paket statistik. Kami menggunakan pemfaktoran sumbu utama sebagai metode ekstraksi …

14 r  spss  factor-analysis 

Apa saja pendekatan untuk mengklasifikasikan data dengan sejumlah fitur yang bervariasi? Sebagai contoh, pertimbangkan masalah di mana setiap titik data adalah vektor titik x dan y, dan kami tidak memiliki jumlah titik yang sama untuk setiap contoh. Bisakah kita memperlakukan setiap pasangan poin x dan y sebagai fitur? Atau haruskah …

14 machine-learning  missing-data 

Saya ingin menjalankan regresi logistik biner untuk memodelkan ada atau tidaknya konflik (variabel dependen) dari serangkaian variabel independen selama periode 10 tahun (1997-2006), dengan setiap tahun memiliki 107 pengamatan. Independen saya adalah: degradasi lahan (dikategorikan untuk 2 jenis degradasi); pertambahan populasi (0- tidak; 1-ya); tipe mata pencaharian (0 - tipe …

14 regression  time-series  logistic  spatial  ecology 

Sebuah Sistem Recommender akan mengukur korelasi antara peringkat dari pengguna yang berbeda dan rekomendasi hasil untuk pengguna tertentu tentang item yang mungkin menarik baginya. Namun, selera berubah dari waktu ke waktu sehingga peringkat lama mungkin tidak mencerminkan preferensi saat ini dan sebaliknya. Anda mungkin pernah menempatkan "luar biasa" pada sebuah …

14 recommender-system 

Minggu depan kita memiliki magang dari sekolah lokal di rumah. Konsep di balik magang singkatnya adalah untuk mendapatkan ide bagaimana dunia nyata bekerja dan bagaimana pekerjaan tertentu, seperti apa pekerjaan sehari-hari, dll. Sekarang saya bertanya-tanya, apa yang bisa dikatakan / ditunjukkan / didemonstrasikan anak muda tentang Statistik dan Pembelajaran Mesin …

14 machine-learning  teaching 

Banyak algoritma pembelajaran mesin, misalnya jaringan saraf, mengharapkan untuk berurusan dengan angka. Jadi, ketika Anda memiliki data kategorikal, Anda perlu mengubahnya. Maksud saya kategorikal, misalnya: Merek mobil: Audi, BMW, Chevrolet ... ID Pengguna: 1, 25, 26, 28 ... Meskipun id pengguna adalah angka, itu hanya label, dan tidak berarti apa …

14 machine-learning  many-categories 

Pertanyaan ini muncul dari pertanyaan yang diajukan di sini tentang fungsi menghasilkan momen terikat (MGF). Misalkan adalah variabel acak nol-rata-rata terikat yang mengambil nilai dalam dan biarkan menjadi MGF-nya. Dari batasan yang digunakan dalam bukti Ketimpangan Hoeffding , kita mendapatkan bahwa mana sisi kanan dikenali sebagai MGF dari variabel acak …

14 probability  probability-inequalities  mgf 

Dalam bab pertama buku Algebraic Geometry dan Statistical Learning Theory yang berbicara tentang konvergensi estimasi dalam ruang fungsional yang berbeda, disebutkan bahwa estimasi Bayesian sesuai dengan topologi distribusi Schwartz, sedangkan estimasi kemungkinan maksimum sesuai dengan topologi sup-norm. (di halaman 7): Misalnya, sup-norm, LpLpL^p -norm, topologi lemah ruang Hilbert L2L2L^2 , …

14 bayesian  maximum-likelihood  statistical-learning 

Saya mencoba memahami ukuran kelengkungan waktu dinamis untuk membandingkan deret waktu bersama. Saya memiliki tiga dataset deret waktu seperti ini: T1 <- structure(c(0.000213652387565, 0.000535045478866, 0, 0, 0.000219346347883, 0.000359669104424, 0.000269469145783, 0.00016051364366, 0.000181950509461, 0.000385579332948, 0.00078170803205, 0.000747244535774, 0, 0.000622858922454, 0.000689084895259, 0.000487983408564, 0.000224744353298, 0.000416449765747, 0.000308388157895, 0.000198906016907, 0.000179549331179, 9.06289650172e-05, 0.000253506844685, 0.000582896161212, 0.000386473429952, 0.000179839942451, 0, 0.000275608635737, …

14 r  time-series  clustering 

Saya mencoba mereproduksi algoritma prediksi yang ada, yang diturunkan oleh seorang pensiunan peneliti. Langkah pertama adalah mencocokkan beberapa data yang diamati dengan distribusi Weibull, untuk mendapatkan bentuk dan skala yang akan digunakan untuk memprediksi nilai masa depan. Saya menggunakan R untuk melakukan ini. Ini contoh kode saya: x<-c(23,19,37,38,40,36,172,48,113,90,54,104,90,54,157,51,77,78,144,34,29,45,16,15,37,218,170,44,121) f<-fitdistr(x, 'weibull') …

14 distributions  curve-fitting 

Adakah rekomendasi untuk pilihan pustaka optimasi terbatas yang cocok untuk fungsi optimasi saya? Saya meminimalkan ai) fungsi non-linear dengan kendala kesetaraan dan ketidaksetaraan linear, dan ii) telah menyediakan gradien dan goni fungsi. Jika ini membantu, fungsi yang saya minimalkan adalah perbedaan Kullback-Liebler . constrOptim hanya menangani kendala ketimpangan. Quadprog menangani …

14 r  optimization  software 

Diberikan urutan input, saya perlu menentukan apakah urutan ini memiliki properti yang diinginkan. Properti hanya bisa benar atau salah, yaitu, hanya ada dua kelas yang mungkin dimiliki urutan. Hubungan yang tepat antara urutan dan properti tidak jelas, tetapi saya percaya itu sangat konsisten dan harus memberikan klasifikasi statistik. Saya memiliki …

14 machine-learning  classification  modeling 

Saya telah menemukan dua istilah ini yang digunakan secara bergantian dalam banyak konteks. Pada dasarnya, seorang moderator (M) adalah faktor yang berdampak pada hubungan antara X dan Y. Analisis moderasi biasanya dilakukan dengan menggunakan model regresi. Misalnya, jenis kelamin (M) dapat mempengaruhi hubungan antara "penelitian produk" (X) dan "pembelian produk" …

14 regression  interaction  interpretation  regression-coefficients  terminology