Statistik dan Big Data

Setelah melatih vektor kata dengan word2vec, apakah lebih baik untuk menormalkannya sebelum menggunakannya untuk beberapa aplikasi hilir? Yaitu apa pro / kontra dari menormalkan mereka?

38 natural-language  word2vec  word-embeddings 

Ini adalah pertanyaan yang berasal dari situasi kehidupan nyata, yang mana saya benar-benar bingung dengan jawabannya. Anak saya akan memulai sekolah dasar di London. Karena kami orang Italia, saya ingin tahu berapa banyak anak Italia yang sudah bersekolah. Saya menanyakan hal ini kepada Admission Officer saat melamar, dan dia memberi …

37 probability  self-study  average 

Saya seorang mahasiswa ekonomi dengan beberapa pengalaman dengan ekonometrik dan R. Saya ingin tahu apakah pernah ada situasi di mana kita harus memasukkan variabel dalam regresi meskipun tidak signifikan secara statistik?

37 statistical-significance  feature-selection 

Secara numerik menurunkan MLE pada GLMM adalah sulit dan, dalam praktiknya, saya tahu, kita tidak boleh menggunakan optimasi brute force (misalnya, menggunakan optimdengan cara sederhana). Tetapi untuk tujuan pendidikan saya sendiri, saya ingin mencobanya untuk memastikan saya memahami model dengan benar (lihat kode di bawah). Saya menemukan bahwa saya selalu …

37 r  maximum-likelihood  optimization  lme4-nlme 

TL, DR: Tampaknya, bertentangan dengan saran yang sering diulang, validasi silang tinggalkan-satu-keluar (LOO-CV) - yaitu,lipat CV dengan(jumlah lipatan) sama dengan(angka pengamatan pelatihan) - menghasilkan perkiraan kesalahan generalisasi yang merupakanvariabel terkecil untuk setiap, bukan variabel terbanyak, dengan asumsikondisi stabilitas tertentubaik pada model / algoritma, dataset, atau keduanya (saya tidak yakin yang …

37 regression  machine-learning  variance  cross-validation  predictive-models 

Bisakah seseorang tolong beri saya intuisi kapan harus memilih SVM atau LR? Saya ingin memahami intuisi di balik apa perbedaan antara kriteria optimasi belajar hyperplane keduanya, di mana tujuan masing-masing adalah sebagai berikut: SVM: Cobalah untuk memaksimalkan margin antara vektor dukungan terdekat LR: Maksimalkan probabilitas kelas posterior Mari kita pertimbangkan …

37 regression  logistic  svm  optimization 

Saya memiliki tiga kelompok data, masing-masing dengan distribusi binomial (yaitu masing-masing kelompok memiliki elemen yang berhasil atau gagal). Saya tidak memiliki probabilitas keberhasilan yang diprediksi, tetapi sebaliknya hanya dapat mengandalkan tingkat keberhasilan masing-masing sebagai perkiraan untuk tingkat keberhasilan yang sebenarnya. Saya hanya menemukan pertanyaan ini , yang dekat tetapi tampaknya …

37 statistical-significance  binomial  bernoulli-distribution 

Saya ingin mendapatkan interval prediksi sekitar prediksi dari model lmer (). Saya telah menemukan beberapa diskusi tentang ini: http://rstudio-pubs-static.s3.amazonaws.com/24365_2803ab8299934e888a60e7b16113f619.html http://glmm.wikidot.com/faq tetapi mereka tampaknya tidak memperhitungkan ketidakpastian efek acak. Inilah contoh spesifik. Saya balap ikan emas. Saya memiliki data pada 100 balapan terakhir. Saya ingin memprediksi 101, dengan mempertimbangkan ketidakpastian estimasi …

37 r  mixed-model  prediction  prediction-interval  lme4-nlme 

Saya sedang mengerjakan dataset dengan 200.000+ sampel dan sekitar 50 fitur per sampel: 10 variabel kontinu dan yang lainnya ~ 40 adalah variabel kategori (negara, bahasa, bidang ilmiah, dll.). Untuk variabel kategori ini, misalnya Anda memiliki 150 negara yang berbeda, 50 bahasa, 50 bidang ilmiah dll ... Sejauh ini pendekatan …

37 machine-learning  classification  categorical-data  random-forest  many-categories 

Saya mulai ingin memajukan keahlian saya sendiri dan saya selalu terpesona dengan pembelajaran mesin. Namun, enam tahun yang lalu alih-alih mengejar ini, saya memutuskan untuk mengambil gelar yang sama sekali tidak terkait dengan ilmu komputer. Saya telah mengembangkan perangkat lunak dan aplikasi selama sekitar 8-10 tahun sekarang, jadi saya memiliki …

37 machine-learning  references  mathematical-statistics 

Dataset saya kecil (120 sampel), namun jumlah fitur besar bervariasi dari (1000-200.000). Meskipun saya sedang melakukan pemilihan fitur untuk memilih subset fitur, itu mungkin masih sesuai. Pertanyaan pertama saya adalah, bagaimana SVM menangani overfitting, jika sama sekali. Kedua, ketika saya mempelajari lebih banyak tentang overfitting jika terjadi klasifikasi, saya sampai …

37 classification  svm 

Untuk plot 1, saya dapat menguji hubungan antara x dan y dengan melakukan korelasi sederhana. Untuk plot 2, di mana hubungannya nonlinear namun ada hubungan yang jelas antara x dan y, bagaimana saya bisa menguji asosiasi dan label sifatnya?

37 nonlinear-regression  non-independent  association-measure 

Saya merencanakan pernikahan saya. Saya ingin memperkirakan berapa banyak orang yang akan datang ke pernikahan saya. Saya telah membuat daftar orang dan kemungkinan mereka akan hadir dalam persentase. Sebagai contoh Dad 100% Mom 100% Bob 50% Marc 10% Jacob 25% Joseph 30% Saya memiliki daftar sekitar 230 orang dengan persentase. …

37 probability 

Saya ingin berasumsi bahwa suhu permukaan laut dari Laut Baltik adalah tahun yang sama tahun demi tahun, dan kemudian menggambarkannya dengan model fungsi / linier. Gagasan yang saya miliki adalah hanya memasukkan tahun sebagai angka desimal (atau num_months / 12) dan keluar berapa suhu yang seharusnya sekitar waktu itu. Melemparkannya …

37 r  regression  time-series  lm 

Bisakah seseorang memberikan ikhtisar yang baik tentang perbedaan antara Bayesian dan pendekatan frequentist terhadap probabilitas? Dari apa yang saya mengerti: Pandangan frequentist adalah bahwa data adalah sampel acak yang dapat diulang (variabel acak) dengan frekuensi / probabilitas tertentu (yang didefinisikan sebagai frekuensi relatif suatu peristiwa karena jumlah percobaan mendekati tak …

37 probability  bayesian  frequentist