Statistik dan Big Data

Saya sudah melatih dua model (pengklasifikasi biner menggunakan h2o AutoML) dan saya ingin memilih satu untuk digunakan. Saya memiliki hasil sebagai berikut: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 0.312662 yang aucdan loglosskolom metrik cross-validasi (validasi silang …

14 model-selection  validation  auc  gini  log-loss 

Saya sedang membaca makalah FaceNet dan dalam paragraf 3 dari pengantar tertulis: Pendekatan pengenalan wajah sebelumnya yang didasarkan pada jaringan dalam menggunakan lapisan klasifikasi yang dilatih lebih dari satu set identitas wajah yang dikenal dan kemudian mengambil lapisan bottleneck antara sebagai representasi yang digunakan untuk menggeneralisasi pengakuan di luar rangkaian …

14 neural-networks  image-processing 

Tujuan saya adalah mengklasifikasikan sinyal sensor. Konsep solusi saya sejauh ini adalah: i) Fitur teknik dari sinyal mentah ii) Memilih fitur yang relevan dengan ReliefF dan pendekatan pengelompokan iii) Menerapkan NN, Random Forest dan SVM Namun saya terjebak dalam dilema. Dalam ii) dan iii), ada hiperparameter seperti k-Neigbours terdekat untuk …

14 feature-selection  hyperparameter  optimization 

Saya mencoba memahami makalah terkenal "Bermain Atari dengan Pembelajaran Penguatan Jauh" ( pdf ). Saya tidak jelas tentang perbedaan antara zaman dan episode . Dalam algoritma , loop luar lebih dari episode , sedangkan pada gambar sumbu x diberi label zaman . Dalam konteks pembelajaran penguatan, saya tidak jelas apa …

14 neural-networks  terminology  reinforcement-learning  q-learning 

Pertanyaan utama saya adalah tentang mencoba memahami bagaimana k-fold cross-validation cocok dalam konteks memiliki pelatihan / validasi / pengujian set (jika cocok sama sekali dalam konteks seperti itu). Biasanya, orang berbicara tentang memecah data menjadi set pelatihan, validasi dan pengujian - katakan dengan rasio 60/20/20 per kursus Andrew Ng - …

14 cross-validation  dataset  overfitting 

Untuk pemahaman saya (yang sangat mendasar), Naive Bayes memperkirakan probabilitas berdasarkan frekuensi kelas setiap fitur dalam data pelatihan. Tetapi bagaimana cara menghitung frekuensi variabel kontinu? Dan ketika melakukan prediksi, bagaimana cara mengklasifikasikan pengamatan baru yang mungkin tidak memiliki nilai yang sama dari pengamatan dalam set pelatihan? Apakah ia menggunakan semacam …

14 machine-learning  classification  bayesian  naive-bayes 

Saya mencoba meningkatkan gradien pada dataset dengan tingkat kejadian sekitar 1% menggunakan penambang Perusahaan, tetapi gagal menghasilkan output apa pun. Pertanyaan saya adalah, karena ini adalah pendekatan berbasis pohon keputusan, apakah itu benar untuk menggunakan meningkatkan gradien dengan kejadian rendah seperti itu?

14 boosting  unbalanced-classes  rare-events  gradient 

Dalam beberapa tutorial saya menemukan dinyatakan bahwa "Xavier" inisialisasi berat (kertas: Memahami kesulitan pelatihan deep feedforward neural networks ) adalah cara yang efisien untuk menginisialisasi bobot jaringan saraf. Untuk lapisan yang sepenuhnya terhubung ada aturan praktis dalam tutorial tersebut: Var(W)=2nin+nout,simpler alternative:Var(W)=1ninVar(W)=2nin+nout,simpler alternative:Var(W)=1ninVar(W) = \frac{2}{n_{in} + n_{out}}, \quad \text{simpler alternative:} \quad …

14 normal-distribution  variance  neural-networks  conv-neural-network 

Mengapa area di bawah kurva ROC kemungkinan bahwa classifier akan memberi peringkat instance "positif" yang dipilih secara acak (dari prediksi yang diambil) lebih tinggi daripada yang "secara acak" yang dipilih secara acak (dari kelas positif asli)? Bagaimana seseorang membuktikan pernyataan ini secara matematis menggunakan integral, memberikan CDF dan PDF dari …

14 probability  roc  auc 

Saya tahu bahwa KL Divergence tidak simetris dan tidak dapat secara ketat dianggap sebagai metrik. Jika demikian, mengapa digunakan ketika JS Divergence memenuhi properti yang diperlukan untuk metrik? Apakah ada skenario di mana KL divergence dapat digunakan tetapi tidak JS Divergence atau sebaliknya?

14 probability  distributions  kullback-leibler  metric 

Saya telah membaca tentang trik log-sum-exp di banyak tempat (misalnya di sini , dan di sini ) tetapi belum pernah melihat contoh bagaimana itu diterapkan secara khusus untuk classifier Naive Bayes (misalnya dengan fitur diskrit dan dua kelas) Bagaimana tepatnya seseorang menghindari masalah underflow numerik menggunakan trik ini?

14 naive-bayes  underflow 

Saya menggunakan satu kelas SVM , diimplementasikan dalam scikit-belajar, untuk pekerjaan penelitian saya. Tetapi saya tidak memiliki pemahaman yang baik tentang ini. Adakah yang bisa tolong berikan penjelasan sederhana dan bagus tentang satu kelas SVM ?

14 machine-learning  svm  data-mining  novelty-detection 

MLE = Estimasi Kemungkinan Maksimum MAP = Maksimum a posteriori MLE bersifat intuitif / naif karena MLE hanya dimulai dengan probabilitas pengamatan yang diberikan parameter (yaitu fungsi kemungkinan) dan mencoba menemukan parameter terbaik sesuai dengan pengamatan . Tapi itu tidak mempertimbangkan pengetahuan sebelumnya. MAP tampaknya lebih masuk akal karena mempertimbangkan …

14 machine-learning  bayesian  estimation  maximum-likelihood  inference 

Saya mencoba memahami konsep overdispersion dalam regresi logistik. Saya telah membaca bahwa penyebaran berlebihan adalah ketika varians yang diamati dari variabel respon lebih besar daripada yang diharapkan dari distribusi binomial. Tetapi jika variabel binomial hanya dapat memiliki dua nilai (1/0), bagaimana bisa memiliki mean dan varians? Saya baik-baik saja dengan …

14 logistic  variance  binomial  mean  overdispersion 

Saya menyadari ini mungkin pertanyaan yang sangat sederhana tetapi setelah mencari saya tidak dapat menemukan jawaban yang saya cari. Saya punya masalah di mana saya perlu membakukan variabel menjalankan (regresi ridge) untuk menghitung estimasi ridge dari beta. Saya kemudian perlu mengubah ini kembali ke skala variabel asli. Tetapi bagaimana saya …

14 regression  standard-error  standardization  predictor  centering