Statistik dan Big Data

Saat mencoba Gaussian Mixture Models di sini , saya menemukan 4 jenis kovarian ini. 'full' (each component has its own general covariance matrix), 'tied' (all components share the same general covariance matrix), 'diag' (each component has its own diagonal covariance matrix), 'spherical' (each component has its own single variance). Saya …

13 covariance-matrix  gaussian-mixture 

Saya memiliki pengetahuan dasar tentang bagaimana RNN (dan, khususnya, dengan unit LSTM) bekerja. Saya punya ide gambar arsitektur unit LSTM, yaitu sel dan beberapa gerbang, yang mengatur aliran nilai. Namun, tampaknya, saya belum sepenuhnya memahami bagaimana LSTM memecahkan masalah "gradien menghilang dan meledak", yang terjadi saat pelatihan, menggunakan back-propagation melalui …

13 neural-networks  lstm  rnn  backpropagation 

Di R, ada tiga metode untuk memformat data input untuk regresi logistik menggunakan glmfungsi: Data dapat dalam format "biner" untuk setiap pengamatan (misalnya, y = 0 atau 1 untuk setiap pengamatan); Data dapat dalam format "Wilkinson-Rogers" (misalnya, y = cbind(success, failure)) dengan setiap baris mewakili satu perlakuan; atau Data dapat …

13 r  logistic  generalized-linear-model 

Katakanlah kumpulan data kami berisi 1 juta contoh, yaitu, , dan kami ingin menggunakan gradient descent untuk melakukan regresi logistik atau linear pada kumpulan data ini.x1, ... , x106x1,…,x106x_1, \ldots, x_{10^6} Ada apa dengan metode gradient descent yang membuatnya tidak efisien? Ingat bahwa langkah gradient descent pada waktu diberikan oleh:ttt …

13 machine-learning  gradient-descent  large-data 

Mempelajari statistik Bayesian untuk pertama kalinya; sebagai sudut pandang untuk memahami MCMC saya bertanya-tanya: apakah ia melakukan sesuatu yang pada dasarnya tidak dapat dilakukan dengan cara lain, atau hanya melakukan sesuatu yang jauh lebih efisien daripada alternatifnya? Sebagai ilustrasi, misalkan kita mencoba menghitung probabilitas parameter kita mengingat data diberi model …

13 bayesian  mcmc 

Tidak yakin apakah ini situs tumpukan yang tepat, tetapi begini saja. Bagaimana cara kerja metode .similiarity? Wah spanya bagus! Model tfidf-nya bisa lebih mudah, tetapi w2v dengan hanya satu baris kode ?! Dalam 10 baris tutorialnya di spaCy andrazhribernik, tunjukkan pada kami metode .similaritas yang dapat dijalankan pada token, sents, …

13 natural-language  word2vec  tf-idf  nltk 

Saya akan mengikuti kursus DeepAI Cousera (video Week3 1 "Ikhtisar Jaringan Saraf") dan Andrew Ng menjelaskan bagaimana setiap lapisan dalam jaringan saraf hanyalah regresi logistik yang lain, tetapi dia tidak menjelaskan bagaimana hal itu membuat segalanya menjadi lebih akurat. Jadi dalam jaringan 2 layer, bagaimana cara menghitung logistik berkali-kali membuatnya …

13 logistic  neural-networks 

Klasifikasi Naive Bayes adalah pengklasifikasi yang menetapkan item ke kelas berdasarkan pada memaksimalkan posterior untuk keanggotaan kelas, dan mengasumsikan bahwa fitur dari item tersebut independen.xxxCCCP(C|x)P(C|x)P(C|x) Kehilangan 0-1 adalah kerugian yang menyebabkan hilangnya klasifikasi "miss", dan hilangnya "0" untuk klasifikasi yang benar. Saya sering membaca (1) bahwa "Naive Bayes" Classifier, optimal …

13 machine-learning  bayesian  optimization  naive-bayes  loss-functions 

Baru-baru ini saya telah membaca makalah oleh Yann Dauphin et al. Mengidentifikasi dan menyerang masalah saddle point dalam optimasi non-cembung dimensi tinggi , di mana mereka memperkenalkan algoritma keturunan yang menarik yang disebut Saddle-Free Newton , yang tampaknya dirancang khusus untuk optimalisasi jaringan saraf dan tidak boleh menderita macet di …

13 optimization  deep-learning  gradient-descent 

Dalam Mostly Harmless Econometrics: Seorang Pendamping Empiris (Angrist dan Pischke, 2009: halaman 209) Saya membaca yang berikut ini: (...) Faktanya, 2SLS yang baru diidentifikasi (katakanlah, estimator Wald sederhana) kira-kira tidak bias . Ini sulit untuk ditunjukkan secara formal karena 2SLS yang diidentifikasi hanya tidak memiliki momen (yaitu, distribusi sampel memiliki …

13 regression  self-study  multiple-regression  econometrics  instrumental-variables 

Regresi bertahap telah digunakan secara berlebihan dalam banyak makalah biomedis di masa lalu tetapi ini tampaknya membaik dengan pendidikan yang lebih baik dari banyak masalah. Namun banyak pengulas yang lebih tua masih memintanya. Bagaimana keadaan di mana regresi bertahap memiliki peran dan harus digunakan, jika ada?

13 regression  multiple-regression  feature-selection  model-selection  stepwise-regression 

Premis: ini mungkin pertanyaan bodoh. Saya hanya tahu pernyataan tentang sifat asimptotik MLE, tetapi saya tidak pernah mempelajari buktinya. Jika saya melakukannya, mungkin saya tidak akan menanyakan pertanyaan-pertanyaan ini, atau saya mungkin saya akan menyadari pertanyaan-pertanyaan ini tidak masuk akal ... jadi tolong mudahkan saya :) Saya sering melihat pernyataan …

13 maximum-likelihood  model  asymptotics 

Saya ingin menghitung AICc dari model regresi ridge. Masalahnya adalah jumlah parameter. Untuk regresi linier, kebanyakan orang menyarankan bahwa jumlah parameter sama dengan jumlah koefisien estimasi ditambah sigma (varian kesalahan). Ketika datang ke regresi ridge saya membaca bahwa jejak matriks topi - derajat kebebasan (df) - hanya digunakan sebagai jumlah …

13 regression  aic  ridge-regression  degrees-of-freedom 

Saya mencoba menghitung interval kredibel 95% dari distribusi posterior berikut. Saya tidak dapat menemukan fungsi di R untuk itu tetapi apakah pendekatan di bawah ini benar? x <- seq(0.4,12,0.4) px <- c(0,0, 0, 0, 0, 0, 0.0002, 0.0037, 0.018, 0.06, 0.22 ,0.43, 0.64,0.7579, 0.7870, 0.72, 0.555, 0.37, 0.24, 0.11, 0.07, …

13 bayesian  descriptive-statistics  credible-interval 

Kami memiliki dua model yang menggunakan metode yang sama untuk menghitung kemungkinan log dan AIC untuk satu lebih rendah dari yang lain. Namun, yang dengan AIC lebih rendah jauh lebih sulit untuk ditafsirkan. Kami mengalami masalah dalam memutuskan apakah layak untuk memperkenalkan kesulitan dan kami menilai ini menggunakan perbedaan persentase …

13 model-selection  aic