Statistik dan Big Data

Jika saya memiliki jaringan saraf convolutional (CNN), yang memiliki sekitar 1.000.000 parameter, berapa banyak data pelatihan yang diperlukan (anggap saya sedang melakukan penurunan gradien stokastik)? Apakah ada aturan praktis? Catatan tambahan: Ketika saya melakukan penurunan gradien stokastik (mis., 64 tambalan untuk 1 iterasi), setelah ~ 10.000 iterasi, akurasi classifier dapat …

14 machine-learning  neural-networks  deep-learning  conv-neural-network 

Ketika kita mengatakan, untuk mundur terhadap X , apakah kita berarti bahwa X adalah variabel independen dan Y adalah variabel dependen? yaitu Y = a X + b .YYYXXXXXXY= a X+ bY=SebuahX+bY =aX + b

14 regression  terminology 

Saya saat ini akan melalui set slide yang saya miliki untuk "analisis faktor" (PCA sejauh yang saya tahu). Di dalamnya, "teorema fundamental analisis faktor" diturunkan yang mengklaim bahwa matriks korelasi dari data yang dimasukkan ke dalam analisis ( ) dapat dipulihkan dengan menggunakan matriks pemuatan faktor ( A ):RR\bf RSEBUAHSEBUAH\bf …

14 pca  factor-analysis  terminology  definition 

Uji t Welch untuk varian yang tidak sama (juga dikenal sebagai Welch-Satterthwaite atau Welch-Aspin) umumnya memiliki derajat kebebasan yang tidak bilangan bulat . Bagaimana seharusnya tingkat kebebasan ini dikutip ketika melaporkan hasil tes? "Adalah konvensional untuk membulatkan ke bilangan bulat terdekat sebelum berkonsultasi dengan tabel t standar" menurut berbagai sumber …

14 t-test  degrees-of-freedom  reporting 

Skor F1 adalah rata-rata harmonis dari presisi dan daya ingat. Sumbu y dari recall adalah tingkat positif sejati (yang juga recall). Jadi, kadang-kadang pengklasifikasi dapat memiliki daya ingat rendah tetapi AUC sangat tinggi, apa artinya itu? Apa perbedaan antara AUC dan skor F1?

14 machine-learning  precision-recall  auc  accuracy 

Kutipan dari wikipedia: Dalam statistik, penduga yang konsisten atau penduga yang konsisten secara asimptotik adalah penduga — aturan untuk menghitung estimasi parameter θ∗θ∗θ^* —memiliki properti yang karena jumlah titik data yang digunakan meningkat tanpa batas, urutan hasil estimasi konvergen dalam probabilitas untuk θ∗θ∗θ^* . Untuk membuat pernyataan ini tepat, biarkan …

14 machine-learning  mathematical-statistics  consistency 

Pertanyaan ini mungkin sangat naif, tetapi cara saya mengajar ekonometrik, saya sangat bingung jika ada perbedaan antara metode time-series dan panel data. Mengenai seri waktu, saya telah membahas topik-topik seperti stasioner kovarian, AR, MA, dll. Mengenai data panel, saya hanya melihat diskusi dalam bentuk efek tetap vs efek acak (atau …

14 time-series  econometrics  panel-data 

Apakah SVM menangani dataset yang tidak seimbang? Apakah ada parameter (seperti C, atau biaya kesalahan klasifikasi) yang menangani dataset yang tidak seimbang?

14 machine-learning  svm  unbalanced-classes 

http://en.wikipedia.org/wiki/Delta_method Dalam artikel Wikipedia, diasumsikan bahwa g′( θ )g′(θ)g'(\theta) harus ada dan tidak bernilai nol. Apakah mungkin untuk menemukan distribusi asimptotik untuk mengingat bahwa mungkin nol dan √g′( θ )g′(θ)g'(\theta)n--√( g( Xn) - g( θ ) )n(g(Xn)-g(θ))\sqrt{n}(g(X_n)-g(\theta)) g′( θ )g′(θ)g'(\theta)n--√( Xn- θ ) →dN( 0 , σ2)n(Xn-θ)→dN(0,σ2)\sqrt{n}(X_n-\theta) \stackrel{d}{\rightarrow} N(0,\sigma^2)?

14 delta-method 

Saya bertanya-tanya apa inti, perbedaan yang bermakna antara Item Response Theory dan Confirmatory Factor Analysis. Saya mengerti bahwa ada perbedaan dalam perhitungan (lebih fokus pada item vs kovarian; log-linear vs linear). Namun, saya tidak tahu apa artinya ini dari perspektif tingkat yang lebih tinggi - apakah ini berarti bahwa IRT …

14 confirmatory-factor  irt 

Saya mencari di web, tetapi tidak menemukan sesuatu yang bermanfaat. Saya pada dasarnya mencari cara untuk mengukur seberapa 'nilai' didistribusikan secara merata. Seperti pada, distribusi terdistribusi 'merata' seperti X : dan distribusi Y yang 'tidak merata' dengan mean dan standar deviasi yang kira-kira sama: Tetapi apakah ada ukuran m, seperti …

14 variance  standard-deviation  descriptive-statistics  measurement 

Saya telah membaca berbagai deskripsi data yang disensor: A) Sebagaimana dijelaskan dalam utas ini , data yang tidak dikuantifikasi di bawah atau di atas ambang tertentu disensor. Tidak dikenali berarti data di atas atau di bawah ambang tertentu tetapi kami tidak tahu nilai pastinya. Data kemudian ditandai pada nilai ambang …

14 regression  terminology  censoring 

Misalkan seseorang melakukan apa yang disebut bootstrap non-parametrik dengan menggambar sampel ukuran masing-masing dari pengamatan asli dengan penggantian. Saya percaya prosedur ini setara dengan memperkirakan fungsi distribusi kumulatif oleh cdf empiris:n nBBBnnnnnn http://en.wikipedia.org/wiki/Empirical_distribution_function dan kemudian mendapatkan sampel bootstrap dengan mensimulasikan pengamatan dari estimasi cdf kali berturut-turut.BnnnBBB Jika saya benar dalam …

14 bootstrap  sample-size  sample  small-sample  finite-population 

Saya tahu ada algoritma pengelompokan k-means dan k-median. Satu yang menggunakan mean sebagai pusat cluster dan yang lainnya menggunakan median. Pertanyaan saya adalah: kapan / di mana menggunakannya?

14 clustering  k-means 

Pertanyaan ini tidak secara khusus berkaitan R, tetapi saya memilih untuk menggunakannya Runtuk menggambarkannya. Pertimbangkan kode untuk membuat band-band kepercayaan diri di sekitar qq-line (normal): library(car) library(MASS) b0<-lm(deaths~.,data=road) qqPlot(b0$resid,pch=16,line="robust") Saya mencari penjelasan (atau alternatif tautan ke kertas / dokumen daring yang menjelaskan) bagaimana pita kepercayaan ini dibangun (saya telah melihat …

14 confidence-interval  linear-model  qq-plot