Statistik dan Big Data

Saya berjuang untuk memahami perbedaan antara kesalahan standar dan standar deviasi. Bagaimana mereka berbeda dan mengapa Anda perlu mengukur kesalahan standar?

96 mean  standard-deviation  standard-error  intuition 

Hipotesis tertentu dapat diuji menggunakan uji- t Student (mungkin menggunakan koreksi Welch untuk varians yang tidak sama dalam kasus dua sampel), atau dengan tes non-parametrik seperti uji peringkat bertanda berpasangan Wilcoxon, uji Wilcoxon-Mann-Whitney U, atau uji tanda berpasangan. Bagaimana kita bisa membuat keputusan yang berprinsip tentang tes mana yang paling …

96 hypothesis-testing  t-test  nonparametric  small-sample  wilcoxon-mann-whitney 

Saat menggunakan SVM, kita perlu memilih kernel. Saya bertanya-tanya bagaimana cara memilih kernel. Adakah kriteria pemilihan kernel?

95 machine-learning  svm  kernel-trick 

Apakah ada dokumen rujukan yang memberikan daftar lengkap fungsi aktivasi dalam jaringan saraf bersama dengan pro / kontra mereka (dan idealnya beberapa petunjuk publikasi yang berhasil atau tidak berhasil)?

95 neural-networks  references 

Banyak buku dan tutorial jaringan saraf menghabiskan banyak waktu pada algoritma backpropagation, yang pada dasarnya adalah alat untuk menghitung gradien. Mari kita asumsikan kita sedang membangun model dengan ~ 10K parameter / bobot. Apakah mungkin untuk menjalankan pengoptimalan menggunakan beberapa algoritma pengoptimalan bebas gradien? Saya pikir menghitung gradien numerik akan …

94 machine-learning  neural-networks  optimization  backpropagation 

Buku apa yang akan Anda rekomendasikan untuk ilmuwan yang bukan ahli statistik? Pengiriman yang jelas sangat dihargai. Serta penjelasan tentang teknik dan metode yang sesuai untuk tugas-tugas khas: analisis deret waktu, presentasi dan agregasi set data besar.

94 references 

Dalam konteks jaringan saraf, apa perbedaan antara tingkat belajar dan penurunan berat badan?

94 neural-networks  terminology 

Frasa p -hacking (juga: "pengerukan data" , "pengintai" atau "memancing") mengacu pada berbagai jenis malpraktek statistik di mana hasilnya menjadi signifikan secara statistik secara artifisial. Ada banyak cara untuk mendapatkan hasil yang "lebih penting", termasuk tetapi tidak terbatas pada: hanya menganalisis subset data yang "menarik" , di mana suatu pola …

94 hypothesis-testing  statistical-significance  p-value  model-selection  reproducible-research 

Misalkan saya memiliki satu set besar data multivarian dengan setidaknya tiga variabel. Bagaimana saya bisa menemukan outlier? Scatterplots berpasangan tidak akan berfungsi karena dimungkinkan untuk pencilan yang ada dalam 3 dimensi yang bukan pencilan di salah satu dari subruang 2 dimensi. Saya tidak memikirkan masalah regresi, tetapi data multivariat yang …

94 multivariate-analysis  outliers 

Dalam peran pekerjaan saya, saya sering bekerja dengan kumpulan data orang lain, non-pakar membawakan saya data klinis dan saya membantu mereka untuk meringkasnya dan melakukan tes statistik. Masalah yang saya miliki adalah bahwa dataset yang saya bawa hampir selalu penuh dengan kesalahan ketik, inkonsistensi, dan segala macam masalah lainnya. Saya …

93 dataset  outliers  checking 

Saya bertanya-tanya bagaimana cara menghitung presisi dan mengingat menggunakan matriks kebingungan untuk masalah klasifikasi multi-kelas. Secara khusus, pengamatan hanya dapat ditugaskan untuk kelas / label yang paling mungkin. Saya ingin menghitung: Presisi = TP / (TP + FP) Ingat kembali = TP / (TP + FN) untuk setiap kelas, dan …

92 machine-learning  classification  precision-recall  multi-class 

Saya mengerti bahwa deret waktu stasioner adalah deretan mean dan varians yang konstan dari waktu ke waktu. Adakah yang bisa menjelaskan mengapa kita harus memastikan set data kita stasioner sebelum kita dapat menjalankan model ARIMA atau ARM yang berbeda? Apakah ini juga berlaku untuk model regresi normal di mana autokorelasi …

92 regression  time-series  stationarity 

Ketika seseorang menjadi tertarik pada statistik, dikotomi "Frequentist" vs "Bayesian" segera menjadi biasa (dan siapa yang belum membaca The Signal and the Noise , karya Nate Silver ?). Dalam pembicaraan dan kursus pengantar, sudut pandangnya sangat sering ( MLE , value), tetapi cenderung ada sebagian kecil dari waktu yang didedikasikan …

92 bayesian  mathematical-statistics  inference  bayes  frequentist 

Saya mendengar berkali-kali tentang kutukan dimensi, tetapi entah bagaimana saya masih tidak dapat memahami gagasan itu, semuanya berkabut. Adakah yang bisa menjelaskan hal ini dengan cara yang paling intuitif, seperti yang Anda jelaskan kepada seorang anak, sehingga saya (dan yang lain bingung seperti saya) dapat memahami hal ini untuk selamanya? …

92 machine-learning  dimensionality-reduction  high-dimensional 

Apa itu kovarians dalam bahasa sederhana dan bagaimana kaitannya dengan istilah dependensi , korelasi , dan struktur varians-kovarian sehubungan dengan desain tindakan berulang?

92 correlation  repeated-measures  terminology  covariance  independence