Statistik dan Big Data

Dalam beberapa tahun terakhir, jaringan saraf convolutional (atau mungkin jaringan saraf yang dalam secara umum) telah menjadi lebih dalam dan lebih dalam, dengan jaringan canggih mulai dari 7 lapisan ( AlexNet ) hingga 1000 lapisan ( Residual Nets) di ruang 4 tahun. Alasan di balik peningkatan kinerja dari jaringan yang …

73 machine-learning  classification  neural-networks  deep-learning  conv-neural-network 

Terinspirasi oleh komentar dari pertanyaan ini : Apa yang kita anggap "tidak informatif" pada prior - dan informasi apa yang masih terkandung dalam prior yang sebelumnya dianggap tidak informatif? Saya biasanya melihat sebelumnya dalam analisis di mana itu baik analisis tipe-sering mencoba untuk meminjam beberapa bagian yang bagus dari analisis …

73 bayesian  prior 

Saya bertanya-tanya bagaimana cara menghitung pengukuran presisi dan penarikan untuk klasifikasi multilabel multilabel, yaitu klasifikasi di mana terdapat lebih dari dua label, dan di mana setiap instance dapat memiliki beberapa label?

72 machine-learning  classification  precision-recall  multi-class 

Dalam konteks proposal penelitian dalam ilmu sosial, saya ditanya pertanyaan berikut: Saya selalu pergi dengan 100 + m (di mana m adalah jumlah prediktor) ketika menentukan ukuran sampel minimum untuk regresi berganda. Apakah ini tepat? Saya sering mendapat pertanyaan serupa, seringkali dengan aturan praktis yang berbeda. Saya juga membaca aturan …

72 regression  sample-size  power-analysis  rule-of-thumb 

Latar belakang : Saya tidak memiliki pelatihan formal dalam statistik Bayesian (walaupun saya sangat tertarik untuk belajar lebih banyak), tetapi saya cukup tahu - saya pikir - untuk mendapatkan inti mengapa banyak orang merasa seolah-olah mereka lebih disukai daripada statistik Frequentist. Bahkan para sarjana dalam statistik pengantar (dalam ilmu sosial) …

72 bayesian  frequentist  philosophical 

Saya telah melihat suatu tempat bahwa jarak klasik (seperti jarak Euclidean) menjadi sangat lemah ketika kita memiliki data multidimensi dan jarang. Mengapa? Apakah Anda memiliki contoh dua vektor data jarang di mana jarak Euclidean tidak berkinerja baik? Dalam hal ini kesamaan mana yang harus kita gunakan?

72 machine-learning  clustering  data-mining  sparse  euclidean 

Waktu tunggu untuk distribusi poisson adalah distribusi eksponensial dengan parameter lambda. Tapi saya tidak mengerti. Poisson memodelkan jumlah kedatangan per unit waktu misalnya. Bagaimana ini terkait dengan distribusi eksponensial? Katakanlah probabilitas kedatangan k dalam satuan waktu adalah P (k) (dimodelkan dengan poisson) dan probabilitas k + 1 adalah P (k …

72 distributions  poisson-distribution  exponential 

Apa asumsi biasa untuk regresi linier? Apakah mereka termasuk: hubungan linear antara variabel independen dan dependen kesalahan independen distribusi kesalahan normal homoseksualitas Apakah ada yang lain?

72 regression  assumptions 

Entropi Shannon adalah negatif dari jumlah probabilitas setiap hasil dikalikan dengan logaritma probabilitas untuk setiap hasil. Apa tujuan yang dilayani oleh logaritma dalam persamaan ini? Jawaban intuitif atau visual (sebagai lawan dari jawaban yang sangat matematis) akan diberikan poin bonus!

72 entropy  intuition  sequence-analysis 

Perkiraan koefisien regresi punggungan adalah nilai yang meminimalkanβ^Rβ^R\hat{\beta}^R RSS+λ∑j=1pβ2j.RSS+λ∑j=1pβj2. \text{RSS} + \lambda \sum_{j=1}^p\beta_j^2. Pertanyaan saya adalah: Jika , maka kita melihat bahwa ekspresi di atas berkurang ke RSS yang biasa. Bagaimana jika ? Saya tidak mengerti penjelasan buku teks tentang perilaku koefisien.λ=0λ=0\lambda = 0λ→∞λ→∞\lambda \to \infty Untuk membantu memahami konsep …

71 ridge-regression  statistical-learning  history 

Tampaknya penambangan data dan pembelajaran mesin menjadi sangat populer sehingga sekarang hampir setiap siswa CS tahu tentang pengklasifikasian, pengelompokan, statistik NLP ... dll. Jadi, menemukan penambang data bukanlah hal yang sulit saat ini. Pertanyaan saya adalah: Apa keterampilan yang bisa dipelajari oleh penambang data yang akan membuatnya berbeda dari yang …

71 machine-learning  data-mining 

Dalam kursus pembelajaran mesin Andrew Ng , ia memperkenalkan regresi linier dan regresi logistik, dan menunjukkan bagaimana menyesuaikan parameter model menggunakan gradient descent dan metode Newton. Saya tahu gradient descent dapat berguna dalam beberapa aplikasi pembelajaran mesin (misalnya, backpropogation), tetapi dalam kasus yang lebih umum apakah ada alasan mengapa Anda …

71 regression  machine-learning  logistic  gradient-descent 

Bagaimana saya bisa menghapus baris duplikat dari frame data contoh ini? A 1 A 1 A 2 B 4 B 1 B 1 C 2 C 2 Saya ingin menghapus duplikat berdasarkan kedua kolom: A 1 A 2 B 4 B 1 C 2 Ketertiban tidak penting.

71 r 

Apakah skor komponen utama (skor PC, skor PCA)?

71 pca  definition 

Pertanyaannya: Apakah ada contoh bagus dari penelitian yang dapat direproduksi menggunakan R yang tersedia secara online secara gratis? Contoh Ideal: Khususnya, contoh ideal akan memberikan: Data mentah (dan idealnya meta data yang menjelaskan data), Semua kode R termasuk impor data, pemrosesan, analisis, dan pembuatan keluaran, Sweave atau pendekatan lain untuk …

71 r  references  reproducible-research