Statistik dan Big Data

Ada Jaringan Syaraf Berulang dan Jaringan Syaraf Rekursif. Keduanya biasanya dilambangkan dengan akronim yang sama: RNN. Menurut Wikipedia , NN Berulang sebenarnya adalah NN Rekursif, tapi saya tidak begitu mengerti penjelasannya. Selain itu, saya sepertinya tidak menemukan yang lebih baik (dengan contoh atau lebih) untuk Pemrosesan Bahasa Alami. Faktanya adalah, …

48 machine-learning  neural-networks  deep-learning  natural-language 

Misalkan saya memiliki sampel dari distribusi gabungan dari dan . Bagaimana saya menguji hipotesis bahwa dan adalah independen ?X Y X Y( Xn, Yn) , n = 1 .. N(Xn,Yn),n=1..N(X_n,Y_n), n=1..NXXXYYYXXXYYY Tidak ada asumsi yang dibuat pada undang-undang distribusi gabungan atau marginal dan (paling tidak dari semua normalitas gabungan, karena …

48 hypothesis-testing  references  independence 

Artikel yang diterbitkan ( pdf ) berisi 2 kalimat ini: Selain itu, kesalahan pelaporan dapat disebabkan oleh penerapan aturan yang salah atau oleh kurangnya pengetahuan tentang uji statistik. Misalnya, total df dalam ANOVA dapat dianggap sebagai kesalahan df dalam pelaporan uji , atau peneliti dapat membagi nilai p yang dilaporkan …

48 hypothesis-testing  chi-squared 

Saya mengerti bahwa begitu kita memplot nilai-nilai sebagai grafik, kita dapat mengidentifikasi distribusi bimodal dengan mengamati puncak kembar, tetapi bagaimana kita menemukannya secara terprogram? (Saya mencari sebuah algoritma.)

48 distributions 

Saya ingin tahu mengapa beberapa bahasa seperti R memiliki NA dan NaN. Apa perbedaannya atau apakah keduanya sama? Apakah benar-benar perlu memiliki NA?

48 r 

Apa blog terbaik tentang visualisasi data? Saya membuat pertanyaan ini sebagai wiki komunitas karena sangat subyektif. Harap batasi setiap jawaban ke satu tautan. Harap perhatikan kriteria berikut untuk jawaban yang diajukan: [A] jawaban yang dapat diterima untuk pertanyaan seperti ini ... perlu memberikan deskripsi yang memadai dan alasan yang masuk …

48 data-visualization  references 

Katakanlah ada hubungan "benar" antara dan sedemikian rupa sehingga , di mana dan adalah konstanta dan adalah noise normal. Ketika saya secara acak menghasilkan data dari kode R: dan kemudian cocok dengan model seperti , saya jelas mendapatkan perkiraan yang cukup baik untuk dan .yyyxxxy=ax+b+ϵy=ax+b+ϵy = ax + b + …

48 regression 

Jadi penurunan gradien berbasis momentum bekerja sebagai berikut: v=self.momentum∗m−lr∗gv=self.momentum∗m−lr∗gv=self.momentum*m-lr*g di mana adalah pembaruan berat sebelumnya, dan adalah gradien saat ini sehubungan dengan parameter , adalah tingkat pembelajaran, dan adalah konstanta.g p l r s e l f . m o m e n t u mmmmgggppplrlrlrself.momentumself.momentumself.momentum pnew=p+v=p+self.momentum∗m−lr∗gpnew=p+v=p+self.momentum∗m−lr∗gp_{new} = p + …

48 optimization  gradient-descent 

Saya mencoba memahami perbedaan antara GBM & Adaboost. Inilah yang saya mengerti sejauh ini: Ada keduanya meningkatkan algoritma, yang belajar dari kesalahan model sebelumnya dan akhirnya membuat jumlah model tertimbang. GBM dan Adaboost sangat mirip kecuali untuk fungsi kehilangannya. Tapi tetap saja sulit bagi saya untuk mengambil ide perbedaan di …

48 boosting  gbm  adaboost 

Saya kira jawabannya harus ya, tetapi saya masih merasa ada sesuatu yang tidak benar. Seharusnya ada beberapa hasil umum dalam literatur, ada yang bisa membantu saya?

48 covariance  matrix  covariance-matrix  linear-algebra 

Saya mencari algoritme yang baik (yang berarti perhitungan minimal, persyaratan penyimpanan minimal) untuk memperkirakan median kumpulan data yang terlalu besar untuk disimpan, sehingga setiap nilai hanya dapat dibaca satu kali (kecuali jika Anda secara eksplisit menyimpan nilai itu). Tidak ada batasan pada data yang dapat diasumsikan. Perkiraannya baik-baik saja, asal …

48 algorithms  median  large-data 

Saya telah belajar tentang intuisi di balik KL Divergence karena seberapa banyak fungsi distribusi model berbeda dari distribusi teoritis / benar data. Sumber saya membaca selanjutnya mengatakan bahwa pemahaman intuitif 'jarak' antara dua distribusi ini sangat membantu, tetapi tidak harus diambil secara harfiah karena selama dua distribusi PPP dan QQQ …

47 distributions  distance  intuition  kullback-leibler 

Selama paruh pertama 2015 saya melakukan kursus coursera Machine Learning (oleh Andrew Ng, GREAT course). Dan mempelajari dasar-dasar pembelajaran mesin (regresi linier, regresi logistik, SVM, Jaringan Neuronal ...) Saya juga telah menjadi pengembang selama 10 tahun, jadi belajar bahasa pemrograman baru tidak akan menjadi masalah. Akhir-akhir ini, saya sudah mulai …

47 r  regression  machine-learning  references 

Apakah saya mengubah semua data atau lipatan saya (jika CV diterapkan) secara bersamaan? misalnya (allData - mean(allData)) / sd(allData) Apakah saya mengubah trainset dan testset secara terpisah? misalnya (trainData - mean(trainData)) / sd(trainData) (testData - mean(testData)) / sd(testData) Atau apakah saya mengubah trainset dan menggunakan perhitungan pada testset? misalnya (trainData …

47 r  cross-validation  data-transformation  normalization  standardization 

Ini adalah pertanyaan secara umum, tidak spesifik untuk metode atau kumpulan data apa pun. Bagaimana kita menangani masalah ketidakseimbangan kelas dalam pembelajaran Supervised Machine di mana angka 0 adalah sekitar 90% dan angka 1 adalah sekitar 10% dalam dataset Anda. Bagaimana kita melatih penggolong secara optimal. Salah satu cara yang …

47 machine-learning  unbalanced-classes  supervised-learning