Statistik dan Big Data

Situasi Beberapa peneliti ingin membuat Anda tertidur. Bergantung pada lemparan rahasia koin yang adil, mereka akan membangunkan Anda sebentar (Kepala) atau dua kali (Ekor) sebentar. Setelah setiap bangun, mereka akan membuat Anda kembali tidur dengan obat yang membuat Anda melupakan kebangkitan itu. Ketika Anda terbangun, sampai sejauh mana Anda harus …

133 decision-theory  paradox 

Ini adalah sesuatu yang telah mengganggu saya untuk sementara waktu, dan saya tidak dapat menemukan jawaban yang memuaskan secara online, jadi begini: Setelah meninjau satu set ceramah tentang optimasi cembung, metode Newton tampaknya menjadi algoritma yang jauh lebih unggul daripada gradient descent untuk menemukan solusi optimal secara global, karena metode …

132 machine-learning  optimization  gradient-descent  hessian 

Saya membaca buku data mining dan disebutkan statistik Kappa sebagai sarana untuk mengevaluasi kinerja prediksi pengklasifikasi. Namun, saya tidak bisa mengerti ini. Saya juga memeriksa Wikipedia tetapi tidak membantu juga: https://en.wikipedia.org/wiki/Cohen's_kappa . Bagaimana kappa Cohen membantu dalam mengevaluasi kinerja prediksi pengklasifikasi? Apa isinya? Saya mengerti bahwa 100% kappa berarti bahwa …

131 classification  data-mining  cohens-kappa 

Dalam sebuah artikel baru-baru dari Amstat Berita , penulis (Mark van der Laan dan Sherri Rose) menyatakan bahwa "Kita tahu bahwa untuk ukuran sampel yang cukup besar, setiap studi-termasuk yang di mana hipotesis nol tidak ada efek benar - akan mendeklarasikan pengaruh signifikan secara statistik. Yah, saya sendiri tidak tahu …

129 hypothesis-testing  sample-size  dataset  large-data 

Saya bertanya-tanya apa perbedaan antara varian dan standar deviasi. Jika Anda menghitung dua nilai, jelas bahwa Anda mendapatkan standar deviasi dari varians, tetapi apa artinya dalam hal distribusi yang Anda amati? Lebih jauh, mengapa Anda benar-benar membutuhkan deviasi standar?

127 variance  mathematical-statistics  standard-deviation 

Saya sedang mempelajari pengenalan pola dan statistik dan hampir setiap buku yang saya buka tentang subjek saya menabrak konsep jarak Mahalanobis . Buku-buku memberikan semacam penjelasan intuitif, tetapi masih belum cukup baik bagi saya untuk benar-benar mengerti apa yang sedang terjadi. Jika seseorang bertanya kepada saya, "Berapa jarak Mahalanobis?" Saya …

127 normal-distribution  mathematical-statistics  distance  pattern-recognition  intuition 

Hutan acak dianggap kotak hitam, tetapi baru-baru ini saya berpikir pengetahuan apa yang bisa diperoleh dari hutan acak? Hal yang paling jelas adalah pentingnya variabel, dalam varian paling sederhana dapat dilakukan hanya dengan menghitung jumlah kemunculan suatu variabel. Hal kedua yang saya pikirkan adalah interaksi. Saya berpikir bahwa jika jumlah …

127 machine-learning  data-mining  interaction  random-forest  cart 

Saya benar-benar terkejut bahwa tidak ada yang tampaknya sudah menanyakan hal ini ... Saat membahas penaksir, dua istilah yang sering digunakan adalah "konsisten" dan "tidak memihak". Pertanyaan saya sederhana: apa bedanya? Definisi teknis yang tepat dari istilah ini cukup rumit, dan sulit untuk mendapatkan intuitif merasakan apa yang mereka maksud …

125 unbiased-estimator  estimators  consistency 

Dalam kelompok siswa, ada 2 dari 18 yang kidal. Temukan distribusi posterior siswa kidal dalam populasi dengan asumsi tidak informatif sebelumnya. Ringkas hasilnya. Menurut literatur 5-20% orang kidal. Pertimbangkan informasi ini di prior Anda dan hitung posterior baru. Saya tahu distribusi beta harus digunakan di sini. Pertama, dengan nilai dan …

125 distributions  bayesian  prior  posterior 

Saya memiliki dataframe dengan banyak pengamatan dan banyak variabel. Beberapa dari mereka adalah kategoris (tidak teratur) dan yang lainnya numerik. Saya mencari hubungan antara variabel-variabel ini. Saya sudah bisa menghitung korelasi untuk variabel numerik (korelasi Spearman) tetapi: Saya tidak tahu bagaimana mengukur korelasi antara variabel kategori tidak teratur. Saya tidak …

123 r  correlation  categorical-data  continuous-data  mixed-type-data 

Baru-baru ini saya telah membaca tentang pembelajaran yang mendalam dan saya bingung tentang istilah (atau mengatakan teknologi). Apa perbedaan antara Jaringan saraf convolutional (CNN), Mesin Boltzmann terbatas (RBM) dan Penyandi otomatis?

123 neural-networks  deep-learning  conv-neural-network  autoencoders  rbm 

Apa perbedaan antara regresi linier dan regresi logistik? Kapan Anda akan menggunakan masing-masing?

122 regression  logistic  linear-model 

Kami memiliki eksperimen acak dengan hasil berbeda yang membentuk ruang sampel yang kami perhatikan dengan minat pada pola tertentu, yang disebut eventsSigma-algebras (atau sigma-bidang) terdiri dari peristiwa di mana ukuran probabilitas dapat ditugaskan. Properti tertentu terpenuhi, termasuk dimasukkannya set nol dan seluruh ruang sampel, dan aljabar yang menggambarkan serikat pekerja …

122 probability  intuition  measure-theory  sigma-algebra 

Pertanyaannya (sedikit dimodifikasi) adalah sebagai berikut dan jika Anda belum pernah menemukannya sebelum Anda dapat memeriksanya dalam contoh 6a, bab 2, dari Sheldon Ross ' Kursus Pertama dalam Kemungkinan : Misalkan kita memiliki guci besar tak terhingga dan koleksi bola tanpa batas berlabel nomor 1, nomor 2, nomor 3, dan …

121 probability  paradox 

Bagaimana saya tahu kapan harus memilih antara Spearman dan Pearson's ? Variabel saya termasuk kepuasan dan skor ditafsirkan menggunakan jumlah skor. Namun, skor ini juga bisa diurutkan.rρρ\rhorrr

119 correlation  pearson-r  spearman-rho