Statistik dan Big Data

Saya melatih jaringan saraf tetapi kehilangan pelatihan tidak berkurang. Bagaimana saya bisa memperbaikinya? Saya tidak bertanya tentang overfitting atau regularisasi. Saya bertanya tentang bagaimana menyelesaikan masalah di mana kinerja jaringan saya tidak membaik pada set pelatihan . Pertanyaan ini sengaja diajukan secara umum sehingga pertanyaan lain tentang cara melatih jaringan …

148 neural-networks  deep-learning 

Saya memiliki dataset yang memiliki data kontinu dan kategorikal. Saya menganalisis dengan menggunakan PCA dan saya bertanya-tanya apakah boleh memasukkan variabel kategori sebagai bagian dari analisis. Pemahaman saya adalah bahwa PCA hanya dapat diterapkan pada variabel kontinu. Apakah itu benar? Jika tidak dapat digunakan untuk data kategorikal, alternatif apa yang …

147 categorical-data  pca  correspondence-analysis  mixed-type-data 

Dalam beberapa konteks yang berbeda kami menggunakan teorema batas pusat untuk membenarkan metode statistik apa pun yang ingin kami adopsi (misalnya, perkiraan distribusi binomial dengan distribusi normal). Saya memahami detail teknis mengapa teorema itu benar tetapi baru saja saya sadar bahwa saya tidak benar-benar memahami intuisi di balik teorema limit …

144 intuition  central-limit-theorem 

Saya belajar R tetapi tampaknya perusahaan jauh lebih tertarik pada pengalaman SAS. Apa kelebihan SAS dibanding R?

143 r  sas 

Keadaan seni non-linearitas adalah dengan menggunakan unit linear yang diperbaiki (ReLU) alih-alih fungsi sigmoid dalam jaringan saraf dalam. Apa kelebihannya? Saya tahu bahwa melatih jaringan ketika ReLU digunakan akan lebih cepat, dan itu lebih terinspirasi secara biologis, apa kelebihan lainnya? (Yaitu, ada kerugian menggunakan sigmoid)?

141 machine-learning  neural-networks  deep-learning 

Inilah artikel yang memotivasi pertanyaan ini: Apakah ketidaksabaran membuat kita gemuk? Saya menyukai artikel ini, dan itu dengan baik menunjukkan konsep "mengendalikan variabel-variabel lain" (IQ, karier, pendapatan, usia, dll) untuk mengisolasi hubungan yang sebenarnya antara hanya 2 variabel yang dipertanyakan. Bisakah Anda menjelaskan kepada saya bagaimana Anda sebenarnya mengontrol variabel …

141 regression  causality  confounding  controlling-for-a-variable  statistics-in-media 

Apakah selalu ide yang baik untuk berlatih dengan dataset lengkap setelah cross-validation ? Kata lain, itu ok untuk melatih dengan semua sampel dalam dataset saya dan tidak bisa memeriksa apakah ini pas tertentu overfits ? Beberapa latar belakang masalah: Katakanlah saya memiliki keluarga model parametrized oleh . Katakan juga bahwa …

140 machine-learning  cross-validation  model-selection 

Saya mendapat pertanyaan ini saat wawancara dengan Amazon: 50% dari semua orang yang menerima wawancara pertama menerima wawancara kedua 95% teman Anda yang mendapatkan wawancara kedua merasa mereka memiliki wawancara pertama yang baik 75% teman Anda yang TIDAK MENDAPAT wawancara kedua merasa mereka memiliki wawancara pertama yang baik Jika Anda …

139 probability  conditional-probability 

Baru-baru ini , makalah ini telah menerima banyak perhatian (misalnya dari WSJ ). Pada dasarnya, penulis menyimpulkan bahwa Facebook akan kehilangan 80% anggotanya pada 2017. Mereka mendasarkan klaim mereka pada ekstrapolasi model SIR , model kompartemen yang sering digunakan dalam epidemiologi. Data mereka diambil dari pencarian Google untuk "Facebook", dan …

138 hypothesis-testing  correlation  epidemiology  social-network 

Saya telah menggunakan KKK ganda lintas validasi beberapa kali sekarang untuk mengevaluasi kinerja beberapa algoritma belajar, tapi aku selalu bingung bagaimana aku harus memilih nilai .KKK Saya sering melihat dan menggunakan nilai K= 10K=10K = 10 , tetapi ini tampaknya benar-benar sewenang-wenang bagi saya, dan sekarang saya hanya menggunakan 101010 …

136 machine-learning  classification  cross-validation 

Saya ditanya hari ini di kelas mengapa Anda membagi jumlah kesalahan kuadrat dengan n−1n−1n-1 bukan dengan nnn , saat menghitung standar deviasi. Saya bilang saya tidak akan menjawabnya di kelas (karena saya tidak ingin masuk ke estimator yang tidak bias), tetapi kemudian saya bertanya-tanya - apakah ada penjelasan intuitif untuk …

136 standard-error  intuition  teaching  bessels-correction 

Saat ini saya menggunakan SVM dengan kernel linear untuk mengklasifikasikan data saya. Tidak ada kesalahan pada set pelatihan. Saya mencoba beberapa nilai untuk parameter ( ). Ini tidak mengubah kesalahan pada set tes.10 - 5 , … , 10 2CCC10−5,…,10210−5,…,10210^{-5}, \dots, 10^2 Sekarang saya bertanya-tanya: apakah ini kesalahan yang disebabkan …

134 machine-learning  svm  libsvm 

Apa fungsi biaya umum yang digunakan dalam mengevaluasi kinerja jaringan saraf? Detail (jangan ragu untuk melewatkan sisa pertanyaan ini, maksud saya di sini adalah hanya untuk memberikan klarifikasi tentang notasi yang mungkin digunakan jawaban untuk membantu mereka lebih dimengerti oleh pembaca umum) Saya pikir akan bermanfaat untuk memiliki daftar fungsi …

133 machine-learning  neural-networks 

Bagaimana perbedaan PCA dan MDS klasik? Bagaimana dengan MDS versus MDS non-metrik? Apakah ada saat ketika Anda lebih suka yang satu daripada yang lain? Bagaimana perbedaan interpretasinya?

133 pca  multidimensional-scaling  pcoa 

Saya memiliki dataset dan ingin mengetahui distribusi mana yang paling cocok dengan data saya. Saya menggunakan fitdistr()fungsi untuk memperkirakan parameter yang diperlukan untuk menggambarkan distribusi yang diasumsikan (yaitu Weibull, Cauchy, Normal). Dengan menggunakan parameter-parameter tersebut, saya dapat melakukan Tes Kolmogorov-Smirnov untuk memperkirakan apakah data sampel saya berasal dari distribusi yang …

133 r  distributions  goodness-of-fit  kolmogorov-smirnov  distribution-identification