Statistik dan Big Data

Saya memikirkan masalah ini di kamar mandi, itu terinspirasi oleh strategi investasi. Katakanlah ada pohon uang ajaib. Setiap hari, Anda dapat menawarkan sejumlah uang ke pohon uang dan itu akan melipatgandakannya, atau menghancurkannya dengan probabilitas 50/50. Anda segera melihat bahwa rata-rata Anda akan mendapatkan uang dengan melakukan ini dan ingin …

19 probability  mathematical-statistics  econometrics  random-walk  martingale 

Saya memiliki dataset 140000 contoh dan 30 fitur yang saya latih beberapa pengklasifikasi untuk klasifikasi biner (SVM, Regresi Logistik, Hutan Acak dll) Dalam banyak kasus, penyetelan hyperparameter pada keseluruhan dataset menggunakan pencarian Grid atau Random terlalu memakan waktu. Saya mulai menggunakan teknik berikut Sub sampel dataset saya Gunakan fraksi yang …

19 machine-learning  cross-validation  hyperparameter 

Apa cara terbaik untuk mengambil sampel dari distribusi Cantor ? Ini hanya memiliki cdf dan kami tidak dapat membaliknya.

19 distributions  simulation  random-generation 

Saya memahami lapisan convolutional dan pooling, tetapi saya tidak dapat melihat alasan untuk lapisan yang sepenuhnya terhubung di CNN. Mengapa tidak lapisan sebelumnya terhubung langsung ke lapisan keluaran?

19 neural-networks  deep-learning  conv-neural-network 

Saya sedang membangun model VAR untuk memperkirakan harga suatu aset dan ingin tahu apakah metode saya baik secara statistik, apakah tes yang saya sertakan relevan atau tidak, dan jika lebih banyak diperlukan untuk memastikan perkiraan yang andal berdasarkan variabel input saya. Di bawah ini adalah proses saya saat ini untuk …

19 r  forecasting  modeling  var 

Jika saya memperbaiki nilai-nilai node yang diamati dari MRF, apakah itu menjadi CRF?

19 probability  graphical-model  graph-theory  conditional-random-field  markov-random-field 

Saya memerlukan beberapa saran mengenai dua dilema utama dalam penelitian saya, yang merupakan studi kasus dari 3 farmasi dan inovasi besar. Jumlah paten per tahun adalah variabel dependen. Pertanyaan saya adalah Apa kriteria paling penting untuk model yang baik? Apa yang lebih / kurang penting? Apakah sebagian besar atau semua …

19 regression  generalized-linear-model  linear-model  goodness-of-fit  poisson-regression 

Saya memiliki sebidang nilai residual dari model linier dalam fungsi nilai-nilai pas di mana heteroskedastisitas sangat jelas. Namun saya tidak yakin bagaimana saya harus melanjutkan sekarang karena sejauh yang saya mengerti heteroskedastisitas ini membuat model linier saya tidak valid. (Apakah itu benar?) Gunakan fitting linier yang kuat menggunakan rlm()fungsi MASSpaket …

19 r  generalized-linear-model  heteroscedasticity  lm 

Saya membaca pernyataan ini pada satu ujian benar / salah lama: Kita bisa mendapatkan beberapa solusi optimal lokal jika kita memecahkan masalah regresi linier dengan meminimalkan jumlah kesalahan kuadrat menggunakan gradient descent. Solusi: Salah Pertanyaan saya adalah, bagian mana dari pertanyaan ini yang salah? Mengapa pernyataan ini salah?

19 least-squares  gradient-descent  convex 

Jika saya mengerti dengan benar, dalam algoritma pembelajaran mesin, model harus belajar dari pengalamannya, yaitu ketika model memberikan prediksi yang salah untuk kasus-kasus baru, ia harus beradaptasi dengan pengamatan baru, dan seiring waktu, model menjadi semakin lebih baik. . Saya tidak melihat bahwa regresi logistik memiliki karakteristik ini. Jadi mengapa …

19 machine-learning  logistic  random-forest 

Untuk menggunakan SVM atau Neural Network perlu mengubah (menyandikan) variabel kategorikal menjadi variabel numerik, metode normal dalam hal ini adalah dengan menggunakan nilai biner 0-1 dengan nilai k-th kategori ditransformasikan menjadi (0,0, .. ., 1,0, ... 0) (1 ada di posisi k-th). Apakah ada metode lain untuk melakukan ini, terutama …

19 machine-learning  neural-networks  categorical-data  svm  categorical-encoding 

Terminologi di sini berantakan. "Persamaan struktural" kira-kira sama samarnya dengan "jembatan arsitektural" dan "jaringan Bayesian" secara intrinsik bukan Bayesian . Bahkan yang lebih baik, Judea Pearl dari sebab akibat mengatakan bahwa kedua aliran model hampir identik. Jadi, apa perbedaan penting? (Luar biasa bagi saya, halaman Wikipedia untuk SEM bahkan tidak …

19 sem  bayesian-network  causality 

Sesuai Wikipedia, saya mengerti bahwa distribusi-t adalah distribusi pengambilan sampel dari nilai-t ketika sampel adalah pengamatan benar dari populasi yang berdistribusi normal. Namun, saya tidak mengerti secara intuisi mengapa hal itu menyebabkan bentuk distribusi-t berubah dari ekor berlemak menjadi sangat normal. Saya mengerti bahwa jika Anda mengambil sampel dari distribusi …

19 normal-distribution  t-distribution 

Ini adalah perlakuan yang lebih umum dari masalah yang ditimbulkan oleh pertanyaan ini . Setelah menurunkan distribusi asimptotik dari varians sampel, kita dapat menerapkan metode Delta untuk sampai pada distribusi yang sesuai untuk deviasi standar. Biarkan sampel berukuran dari variabel acak tidak normal iid , dengan mean dan varians . …

19 mathematical-statistics  variance  central-limit-theorem  asymptotics 

Saya sering mendengar orang berbicara tentang jaringan saraf sebagai sesuatu yang tidak Anda mengerti apa artinya atau apa artinya. Sebenarnya saya tidak mengerti apa yang mereka maksud dengan itu! Jika Anda memahami cara kerja back-propagation, lalu bagaimana ini adalah kotak hitam? Apakah itu berarti kita tidak mengerti bagaimana bobot yang …

19 machine-learning  neural-networks