Statistik dan Big Data

Saya benar-benar bingung tentang perbedaan makna mengenai konteks regresi linier dari istilah-istilah berikut: F statistik R kuadrat Kesalahan standar residual Saya menemukan webstie ini yang memberi saya wawasan luas dalam berbagai istilah yang terlibat dalam regresi linier, namun istilah yang disebutkan di atas terlihat cukup banyak (sejauh yang saya mengerti). …

14 linear-model  nonlinear-regression  linear  f-statistic 

Scikit memiliki CalibratedClassifierCV , yang memungkinkan kita untuk mengkalibrasi model kita pada pasangan X, y tertentu. Ini juga menyatakan dengan jelas itudata for fitting the classifier and for calibrating it must be disjoint. Jika mereka harus dipisahkan, apakah sah untuk melatih pengklasifikasi dengan yang berikut? model = CalibratedClassifierCV(my_classifier) model.fit(X_train, y_train) …

14 cross-validation  scikit-learn  validation  train  calibration 

Apa rumus (perkiraan atau tepat) untuk interval prediksi untuk variabel acak Binomial? Asumsikan , dan kami mengamati (diambil dari ). The dikenal.Y∼Binom(n,p)Y∼Binom(n,p)Y \sim \mathsf{Binom}(n, p)yyyYYYnnn Tujuan kami adalah untuk mendapatkan interval prediksi 95% untuk hasil imbang baru dari .YYY Estimasi titik adalah , di mana . Sebuah selang kepercayaan untuk …

14 confidence-interval  binomial  prediction-interval 

Saya mengerti prosedur dan apa yang dikontrolnya. Jadi apa rumus untuk nilai-p yang disesuaikan dalam prosedur BH untuk beberapa perbandingan? Baru saja saya menyadari bahwa BH asli tidak menghasilkan nilai p yang disesuaikan, hanya menyesuaikan kondisi penolakan (non): https://www.jstor.org/stable/2346101 . Gordon Smyth memperkenalkan nilai p BH yang disesuaikan pada tahun …

14 hypothesis-testing  p-value  multiple-comparisons  false-discovery-rate 

Jajak pendapat di luar sana (katakanlah, Gallup) sampel beberapa jumlah orang sangat rendah dibandingkan dengan ukuran populasi (misalnya mungkin seribu orang dari ratusan juta). Sekarang, bagi saya, sampling populasi sebagai sarana untuk memperkirakan statistik populasi masuk akal ketika Anda memiliki alasan kuat untuk percaya sampel mewakili populasi (atau, serupa, dari …

14 sampling  sample-size 

Saya ingin tahu apakah proses yang dijelaskan di bawah ini valid / dapat diterima dan ada pembenaran yang tersedia. Idenya: Algoritma pembelajaran terawasi tidak mengasumsikan struktur / distribusi yang mendasari tentang data. Pada akhirnya mereka membuat estimasi titik keluaran. Saya berharap bisa mengukur ketidakpastian estimasi tersebut. Sekarang, proses pembuatan model …

14 machine-learning  confidence-interval  bootstrap  supervised-learning  gbm 

Saya mengalami beberapa kesulitan dalam memahami interpretasi dari 2 sampel tes KS, dan bagaimana perbedaannya dari uji t reguler antara 2 kelompok. Katakanlah saya memiliki pria dan wanita melakukan beberapa tugas dan saya mengumpulkan beberapa skor dari tugas itu. Tujuan utama saya adalah menentukan apakah pria dan wanita memiliki performa …

14 distributions  t-test  interpretation  kolmogorov-smirnov 

Saya telah melihat operator do(x)do(x)do(x) di mana-mana dalam beberapa tinjauan pustaka yang saya lakukan tentang Kausalitas (lihat, misalnya entri wikipedia ini ). Namun, saya tidak dapat menemukan definisi formal dan umum dari operator ini. Bisakah seseorang mengarahkan saya ke referensi yang bagus tentang ini? Saya tertarik pada definisi umum daripada …

14 references  causality  definition 

Secara tradisional kami menggunakan model campuran untuk memodelkan data longitudinal, yaitu data seperti: id obs age treatment_lvl yield 1 0 11 M 0.2 1 1 11.5 M 0.5 1 2 12 L 0.6 2 0 17 H 1.2 2 1 18 M 0.9 kita dapat mengasumsikan intersep atau lereng acak …

14 machine-learning  data-transformation  random-forest  panel-data  large-data 

Pembelajaran Penguatan: Suatu Pengantar. Edisi kedua, dalam proses ., Richard S. Sutton dan Andrew G. Barto (c) 2012, hlm. 67-68. Memecahkan tugas pembelajaran penguatan berarti, secara kasar, menemukan kebijakan yang mencapai banyak penghargaan dalam jangka panjang. Untuk MDP terbatas, kita dapat dengan tepat menetapkan kebijakan optimal dengan cara berikut. Fungsi …

14 markov-process  reinforcement-learning 

Saya tahu bahwa R memiliki pustaka gam dan mgcv untuk model aditif umum. Tetapi saya mengalami kesulitan menemukan rekan-rekan mereka di ekosistem Python (statsmodels hanya memiliki prototipe di kotak pasir). Adakah yang tahu perpustakaan python yang ada? Siapa tahu ini mungkin proyek yang baik untuk dikembangkan / berkontribusi untuk scikit-belajar …

14 gam 

Konteks : Saya ingin menggambar garis di sebar yang tidak tampak parametrik, oleh karena itu saya gunakan geom_smooth()di ggplotdalam R. Secara otomatis mengembalikan geom_smooth: method="auto" and size of largest group is >=1000, so using gam with formula: y ~ s(x, bs = "cs"). Use 'method = x' to change the …

14 r  gam  splines  loess  r  data-visualization  boxplot  mathematical-statistics  theory  sufficient-statistics  machine-learning  classification  correlation  svm  feature-selection  probability  stochastic-processes  machine-learning  reinforcement-learning 

Dalam regresi ridge, fungsi tujuan harus diminimalkan adalah: RSS+λ∑β2j.RSS+λ∑βj2.\text{RSS}+\lambda \sum\beta_j^2. Bisakah ini dioptimalkan menggunakan metode pengali Lagrange? Atau apakah itu diferensiasi langsung?

14 regression  regularization  ridge-regression 

Saya tidak dapat memahami Sampling Thompson dan cara kerjanya. Saya membaca tentang Multi Arm Bandit dan setelah membaca Algoritma Batas Keyakinan Atas, banyak teks menyarankan bahwa Thompson Sampling berkinerja lebih baik daripada UCB. Apa itu Thompson Sampling, dalam istilah awam atau sederhana? Jangan ragu untuk memberikan artikel referensi untuk pemahaman …

14 machine-learning  definition  multiarmed-bandit 

Saya ingin menerapkan model dinamis untuk merekomendasikan film kepada pengguna. Rekomendasi tersebut harus diperbarui setiap kali pengguna menonton film atau menilai film itu. Sederhananya, saya berpikir untuk mempertimbangkan dua faktor: peringkat masa lalu dari film lain oleh pengguna waktu dimana pengguna menonton film terakhir tertentu Bagaimana seseorang menyiapkan model seperti …

14 machine-learning  recommender-system  dynamic-regression