Statistik dan Big Data

Apakah ada cara untuk mendapatkan skor kepercayaan (kita dapat menyebutnya juga nilai kepercayaan atau kemungkinan) untuk setiap nilai yang diprediksi saat menggunakan algoritma seperti Random Forests atau Extreme Gradient Boosting (XGBoost)? Katakanlah skor kepercayaan ini akan berkisar dari 0 hingga 1 dan menunjukkan seberapa yakin saya tentang prediksi tertentu . …

11 r  regression  random-forest  prediction  boosting 

Saya membaca bab 13 "Adventures in Covariance" dalam buku ( hebat ) Statistical Rethinking oleh Richard McElreath di mana ia menyajikan model hierarkis berikut: ( Radalah matriks korelasi) Penulis menjelaskan bahwa itu LKJcorradalah informasi yang lemah sebelum bekerja sebagai pengatur sebelumnya untuk matriks korelasi. Tapi mengapa demikian? Karakteristik apa yang …

11 regression  self-study  correlation  prior  hierarchical-bayesian 

Saya menyadari fakta bahwa variabel kategori dengan level k harus dikodekan dengan variabel k-1 dalam pengkodean dummy (sama untuk variabel kategori multi-dihargai). Saya bertanya-tanya berapa banyak masalah melakukan pengkodean satu-panas (yaitu menggunakan variabel k sebagai gantinya) atas pengkodean dummy untuk metode regresi yang berbeda, terutama regresi linier, regresi linier dihukum …

11 regression  multiple-regression  categorical-data  many-categories 

Mengapa statistik p-value dan ks-test menurun dengan meningkatnya ukuran sampel? Ambil kode Python ini sebagai contoh: import numpy as np from scipy.stats import norm, ks_2samp np.random.seed(0) for n in [10, 100, 1000, 10000, 100000, 1000000]: x = norm(0, 4).rvs(n) y = norm(0, 4.1).rvs(n) print ks_2samp(x, y) Hasilnya adalah: Ks_2sampResult(statistic=0.30000000000000004, pvalue=0.67507815371659508) …

11 python  p-value  goodness-of-fit  intuition  scipy 

Saya baru saja belajar tentang konsep bootstrap, dan sebuah pertanyaan naif muncul di benak: Jika kita selalu dapat menghasilkan banyak sampel bootstrap dari data kita, mengapa repot-repot mendapatkan lebih banyak data "nyata" sama sekali? Saya pikir saya punya penjelasan, tolong beri tahu saya jika saya benar: Saya pikir proses bootstrap …

11 variance  bootstrap  bias 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup tahun lalu . Pelatihan setelah 15 zaman pada dataset CIFAR-10 tampaknya membuat kehilangan validasi tidak lagi menurun, bertahan sekitar 1,4 (dengan akurasi validasi 60%). Saya …

11 neural-networks  conv-neural-network  keras 

Dalam uji-t rata-rata, dengan menggunakan metode pengujian hipotesis yang biasa, kami menolak nol atau gagal menolak nol tetapi kami tidak pernah menerima nol. Salah satu alasannya adalah jika kita mendapatkan lebih banyak bukti, ukuran efek yang sama akan menjadi signifikan. Tetapi apa yang terjadi dalam tes non-inferioritas? Itu adalah: H0: …

11 hypothesis-testing  tost  non-inferiority 

Saya cocok dengan dataset dengan kelas target biner oleh hutan acak. Dengan python, saya bisa melakukannya dengan randomforestclassifier atau randomforestregressor. Saya bisa mendapatkan klasifikasi langsung dari randomforestclassifier atau saya bisa menjalankan randomforestregressor terlebih dahulu dan mendapatkan kembali satu set nilai yang diestimasi (nilai kontinu). Kemudian saya dapat menemukan nilai cutoff …

11 python  random-forest 

Saya mencoba memahami mengapa OLS memberikan penduga yang bias dari proses AR (1). Pertimbangkan Dalam model ini, eksogenitas ketat dilanggar, yaitu dan berkorelasi tetapi dan tidak berkorelasi. Tetapi jika ini benar, lalu mengapa derivasi sederhana berikut tidak berlaku? ytϵt=α+βyt−1+ϵt,∼iidN(0,1).yt=α+βyt−1+ϵt,ϵt∼iidN(0,1). \begin{aligned} y_{t} &= \alpha + \beta y_{t-1} + \epsilon_{t}, \\ \epsilon_{t} …

11 time-series  least-squares  bias  autoregressive  estimators 

Pertanyaan saya adalah tentang perbedaan konseptual antara Holt-Winters dan ARIMA. Sejauh yang saya mengerti, Holt-Winters adalah kasus khusus ARIMA. Tetapi kapan satu algoritma lebih disukai dari yang lain? Mungkin Holt-Winters bersifat inkremental dan karenanya berfungsi sebagai algoritma inline (lebih cepat)? Menantikan beberapa wawasan di sini.

11 time-series  arima  exponential-smoothing 

Saya bereksperimen dengan regresi bertahap demi keberagaman dalam pendekatan saya terhadap masalah. Jadi, saya punya 2 pertanyaan: Apa keuntungan dari regresi bertahap? Apa kekuatan spesifiknya? Apa pendapat Anda tentang pendekatan hybrid, di mana Anda menggunakan regresi bertahap untuk memilih fitur, dan kemudian menerapkan regresi reguler dengan menggabungkan semua fitur yang …

11 regression  feature-selection  stepwise-regression 

Untuk tugas pemrosesan bahasa alami (NLP) seseorang sering menggunakan vektor word2vec sebagai embedding kata-kata. Namun, mungkin ada banyak kata yang tidak dikenal yang tidak ditangkap oleh vektor word2vec hanya karena kata-kata ini tidak cukup sering terlihat dalam data pelatihan (banyak implementasi menggunakan jumlah minimum sebelum menambahkan kata ke dalam kosakata). …

11 natural-language  word2vec  lstm  word-embeddings 

Semuanya ada dalam judul, apakah masuk akal untuk menggunakan pemilihan fitur sebelum menggunakan hutan acak?

11 machine-learning  feature-selection  random-forest 

Saya berharap seseorang dapat membantu dengan apa yang saya pikir merupakan pertanyaan yang relatif sederhana, dan saya pikir saya tahu jawabannya tetapi tanpa konfirmasi itu sudah menjadi sesuatu yang saya tidak bisa yakin. Saya memiliki beberapa data hitungan sebagai variabel respon dan saya ingin mengukur bagaimana variabel itu berubah dengan …

11 r  binomial  proportion  glmm  lme4-nlme 

Saya melakukan preprocessing data dan akan membangun Convonets pada data saya setelahnya. Pertanyaan saya adalah: Katakan saya memiliki set data total dengan 100 gambar, saya menghitung rata-rata untuk masing-masing dari 100 gambar dan kemudian kurangi dari masing-masing gambar, kemudian pisahkan ini ke dalam set kereta dan validasi, dan saya melakukan …

11 machine-learning  cross-validation  data-preprocessing