Statistik dan Big Data

Saya telah membaca beberapa literatur yang hutan acak tidak bisa pakai terlalu banyak. Walaupun ini terdengar hebat, tampaknya terlalu bagus untuk menjadi kenyataan. Apakah mungkin bagi rf untuk berpakaian berlebihan?

10 random-forest  overfitting 

Saya menulis fungsi sederhana dengan Python untuk menghitung rata-rata tertimbang secara eksponensial: def test(): x = [1,2,3,4,5] alpha = 0.98 s_old = x[0] for i in range(1, len(x)): s = alpha * x[i] + (1- alpha) * s_old s_old = s return s Namun, bagaimana saya bisa menghitung SD yang …

10 standard-deviation  python  exponential-smoothing 

Semua literatur Pemodelan Distribusi Spesies menunjukkan bahwa ketika memprediksi ada / tidaknya suatu spesies menggunakan model yang menghasilkan probabilitas (misalnya, RandomForests), pilihan ambang batas probabilitas yang digunakan untuk benar-benar mengklasifikasikan suatu spesies sebagai ada atau tidaknya adalah penting dan kita harus tidak selalu mengandalkan default 0,5. Saya butuh bantuan dengan …

10 r  classification  random-forest  threshold 

Jadi jika Statistik Kuadrat Pearson Pearson's diberikan untuk tabel , maka bentuknya adalah:1×N1×N1 \times N ∑i=1n(Oi−Ei)2Ei∑i=1n(Oi−Ei)2Ei\sum_{i=1}^n\frac{(O_i - E_i)^2}{E_i} Maka ini mendekati χ2n−1χn−12\chi_{n-1}^2 , Distribusi Chi-Squared dengan n−1n−1n-1 derajat kebebasan, karena ukuran sampel NNN semakin besar. Yang tidak saya mengerti adalah bagaimana perkiraan asimptotik ini bekerja. Saya merasa EiEiE_i di penyebutnya …

10 chi-squared  asymptotics 

Misalkan kita memiliki sampel acak dari distribusi normal bivariat yang memiliki nol sebagai mean dan varians, sehingga satu-satunya parameter yang tidak diketahui adalah kovarians. Apa MLE dari kovarian? Saya tahu itu harus seperti tapi bagaimana kita tahu ini?1n∑nj=1xjyj1n∑j=1nxjyj\frac{1}{n} \sum_{j=1}^{n}x_j y_j

10 normal-distribution  mathematical-statistics  maximum-likelihood  bivariate 

Saya mengerti bahwa jika saya memiliki dua model A dan B dan A bersarang di B maka, diberikan beberapa data, saya dapat menyesuaikan parameter A dan B menggunakan MLE dan menerapkan tes rasio kemungkinan log umum. Secara khusus, distribusi uji harus dengan n derajat kebebasan di mana n adalah perbedaan …

10 maximum-likelihood  model-selection  likelihood-ratio 

Bagging adalah proses menciptakan N pelajar pada N sampel bootstrap yang berbeda, kemudian mengambil rata-rata prediksi mereka. Pertanyaan saya adalah: Mengapa tidak menggunakan jenis sampling lainnya? Mengapa menggunakan sampel bootstrap?

10 bagging 

Saya mengalami kesulitan memahami bagaimana varImpfungsi ini bekerja untuk model randomForest dengan caretpaket. Pada contoh di bawah ini, fitur var3 sama pentingnya dengan varImpfungsi caret , tetapi model final randomForest yang mendasarinya memiliki kepentingan nol untuk fitur var3. Mengapa demikian? require(randomForest) require(caret) rf <- train(x, y, method = "rf", trControl …

10 r  caret  random-forest 

Saya telah memikirkan kembali jawaban yang saya berikan pada pertanyaan beberapa minggu yang lalu Hold-out cross-validation menghasilkan satu set tes yang dapat digunakan berulang kali untuk demonstrasi. Kita semua tampaknya setuju bahwa ini dalam banyak hal adalah fitur negatif, karena satu set keluar mungkin menjadi non-representatif melalui keacakan. Selain itu, …

10 cross-validation 

Saya telah membaca banyak tentang Dynamic Time Warping (DTW) belakangan ini. Saya sangat terkejut bahwa tidak ada literatur sama sekali tentang penerapan DTW ke seri waktu yang tidak teratur, atau setidaknya saya tidak dapat menemukannya. Adakah yang bisa memberi saya referensi ke sesuatu yang terkait dengan masalah itu, atau mungkin …

10 time-series  correlation  distance  unevenly-spaced-time-series 

Ketika melakukan analisis intervensi dengan data deret waktu (alias Rangkaian Waktu Terputus) seperti yang dibahas di sini misalnya, salah satu persyaratan yang saya miliki adalah memperkirakan total keuntungan (atau kerugian) akibat intervensi - yaitu jumlah unit yang diperoleh atau hilang (variabel Y ). Tidak sepenuhnya memahami bagaimana memperkirakan fungsi intervensi …

10 regression  time-series  intervention-analysis  dynamic-regression 

Jadi misalnya di sini adalah definisi yang saya dapatkan dari buku teks standar Variabel - karakteristik populasi atau sampel. ex. Harga suatu saham atau nilai pada suatu tes Data - nilai aktual yang diamati Jadi untuk laporan dua kolom [Nama | Penghasilan] nama kolom akan menjadi variabel dan nilai yang …

10 dataset  ordinal-data  categorical-data  ratio 

Saya bekerja dengan beberapa data dunia nyata dan model regresi menghasilkan beberapa hasil yang berlawanan dengan intuisi. Biasanya saya mempercayai statistik tetapi pada kenyataannya beberapa hal ini tidak benar. Masalah utama yang saya lihat adalah bahwa peningkatan dalam satu variabel menyebabkan peningkatan respons ketika, pada kenyataannya, mereka harus berkorelasi negatif. …

10 r  regression  regression-coefficients  computational-statistics 

Distribusi yang stabil tidak berubah-ubah berdasarkan konvolusi. Apa sub-keluarga dari distribusi stabil juga ditutup dengan perkalian? Dalam arti bahwa jika dan , maka fungsi kepadatan probabilitas produk, (hingga konstanta normalisasi) juga termasuk dalam ?f ∈ F g ∈ F f ⋅ g FFFFf∈Ff∈Ff\in Fg∈Fg∈Fg\in F f⋅gf⋅gf \cdot gFFF Catatan: Saya …

10 distributions  convolution  stable-distribution 

Sebuah koin yang adil dilemparkan sampai sebuah kepala muncul untuk pertama kalinya. Probabilitas ini terjadi pada jumlah undian ganjil? Bagaimana saya mendekati masalah ini?

10 probability