Statistik dan Big Data

Saya memahami koefisien dari persamaan logistik dapat diartikan sebagai rasio ganjil. Jika istilah regularisasi ditambahkan untuk mengontrol over-fitting, bagaimana hal ini mengubah interpretasi koefisien?

8 logistic  interpretation  regression-coefficients  regularization  odds-ratio 

Mengapa ukuran dispersi dihitung relatif terhadap beberapa titik pusat? Mengapa, misalnya, tidak semua perbedaan yang mungkin tidak berulang, berpasangan dalam dataset menjadi ukuran penyebaran yang valid?

8 dataset  standard-deviation  theory  variability 

Data saya terdiri dari beberapa pengukuran kontinu dan beberapa variabel dummy mewakili tahun pengukuran telah dilakukan. Sekarang, saya ingin belajar jaringan saraf dengan data. Karena itu, saya zScore-menormalkan semua variabel, termasuk variabel dummy. Namun, saya bertanya-tanya apakah ini merupakan pendekatan yang masuk akal, karena normalisasi variabel dummy mengubah rentang mereka, …

8 categorical-data  normalization 

Diberikan bingkai data berikut: df <- data.frame(x1 = c(26, 28, 19, 27, 23, 31, 22, 1, 2, 1, 1, 1), x2 = c(5, 5, 7, 5, 7, 4, 2, 0, 0, 0, 0, 1), x3 = c(8, 6, 5, 7, 5, 9, 5, 1, 0, 1, 0, 1), x4 = …

8 r  correlation  hierarchical-clustering 

Pertanyaan ini sudah memiliki jawaban di sini : Apakah model saya bagus, berdasarkan nilai metrik diagnostik ( / AUC / akurasi / RMSE dll.)? R2R2R^2 (3 jawaban) Ditutup 8 bulan lalu . Saya memiliki data pembelajaran yang terdiri dari ~ 45 ribu sampel, masing-masing memiliki 21 fitur. Saya mencoba untuk …

8 classification  random-forest  out-of-sample 

Ini adalah pertanyaan yang cukup umum: anggap saya ingin membangun model untuk memprediksi pengamatan berikutnya berdasarkan sebelumnya NNN pengamatan (NNNdapat menjadi parameter untuk mengoptimalkan secara eksperimental). Jadi pada dasarnya kami memiliki jendela geser fitur input untuk memprediksi pengamatan selanjutnya. Saya dapat menggunakan pendekatan Model Hidden Markov, yaitu Baum-Welch untuk memperkirakan …

8 regression  time-series  modeling  prediction  hidden-markov-model 

Saya mengerti model AR (p): inputnya adalah deret waktu yang dimodelkan. Saya benar-benar terjebak ketika membaca tentang model MA (q): inputnya adalah inovasi atau kejutan acak seperti yang sering dirumuskan. Masalahnya adalah saya tidak bisa membayangkan bagaimana mendapatkan komponen inovasi yang tidak memiliki model seri waktu (sempurna) yang sudah ada …

8 time-series  arima  linear-model  intuition 

Buku Kevin Murphy membahas masalah Hierarchical Bayesian klasik (awalnya dibahas dalam Johnson and Albert, 1999, p24): Misalkan kita mencoba memperkirakan tingkat kanker di NNNkota. Di setiap kota, kami mencicipi sejumlah individuNiNiN_i dan mengukur jumlah penderita kanker xi∼Bin(Ni,θi)xi∼Bin(Ni,θi)x_i \sim \text{Bin}(N_i, \theta_i)dimana θiθi\theta_i adalah tingkat kanker sejati di kota. Kami ingin memperkirakan …

8 bayesian  hierarchical-bayesian  pymc  probabilistic-programming 

Misalkan saya memiliki fungsi seperti: f <- function(x){ exp(x) / (1 + exp(x)) } itu seharusnya bekerja untuk setiap nilai nyata x, tetapi sebenarnya mengembalikan NaN ketika x adalah 710 atau lebih besar. Saya bertanya-tanya apa cara yang tepat untuk menangani masalah ini. Saya menyadari mudah untuk membuatnya hanya mengembalikan …

8 r  function  numerics 

Saya sedikit pemula dalam R dan pemilihan fitur, dan telah mencoba paket Boruta untuk memilih (mengurangi) jumlah variabel saya (n = 40). Saya berpikir bahwa metode ini juga memperhitungkan kemungkinan korelasi antar variabel, namun, dua (dari 20 variabel yang dipilih) sangat berkorelasi, dan dua lainnya sepenuhnya berkorelasi. Apakah ini normal? …

8 r  feature-selection  random-forest  boruta 

Membiarkan E( h )E(h)\mathcal{E(h)} sebuah fungsi yang diberi beberapa hipotesis hhh mengembalikan kesalahan generalisasi untuk perbaikan itu hhh. Saya membaca beberapa catatan tentang pemilihan model dan kesalahan generalisasi dan dikatakan: "Jika kita memiliki akses ke E( h )E(h)\mathcal{E(h)}, tidak akan ada masalah pemilihan model juga. Kami hanya akan memilih gambut …

8 machine-learning  model 

Berasal dari latar belakang ilmu sosial dan epidemiologi, rekan kerja saya dilatih tentang regresi kuadrat terkecil, regresi logistik, dan analisis kelangsungan hidup. Mereka suka melihat interval kepercayaan 95% dan nilai-p dengan koefisien parameter, dan tidak mempercayai alat prediktif yang lebih terkini seperti jaringan saraf, CART, bagging & boosting, serta teknik …

8 predictive-models  epidemiology  teaching  social-science 

Saya mengalami kesulitan dengan Kemungkinan . Saya mengerti Teorema Bayes p(A|B,H)=p(B|A,H)p(A|H)p(B|H)p(A|B,H)=p(B|A,H)p(A|H)p(B|H)p(A|B, \mathcal{H}) = \frac{p(B|A, \mathcal{H}) p(A|\mathcal{H})}{p(B|\mathcal{H})} yang dapat disimpulkan secara langsung dari penerapan . Jadi dalam interpretasi saya, fungsi dalam Bayes Theorem entah bagaimana semuanya kemungkinan, baik marjinal atau bersyarat. Jadi saya benar-benar berpikir bahwa kemungkinan sebagai konsep lebih merupakan …

8 probability  likelihood 

Apakah Anda kenal Bradley Efron ? Dia pria yang hebat. Bagaimana Efron membayangkan atau berpikir tentang "bootstrap" untuk pertama kalinya?

8 bootstrap  history 

Saya telah bermain-main dengan regresi logistik dengan berbagai algoritma optimasi batch (gradien konjugat, newton-raphson, dan berbagai metode quasinewton). Satu hal yang saya perhatikan adalah bahwa kadang-kadang, menambahkan lebih banyak data ke model sebenarnya dapat membuat pelatihan model membutuhkan waktu lebih sedikit. Setiap iterasi membutuhkan melihat lebih banyak titik data, tetapi …

8 logistic  references  optimization