Statistik dan Big Data

Saya belum menemukan jawaban yang memuaskan untuk ini dari google . Tentu saja jika data yang saya miliki adalah urutan jutaan maka pembelajaran mendalam adalah caranya. Dan saya telah membaca bahwa ketika saya tidak memiliki data besar maka mungkin lebih baik menggunakan metode lain dalam pembelajaran mesin. Alasan yang diberikan …

15 regression  machine-learning  classification  neural-networks  deep-learning 

Saya telah membaca buku-buku paling populer dalam pembelajaran statistik 1- Unsur-unsur pembelajaran statistik. 2- Pengantar pembelajaran statistik . Keduanya menyebutkan bahwa regresi ridge memiliki dua formula yang setara. Apakah ada bukti matematis yang dapat dimengerti dari hasil ini? Saya juga melewati Cross Validated , tetapi saya tidak dapat menemukan bukti …

15 regression  lasso  regularization  ridge-regression  lagrange-multipliers 

Pertanyaan: Apa perbedaan utama dan persamaan antara menggunakan kesalahan standar Newey-West (1987) dan Hansen-Hodrick (1980)? Dalam situasi apa salah satu dari ini lebih disukai daripada yang lain? Catatan: Saya tahu bagaimana masing-masing prosedur penyesuaian ini bekerja; namun, saya belum menemukan dokumen apa pun yang akan membandingkannya, baik online atau di …

15 regression  autocorrelation  heteroscedasticity  robust-standard-error  neweywest 

Saya mencoba mempelajari cara menggunakan Neural Networks. Saya sedang membaca tutorial ini . Setelah memasang Neural Network pada Time Series menggunakan nilai pada untuk memprediksi nilai pada t + 1 penulis memperoleh plot berikut, di mana garis biru adalah seri waktu, hijau adalah prediksi pada data kereta, merah adalah prediksi …

15 time-series  neural-networks  predictive-models  deep-learning  prediction 

Pertanyaan Apakah itu tergantung pada apakah pohon itu dangkal atau dalam? Atau dapatkah kita mengatakan ini terlepas dari kedalaman / level pohon? Mengapa bias rendah & varians tinggi? Tolong jelaskan secara intuitif dan matematis

15 machine-learning  variance  covariance  cart  bias 

Saat menjalankan ANOVA kami diberitahu bahwa asumsi tertentu dari tes harus ada agar dapat diterapkan pada data. Saya tidak pernah mengerti alasan mengapa asumsi berikut diperlukan agar tes berfungsi: Varian dari variabel dependen Anda (residual) harus sama di setiap sel desain Variabel dependen Anda (residu) harus kira-kira terdistribusi secara normal …

15 hypothesis-testing  anova  assumptions 

Nilai yang diharapkan dari distribusi adalah rata-rata, yaitu nilai rata-rata tertimbang E [ x ] = ∫ + ∞ - ∞ xf(x)f(x)f(x)E[x]=∫+∞−∞xf(x)dxE[x]=∫−∞+∞xf(x)dxE[x]=\int_{-\infty}^{+\infty} x \, \, f(x) dx Nilai yang paling mungkin adalah mode, itu adalah nilai yang paling mungkin. Namun apakah kita berharap untuk melihat berkali-kali? Mengutip dari sini :E[x]E[x]E[x] …

15 probability  distributions  chi-squared  expected-value  mode 

Pada titik mana kita mulai mengklasifikasikan jaringan saraf berlapis ganda sebagai jaringan saraf dalam atau dengan kata lain 'Berapa jumlah minimum lapisan dalam jaringan saraf dalam?'

15 machine-learning  neural-networks  deep-learning  terminology 

Dalam regresi linear (kerugian kuadrat), menggunakan matriks kami memiliki notasi yang sangat ringkas untuk tujuan minimize ∥Ax−b∥2minimize ‖Ax−b‖2\text{minimize}~~ \|Ax-b\|^2 Di mana adalah matriks data, adalah koefisien, dan adalah respons.x bAAAxxxbbb Apakah ada notasi matriks yang serupa untuk tujuan regresi logistik? Semua notasi yang saya lihat tidak dapat menghilangkan jumlah atas …

15 regression  logistic  linear-model  notation 

Saya mencoba memahami perbedaan mendasar antara regresi bertahap dan mundur dalam R menggunakan fungsi langkah. Untuk regresi bertahap saya menggunakan perintah berikut step(lm(mpg~wt+drat+disp+qsec,data=mtcars),direction="both") Saya mendapat output di bawah ini untuk kode di atas. Untuk pemilihan variabel mundur saya menggunakan perintah berikut step(lm(mpg~wt+drat+disp+qsec,data=mtcars),direction="backward") Dan saya mendapat output di bawah ini untuk …

15 r  regression 

Asumsi dasar menggunakan model regresi untuk inferensi adalah bahwa "semua prediktor yang relevan" telah dimasukkan dalam persamaan prediksi. Alasannya adalah bahwa kegagalan untuk memasukkan faktor dunia nyata yang penting mengarah pada koefisien bias dan dengan demikian kesimpulan yang tidak akurat (yaitu, bias variabel dihilangkan). Tetapi dalam praktik penelitian, saya belum …

15 regression  assumptions  bias  predictor  confounding 

Dalam bab 9 buku Pengenalan pola dan pembelajaran mesin, ada bagian ini tentang model campuran Gaussian: Sejujurnya saya tidak begitu mengerti mengapa ini akan menciptakan singularitas. Adakah yang bisa menjelaskan hal ini kepada saya? Maaf, saya hanya sarjana dan pemula dalam pembelajaran mesin, jadi pertanyaan saya mungkin terdengar sedikit konyol, …

15 gaussian-mixture 

Saya mencoba untuk menduplikasi hasil dari sklearnperpustakaan regresi logistik menggunakan glmnetpaket di R. sklearnminw,c12wTw+C∑i=1Nlog(exp(−yi(XTiw+c))+1)minw,c12wTw+C∑i=1Nlog⁡(exp⁡(-ysaya(XsayaTw+c))+1)\min_{w,c} \frac12 w^Tw + C\sum_{i=1}^N \log(\exp(-y_i(X_i^Tw+c)) + 1) Dari sketsa dari glmnet, pelaksanaannya meminimalkan biaya yang sedikit berbeda fungsi minβ,β0- [ 1N∑i =1Nysaya(β0+xTsayaβ) - log( 1 + e( β0+ xTsayaβ)) ] + λ [ ( α - …

15 r  logistic  python  scikit-learn  glmnet 

Saya bertanya-tanya apa kriteria untuk menggunakan Kolmogorov-Smirnov, Cramer-von-Mises, dan Anderson-Darling ketika membandingkan 2 ECDFS. Saya tahu matematika tentang bagaimana masing-masing berbeda, tetapi jika saya memiliki beberapa data ECDF, bagaimana saya tahu tes mana yang sesuai untuk digunakan?

15 kolmogorov-smirnov  anderson-darling  two-sample 

Saya seorang insinyur perangkat lunak yang sedang mengerjakan pembelajaran mesin. Dari pemahaman saya, regresi linier (seperti OLS) dan klasifikasi linier (seperti regresi logistik dan SVM) membuat prediksi berdasarkan produk dalam antara koefisien terlatih dan variabel fitur → x :w⃗ w→\vec{w}x⃗ x→\vec{x} y^= f( b⃗ ⋅ x⃗ ) = f( ∑sayawsayaxsaya)y^=f(w→⋅x→)=f(∑sayawsayaxsaya) …

15 regression  machine-learning  classification  feature-selection  linear-model