Statistik dan Big Data

Menurut halaman Wikipedia p-value : Ketika nilai-p dihitung dengan benar, tes ini menjamin bahwa tingkat kesalahan Tipe I paling banyak .αα\alpha Namun lebih jauh ke bawah halaman formula ini diberikan: Pr(RejectH|H)=Pr(p≤α|H)=αPr(RejectH|H)=Pr(p≤α|H)=α\Pr(\mathrm{Reject}\; H|H) = \Pr(p \leq \alpha|H) = \alpha Dengan asumsi 'tingkat kesalahan tipe 1' = Pr(RejectH|H)Pr(RejectH|H)\Pr(\mathrm{Reject}\; H|H) ini menunjukkan bahwa …

8 hypothesis-testing  p-value  type-i-and-ii-errors 

Saya sedikit bingung tentang formula untuk menghitung kovarian dalam proses Gaussian (penambahan varian selalu membingungkan saya karena tidak selalu dilambangkan secara eksplisit). Asal mula kebingungan adalah bahwa formula yang diberikan dalam Pengenalan Pola dan Pembelajaran Mesin oleh Bishop dan proses Gaussian untuk Pembelajaran Mesin oleh Rasmussen berbeda. Mean GP diberikan …

8 machine-learning  covariance  covariance-matrix  kernel-trick  gaussian-process 

Saya cukup bingung bagaimana saya bisa menghitung nilai AP atau mAP karena tampaknya ada beberapa metode yang berbeda. Saya secara khusus ingin mendapatkan nilai AP / mAP untuk deteksi objek. Yang saya tahu pasti adalah: Ingat = TP / (TP + FN), Presisi = TP / (TP + FP) Misalnya, …

8 machine-learning  precision-recall  model-evaluation  average-precision  object-detection 

Dalam melakukan analisis data eksplorasi, saya akan sering mencetak grafik dan menulis komentar / penjelasan dll. Apakah orang memiliki saran untuk metodologi elektronik yang lebih baik? Saya terutama tertarik pada python / R. Saya mencari sesuatu 'cepat (dan kotor)' yang tidak memperlambat pekerjaan eksplorasi, tetapi membantu memasukkan wawasan yang telah …

8 data-visualization  eda  project-management 

ahli! Mungkin, Anda tahu cara menghitung interval kepercayaan untuk xgboost? Formula klasik dengan t-distribusi tidak dapat membantu, karena data saya tidak terdistribusi secara normal. Atau tidak masalah? Jika Anda menyarankan beberapa literatur, itu akan sangat berguna, tetapi pendekatan dalam R dan Python (dalam konteks perpustakaan xgb) juga bagus. Mungkin terlihat …

8 confidence-interval  xgboost 

Saya ingin memperkirakan interval kepercayaan untuk deviasi standar untuk beberapa data. Kode R terlihat seperti berikut: library(boot) sd_boot <- function (x, ind) { res <- sd(x$ReadyChange[ind], na.rm = TRUE) return(res) } data_boot <- boot::boot(data, statistic = sd_boot, R = 10000) plot(data_boot) Dan saya punya plot selanjutnya: Saya terjebak dengan menafsirkan …

8 r  confidence-interval  standard-deviation  bootstrap 

Saya telah melihat pembenaran berikut untuk tes Wald dari hipotesis nol H0: θ =θ0H0:θ=θ0H_0: \theta = \theta_0 untuk parameter skalar θθ\theta. Kapanθ^nθ^n\hat{\theta}_n adalah MLE untuk θθ\theta Diperkirakan dari sampel ukuran independen nnn, di bawah hipotesis nol, kita memiliki dalam distribusi sebagai , di mana adalah informasi yang diharapkan untuk pengamatan …

8 hypothesis-testing  maximum-likelihood 

Secara umum, jika kita memiliki dataset besar, kita dapat membaginya menjadi (1) pelatihan, (2) validasi, dan (3) tes. Kami menggunakan validasi untuk mengidentifikasi hyperparameter terbaik dalam validasi silang (misalnya, C dalam SVM) dan kemudian kami melatih model menggunakan hyperparameter terbaik dengan set pelatihan dan menerapkan model yang terlatih untuk menguji …

8 machine-learning  cross-validation  scikit-learn  hyperparameter  optimization 

Baru dalam hal statistik dan pembelajaran mesin dan mengikuti kursus online. Saya mencoba memahami regresi logistik secara lebih rinci, dan memperhatikan perbedaan dalam rumus antara kursus Andrew Ng dan kursus pembelajaran statistik Stanford. Di bawah ini saya memposting gambar tautan ke kedua formula. Jadi pembilangnya berbeda. Saya harus kehilangan smthg …

8 regression  machine-learning  logistic 

Saya melakukan laso dan kemudian meninggalkan validasi silang keluar-keluar cv<-cv.glmnet(df, df$Price, nfolds = 1500) Ketika saya merencanakan cv saya mendapatkan yang berikut: Saya juga memperhatikan bahwa saya mendapatkan 2 lambda berbeda: lambda.mindanlambda.1se Apa perbedaan antara lambda ini? Apa yang bisa saya pahami dari plot di atas secara umum (apa interval …

8 r  cross-validation  interpretation  lasso 

Saya mengerti bahwa penginderaan terkompresi menemukan solusi yang paling jarang y=Axy=Axy = Ax dimana x∈RDx∈RDx \in \mathbb{R}^D, A∈Rk×DA∈Rk×DA \in \mathbb{R}^{k \times D}, dan y∈Rky∈Rky \in \mathbb{R}^{k}, k&lt;&lt;Dk&lt;&lt;Dk << D. Dengan cara ini kita dapat merekonstruksi xxx (asli) menggunakan yyy(Kompresi), cukup cepat. Kami mengatakan ituxxxadalah solusi paling jarang. Sparsity dapat dipahami …

8 lasso  sparse 

Mari kita mulai dengan asumsi bahwa saya memiliki data cross-sectional pada , , (lihat di bawah untuk , , ).yyyx1x1x_1x2x2x_2yyyx1x1x_1x2x2x_2 Saya ingin memperkirakan pengaruh variabel dan dan interaksinya ( ) pada variabel menggunakan pendekatan fungsi kontrol, dan sangat mungkin dan bersifat endogen. Saya punya dua instrumen, dan . Saya memperkirakan …

8 econometrics  bootstrap  instrumental-variables  resampling  errors-in-variables 

Apa yang akan menjadi distribusi persamaan berikut: y=a2+2ad+d2y=a2+2ad+d2y = a^2 + 2ad + d^2 dimana aaa dan ddd adalah variabel acak independen non-sentral dengan 2M2M2 \textbf{M} derajat kebebasan. OBS .: rv menghasilkan keduanya aaa dan ddd memiliki μ=0μ=0\mu = 0 dan σ2≠1σ2≠1\sigma^2 \neq 1, Katakanlah σ2=cσ2=c\sigma^2 = c.

8 distributions  chi-squared  pdf 

Dalam pembelajaran penguatan, tujuan kami adalah untuk mengoptimalkan fungsi nilai-negara atau fungsi-nilai tindakan, yang didefinisikan sebagai berikut: Vπs=∑p(s′|s,π(s))[r(s′|s,π(s))+γVπ(s′)]=Eπ[r(s′|s,a)+γVπ(s′)|s0=s]Vsπ=∑p(s′|s,π(s))[r(s′|s,π(s))+γVπ(s′)]=Eπ[r(s′|s,a)+γVπ(s′)|s0=s]V^{\pi}_s = \sum p(s'|s,\pi(s))[r(s'|s,\pi(s))+\gamma V^{\pi}(s')]=E_{\pi}[r(s'|s,a)+\gamma V^{\pi}(s')|s_0=s] Qπ(s,a)=∑p(s′|s,s)[r(s′|s,a)+γVπ(s′)]=Eπ[r(s′|s,a)+γVπ(s′)|s0=s,a0=a]Qπ(s,a)=∑p(s′|s,s)[r(s′|s,a)+γVπ(s′)]=Eπ[r(s′|s,a)+γVπ(s′)|s0=s,a0=a]Q^{\pi}(s,a) = \sum p(s'|s,s)[r(s'|s,a)+\gamma V^{\pi}(s')]=E_{\pi}[r(s'|s,a)+\gamma V^{\pi}(s')|s_0=s,a_0=a] Namun, ketika kami menggunakan metode pembelajaran Q untuk mendapatkan strategi yang optimal, metode pembaruannya seperti berikut: Q(S,A)← Q(S,A)+α[R+γmaxa(Q(s′,a))−Q(S,A)]Q(S,A)← Q(S,A)+α[R+γmaxa(Q(s′,a))−Q(S,A)]Q(S,A) \leftarrow \ …

8 reinforcement-learning  q-learning 

Nature menerbitkan makalah berikut tahun ini: Bukti untuk batas umur manusia 1 , di mana penulis berpendapat "hasil mereka sangat menunjukkan bahwa umur manusia maksimum adalah tetap dan tunduk pada kendala alam." Salah satu analisis statistik makalah ini telah digeser di beberapa situs, termasuk artikel Nature salah tentang batas umur …

8 regression  segmented-regression