Statistik dan Big Data

Saya tidak memiliki contoh atau tugas tertentu dalam pikiran. Saya baru menggunakan b-splines dan saya ingin mendapatkan pemahaman yang lebih baik tentang fungsi ini dalam konteks regresi. Mari kita asumsikan bahwa kita ingin menilai hubungan antara variabel respon dan beberapa prediktor x 1 , x 2 , . . . …

10 regression  multiple-regression  splines  polynomial  penalized 

Ini dikutip sangat sering ketika menyebutkan kutukan dimensi dan pergi (rumus kanan disebut kontras relatif) limd→∞var(||Xd||kE[||Xd||k])=0,then:Dmaxkd−DminkdDminkd→0limd→∞var(||Xd||kE[||Xd||k])=0,then:Dmaxdk−DmindkDmindk→0 \lim_{d\rightarrow \infty} \text{var} \left(\frac{||X_d||_k}{E[||X_d||_k]} \right) = 0, \text{then}: \frac{D_{\max^{k}_{d}} - D_{\min^{k}_{d}}}{D_{\min^{k}_{d}}} \rightarrow 0 Hasil teorema menunjukkan bahwa perbedaan antara jarak maksimum dan minimum ke titik kueri yang diberikan tidak meningkat secepat jarak terdekat ke …

10 machine-learning  distance-functions  high-dimensional 

Teorema Pitman-Koopman-Darmois mengatakan bahwa jika sampel awal dari keluarga parametrized distribusi probabilitas menerima statistik yang cukup yang jumlah komponen skalar tidak tumbuh dengan ukuran sampel, maka itu adalah keluarga eksponensial. Apakah ada buku teks atau makalah ekspositori dasar yang memberikan bukti? Mengapa dinamai setelah tiga orang itu?

10 mathematical-statistics  references 

Saya tertarik pada kondisi terkini untuk memilih benih awal (pusat cluster) untuk K-means. Googling mengarah ke dua pilihan populer: pemilihan awal benih secara acak, dan, menggunakan teknik pemilihan KMeans ++: Arthur & Vassilvitskii 2006 k-means ++: Keuntungan Pembibitan Hati-Hati Apakah ada metode lain yang menjanjikan yang diketahui oleh siapa pun …

10 clustering  k-means 

Penyederhanaan yang sering dilakukan dalam pemodelan dan simulasi adalah mengganti variabel acak dengan nilai rata-rata. Kapan penyederhanaan ini mengarah pada kesimpulan yang salah?

10 modeling  mean  random-variable 

Saya sedang mengerjakan makalah Cho 2014 yang memperkenalkan arsitektur encoder-decoder untuk pemodelan seq2seq. Dalam makalah, mereka tampaknya menggunakan probabilitas input yang diberikan output (atau kemungkinan negatif-log) sebagai fungsi kerugian untuk input panjang dan output panjang :xxxMMMyyyNNN P(y1,…,yN|x1,…,xM)=P(y1|x1,…,xm)P(y2|y1,x1,…,xm)…P(yN|y1,…,yN−1,x1,…,xm)P(y1,…,yN|x1,…,xM)=P(y1|x1,…,xm)P(y2|y1,x1,…,xm)…P(yN|y1,…,yN−1,x1,…,xm)P(y_1, …, y_N | x_1, …, x_M) = P(y_1 | x_1, …, x_m) P(y_2 …

10 deep-learning  loss-functions  rnn 

Asumsikan kita memiliki 3 variabel acak , dan kita tahu distribusi marginal berpasangan P ( X 1 , X 2 ) , P ( X 2 , X 3 ) , P ( X 3 , X 1 ) , tetapi kita tidak tahu apa-apa lagi (seperti kemerdekaan bersyarat). Bisakah …

10 probability  distributions 

Apa nama operator yang mengambil vektor kategorikal dan mengubahnya menjadi representasi biner menggunakan pengkodean satu-panas? Saya bertanya-tanya karena saya sedang menulis makalah ilmiah dan perlu nama yang tepat untuk itu.

10 terminology  categorical-encoding 

Biarkan menjadi variabel standar normal acak independen. Ada banyak bukti (panjang) di luar sana, yang menunjukkan hal ituZ1, ⋯ , ZnZ1,⋯,ZnZ_1,\cdots,Z_n ∑i=1n(Zi−1n∑j=1nZj)2∼χ2n−1∑saya=1n(Zsaya-1n∑j=1nZj)2∼χn-12 \sum_{i=1}^n \left(Z_i - \frac{1}{n}\sum_{j=1}^n Z_j \right)^2 \sim \chi^2_{n-1} Banyak bukti yang cukup panjang dan beberapa di antaranya menggunakan induksi (misalnya Casella Statistics Inference). Saya bertanya-tanya apakah ada bukti …

10 mathematical-statistics  sampling 

Berikut ini adalah pertanyaan tentang banyak visualisasi yang ditawarkan sebagai 'bukti oleh gambar' tentang keberadaan paradoks Simpson, dan mungkin pertanyaan tentang terminologi. Paradox Simpson adalah fenomena yang cukup sederhana untuk menggambarkan dan memberikan contoh numerik (alasan mengapa ini bisa terjadi adalah dalam dan menarik). Paradoksnya adalah bahwa terdapat tabel kontingensi …

10 mathematical-statistics  data-visualization  causality  contingency-tables  simpsons-paradox 

Dalam beberapa jawaban saya telah melihat pengguna CrossValidated menyarankan OP menemukan makalah awal tentang Lasso, Ridge, dan Elastic Net. Untuk anak cucu, apa saja karya mani di Lasso, Ridge, dan Elastic Net?

10 references  lasso  regularization  ridge-regression  elastic-net 

Saya sedang bereksperimen dengan hubungan antara kesalahan dan residu menggunakan beberapa simulasi sederhana dalam R. Satu hal yang saya temukan adalah bahwa, terlepas dari ukuran sampel atau varians kesalahan, saya selalu mendapatkan tepat untuk lereng ketika Anda cocok dengan model111 e r r o r s ∼ β0+ β1× r …

10 regression  least-squares  residuals 

Jika saya memiliki matriks desain , di mana adalah jumlah pengamatan dimensi , apa kompleksitas penyelesaian untuk dengan LASSO, wrt dan ? Saya pikir jawabannya harus merujuk pada bagaimana satu iterasi LASSO skala dengan parameter ini, daripada bagaimana jumlah iterasi (konvergensi) skala, kecuali Anda merasa sebaliknya.X∈Rn×dX∈Rn×dX\in\mathcal{R}^{n\times d}nnndddβ^=argminβ12n||Xβ−y||2+λ||β||1β^=argminβ12n||Xβ−y||2+λ||β||1\hat{\beta}=\text{argmin}_{\beta}\frac{1}{2n} ||X\beta-y||^{2} + \lambda||\beta||_{1}nnnddd …

10 optimization  lasso  regularization  time-complexity 

Saya menghadapi pertanyaan wawancara untuk pekerjaan di mana pewawancara bertanya kepada saya kira sangat rendah (antara 5 hingga 10%) untuk model elastisitas harga. Bagaimana Anda memecahkan pertanyaan ini?R2R2R^2 Saya tidak bisa memikirkan hal lain selain fakta bahwa saya akan melakukan diagnosa regresi untuk melihat apa yang salah atau jika ada …

10 regression  self-study  theory 

Mengapa saya mendapatkan prediksi berbeda untuk ekspansi polinomial manual dan menggunakan polyfungsi R ? set.seed(0) x <- rnorm(10) y <- runif(10) plot(x,y,ylim=c(-0.5,1.5)) grid() # xp is a grid variable for ploting xp <- seq(-3,3,by=0.01) x_exp <- data.frame(f1=x,f2=x^2) fit <- lm(y~.-1,data=x_exp) xp_exp <- data.frame(f1=xp,f2=xp^2) yp <- predict(fit,xp_exp) lines(xp,yp) # using poly …

10 r  regression  polynomial