Statistik dan Big Data

RMSE (Root mean square error) dan SD (Standar deviasi) memiliki rumus yang sama. Tautan ini mengatakan Satu-satunya perbedaan adalah bahwa Anda membaginya dengan dan bukan karena Anda tidak mengurangi mean sampel di sini. RMSE kemudian akan sesuai dengan . Oleh karena itu, populasi RMSE adalah dan Anda menginginkan CI untuk …

12 standard-deviation  rms 

Saya cukup baru dalam Pembelajaran Mesin / Pemodelan dan saya ingin latar belakang untuk masalah ini. Saya memiliki dataset di mana jumlah pengamatan adalah namun jumlah variabel adalah . Pertama apakah masuk akal untuk mempertimbangkan membangun model pada dataset seperti ini atau haruskah seseorang mempertimbangkan teknik pemilihan variabel untuk memulai …

12 regression  machine-learning  dimensionality-reduction  penalized 

Saya menerapkan PCA, LDA, dan Naif Bayes, masing-masing untuk kompresi dan klasifikasi (menerapkan LDA untuk kompresi dan klasifikasi). Saya memiliki kode yang ditulis dan semuanya berfungsi. Apa yang perlu saya ketahui, untuk laporan ini, adalah apa definisi umum kesalahan rekonstruksi . Saya dapat menemukan banyak matematika, dan menggunakannya dalam literatur …

12 machine-learning  pca  terminology  dimensionality-reduction  discriminant-analysis 

Saya tahu bahwa distribusi varians sampel Dari fakta bahwa dapat diekspresikan dalam bentuk matriks, (di mana A: simetris), dan itu bisa lagi diekspresikan dalam: (di mana Q: ortonormal, D: matriks diagonal). ∑(Xsaya-X¯)2σ2∼χ2( n - 1 )∑(Xi−X¯)2σ2∼χ(n−1)2 \sum\frac{(X_i-\bar{X})^2}{\sigma^2}\sim \chi^2_{(n-1)} ∑(Xi−X¯)2n−1∼σ2n−1χ2(n−1)∑(Xi−X¯)2n−1∼σ2n−1χ(n−1)2 \sum\frac{(X_i-\bar{X})^2}{n-1}\sim \frac{\sigma^2}{n-1}\chi^2_{(n-1)} (X−X¯)2(X−X¯)2(X-\bar{X})^2xAx′xAx′xAx'x′QDQ′xx′QDQ′xx'QDQ'x Bagaimana dengan , dengan asumsi ? ∑(Yi−β^0−β^1Xi)2∑(Yi−β^0−β^1Xi)2\sum(Y_i-\hat{\beta}_0-\hat{\beta}_1X_i)^2(Y−β0−β1X)∼N(0,σ2)(Y−β0−β1X)∼N(0,σ2)(Y - …

12 regression  mathematical-statistics  degrees-of-freedom  sums-of-squares 

Saya sedang melakukan model eliminasi mundur berbasis AIC sederhana di mana beberapa variabel adalah variabel kategori dengan beberapa level. Variabel-variabel ini dimodelkan sebagai seperangkat variabel dummy. Ketika melakukan eliminasi mundur, haruskah saya menghapus semua level variabel secara bersamaan? Atau haruskah saya memperlakukan setiap variabel dummy secara terpisah? Dan mengapa? Sebagai …

12 model-selection 

Sudah cukup lama diketahui bahwa usia termuda di mana pemain catur berhasil lolos ke gelar grandmaster telah menurun secara signifikan sejak 1950-an, dan saat ini ada hampir 30 pemain yang menjadi grandmaster sebelum ulang tahun ke 15 mereka . Namun, ada pertanyaan di Chess Stack Exchange yang menanyakan, Berapa usia …

11 survival  bias  population  censoring  subset 

Saya ingin menggunakan pembelajaran mendalam untuk melatih deteksi biner wajah / non-wajah, kerugian apa yang harus saya gunakan, saya pikir itu adalah SigmoidCrossEntropyLoss atau Hinge-loss . Apakah itu benar, tetapi saya juga bertanya-tanya apakah saya harus menggunakan softmax tetapi hanya dengan dua kelas?

11 deep-learning  loss-functions  computer-vision  conv-neural-network 

Kami telah mengukur dua variabel, dan scatterplot tampaknya menyarankan beberapa model "linear". Apakah ada cara untuk mencoba menyaring model-model itu? Mengidentifikasi variabel independen lain ternyata sulit. Kedua variabel sangat condong ke kiri (menuju angka kecil), ini merupakan distribusi yang diharapkan dalam domain kami. Intensitas titik mewakili jumlah titik data (pada …

11 linear-model  scatterplot 

Dokumentasi R untuk keduanya tidak menjelaskan banyak hal. Semua yang bisa saya dapatkan dari tautan ini adalah bahwa menggunakan salah satu dari keduanya harus baik-baik saja. Yang tidak saya dapatkan adalah mengapa mereka tidak sama. Fakta: Fungsi regresi bertahap di R, step()menggunakan extractAIC(). Menariknya, menjalankan lm()model dan model glm()'null' (hanya …

11 r  regression  aic  stepwise-regression 

Saya mencoba memperkirakan regresi linier berganda dalam R dengan persamaan seperti ini: regr <- lm(rate ~ constant + askings + questions + 0) pertanyaan dan pertanyaan adalah seri waktu data triwulanan, dibangun bersama askings <- ts(...). Masalahnya sekarang adalah bahwa saya mendapat residu autokorelasi. Saya tahu bahwa adalah mungkin untuk …

11 r  time-series  multiple-regression  autocorrelation  residuals 

Definisi parameter dan statistik cukup setuju: parameter dan statistik adalah karakteristik numerik atau ringkasan numerik dari populasi dan sampel, masing-masing, untuk studi tertentu. Saya tidak berpikir ini adalah penggunaan umum, tetapi ... Bisakah ukuran populasi NNN dianggap sebagai parameter? Bisakah ukuran sampel nnn dianggap sebagai statistik? Bagaimanapun, ukuran populasi atau …

11 terminology  definition 

Saya sekarang membaca catatan tentang Biostatistik yang ditulis oleh PMT Education, dan perhatikan kalimat-kalimat berikut di Bagian 2.7: Seorang bayi yang lahir pada persentil ke-50 untuk massa lebih berat dari 50% bayi. Bayi yang lahir pada persentil ke-25 untuk massa lebih berat dari 75% bayi. Seorang bayi yang lahir pada …

11 mathematical-statistics  quantiles  definition 

Ketika kita menghitung standard error dari koefisien regresi, kita tidak memperhitungkan keacakan dalam desain matriks XXX . Dalam OLS misalnya, kita menghitung var(β^)var(β^)\text{var}(\hat{\beta}) sebagai var((XTX)−1XTY)=σ2(XTX)−1var((XTX)-1XTY)=σ2(XTX)-1\text{var}((X^TX)^{-1}X^TY) = \sigma^2(X^TX)^{-1} Jika XXX dianggap acak, hukum varians total akan, dalam arti tertentu, menuntut kontribusi tambahan dari varian XXX juga. yaitu var(β^)=var(E(β^|X))+E(var(β^|X)).var(β^)=var(E(β^|X))+E(var(β^|X)).\text{var}(\hat{\beta}) = \text{var}(E(\hat{\beta}|X)) + …

11 regression  probability  variance  inference 

Saya mencoba memahami Bayes Factor (BF). Saya percaya mereka seperti rasio kemungkinan dari 2 hipotesis. Jadi, jika BF 5, itu berarti H1 5 kali lebih mungkin daripada H0. Dan nilai 3-10 menunjukkan bukti sedang, sedangkan> 10 menunjukkan bukti kuat. Namun, untuk nilai-P, 0,05 tradisional dianggap sebagai cut-off. Pada nilai P …

11 hypothesis-testing  bayesian  p-value  bayes-factors 

Dalam buku Goodfellow (2016) tentang pembelajaran yang mendalam, ia berbicara tentang kesetaraan dari berhenti dini untuk regularisasi L2 ( https://www.deeplearningbook.org/contents/regularization.html halaman 247). Perkiraan kuadrat dari fungsi biaya jjj diberikan oleh: J^(θ)=J(w∗)+12(w−w∗)TH(w−w∗)J^(θ)=J(w∗)+12(w−w∗)TH(w−w∗)\hat{J}(\theta)=J(w^*)+\frac{1}{2}(w-w^*)^TH(w-w^*) HHHf(w+ϵ)=f(w)+f′(w)⋅ϵ+12f′′(w)⋅ϵ2f(w+ϵ)=f(w)+f′(w)⋅ϵ+12f″(w)⋅ϵ2f(w+\epsilon)=f(w)+f'(w)\cdot\epsilon+\frac{1}{2}f''(w)\cdot\epsilon^2

11 neural-networks  deep-learning  loss-functions  derivative