Pertanyaan yang diberi tag «least-squares»

Mengacu pada teknik estimasi umum yang memilih nilai parameter untuk meminimalkan perbedaan kuadrat antara dua kuantitas, seperti nilai yang diamati dari suatu variabel, dan nilai yang diharapkan dari pengamatan yang dikondisikan pada nilai parameter. Model linear Gaussian cocok dengan kuadrat terkecil dan kuadrat terkecil adalah ide yang mendasari penggunaan mean-squared-error (MSE) sebagai cara mengevaluasi estimator.

3
Mengapa estimasi ridge menjadi lebih baik daripada OLS dengan menambahkan konstanta pada diagonal?
Saya mengerti bahwa estimasi regresi ridge adalah yang meminimalkan jumlah sisa kuadrat dan penalti pada ukuranββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] Namun, saya tidak sepenuhnya memahami pentingnya fakta bahwa βridgeβridge\beta_\text{ridge} berbeda dari βOLSβOLS\beta_\text{OLS} dengan hanya menambahkan konstanta kecil ke diagonal X′XX′XX'X . Memang, …
3
Berarti kesalahan absolut ATAU root berarti kesalahan kuadrat?
Mengapa menggunakan Root Mean Squared Error (RMSE) alih-alih Mean Absolute Error (MAE) ?? Hai Saya telah menyelidiki kesalahan yang dihasilkan dalam perhitungan - Saya awalnya menghitung kesalahan sebagai Root Mean Normalized Squared Error. Melihat sedikit lebih dekat, saya melihat efek kuadrat kesalahan memberikan bobot lebih besar untuk kesalahan yang lebih …
59 least-squares  mean  rms  mae 
3
Dari mana datangnya kesalahpahaman bahwa Y harus didistribusikan secara normal?
Tampaknya sumber yang memiliki reputasi baik menyatakan bahwa variabel dependen harus didistribusikan secara normal: Asumsi model: terdistribusi secara normal, kesalahan terdistribusi normal, , dan independen, dan diperbaiki, dan varians konstan .e i ∼ N ( 0 , σ 2 ) X σ 2YYYei∼N(0,σ2)ei∼N(0,σ2)e_i \sim N(0,\sigma^2)XXXσ2σ2\sigma^2 Penn State, STAT 504 Analisis …
4
Mengapa fungsi sigmoid bukan yang lain?
Mengapa fungsi sigmoid standar de-facto, , begitu populer di jaringan saraf dan regresi logistik (tidak dalam)?11 + e- x11+e-x\frac{1}{1+e^{-x}} Mengapa kita tidak menggunakan banyak fungsi turunan lainnya, dengan waktu perhitungan yang lebih cepat atau peluruhan yang lebih lambat (sehingga gradien menghilang lebih sedikit). Beberapa contoh ada di Wikipedia tentang fungsi …
5
Bagaimana cara mendapatkan solusi regresi ridge?
Saya mengalami beberapa masalah dengan derivasi solusi untuk regresi ridge. Saya tahu solusi regresi tanpa ketentuan regularisasi: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. Tetapi setelah menambahkan istilah L2 ke fungsi biaya, mengapa solusinya menjadiλ∥β∥22λ‖β‖22\lambda\|\beta\|_2^2 β=(XTX+λI)−1XTy.β=(XTX+λI)−1XTy.\beta = (X^TX + \lambda I)^{-1}X^Ty.
5
Apakah meminimalkan kesalahan kuadrat setara dengan meminimalkan kesalahan absolut? Mengapa kesalahan kuadrat lebih populer daripada yang terakhir?
Ketika kami melakukan regresi linier agar sesuai dengan banyak titik data , pendekatan klasik meminimalkan kesalahan kuadrat. Saya sudah lama bingung dengan pertanyaan yang akan meminimalkan kesalahan kuadrat menghasilkan hasil yang sama dengan meminimalkan kesalahan absolut ? Jika tidak, mengapa meminimalkan kesalahan kuadrat lebih baik? Adakah alasan lain selain "fungsi …
8
Apakah valid untuk memasukkan ukuran dasar sebagai variabel kontrol ketika menguji pengaruh variabel independen terhadap skor perubahan?
Saya mencoba menjalankan regresi OLS: DV: Perubahan berat badan lebih dari setahun (berat awal - berat akhir) IV: Apakah Anda berolahraga atau tidak. Namun, tampaknya masuk akal bahwa orang yang lebih berat akan menurunkan lebih banyak berat badan per unit olahraga daripada orang yang lebih kurus. Jadi, saya ingin memasukkan …
1
Bukti bahwa koefisien dalam model OLS mengikuti distribusi-t dengan derajat kebebasan (nk)
Latar Belakang Misalkan kita memiliki model Ordinary Least Squares di mana kita memiliki koefisien dalam model regresi kita, kkky=Xβ+ϵy=Xβ+ϵ\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon} di mana adalah vektor dari koefisien, adalah matriks desain yang didefinisikan olehββ\mathbf{\beta}(k×1)(k×1)(k\times1)XX\mathbf{X} X=⎛⎝⎜⎜⎜⎜⎜⎜11⋮1x11x21xn1x12…⋱………x1(k−1)⋮⋮xn(k−1)⎞⎠⎟⎟⎟⎟⎟⎟X=(1x11x12…x1(k−1)1x21…⋮⋮⋱⋮1xn1……xn(k−1))\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \dots & x_{1\;(k-1)} \\ 1 & x_{21} & …
3
Bagaimana cara melakukan regresi ortogonal (kuadrat terkecil total) melalui PCA?
Saya selalu menggunakan lm()dalam R untuk melakukan regresi linier pada . Fungsi itu mengembalikan koefisien sehinggayyyxxxββ\betay=βx.y=βx.y = \beta x. Hari ini saya belajar tentang kuadrat terkecil total dan princomp()fungsi itu (analisis komponen utama, PCA) dapat digunakan untuk melakukannya. Itu harus baik untuk saya (lebih akurat). Saya telah melakukan beberapa tes …
1
Menghitung pengulangan efek dari model lmer
Saya baru saja menemukan makalah ini , yang menjelaskan bagaimana menghitung pengulangan (alias reliabilitas, alias korelasi intraclass) dari pengukuran melalui pemodelan efek campuran. Kode R adalah: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = attr(vc,'sc')^2 intercept_var = attr(vc$id,'stddev')[1]^2 #compute the unadjusted repeatability R …
28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit 
2
Mengapa RSS didistribusikan chi square kali np?
Saya ingin memahami mengapa, di bawah model OLS, RSS (jumlah sisa kuadrat) didistribusikan ( menjadi jumlah parameter dalam model, jumlah pengamatan).χ2⋅(n−p)χ2⋅(n−p)\chi^2\cdot (n-p)pppnnn Saya minta maaf karena mengajukan pertanyaan mendasar seperti itu, tetapi sepertinya saya tidak dapat menemukan jawabannya secara online (atau dalam buku teks saya yang lebih berorientasi pada aplikasi).
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.