Pertanyaan yang diberi tag «least-squares»

Mengacu pada teknik estimasi umum yang memilih nilai parameter untuk meminimalkan perbedaan kuadrat antara dua kuantitas, seperti nilai yang diamati dari suatu variabel, dan nilai yang diharapkan dari pengamatan yang dikondisikan pada nilai parameter. Model linear Gaussian cocok dengan kuadrat terkecil dan kuadrat terkecil adalah ide yang mendasari penggunaan mean-squared-error (MSE) sebagai cara mengevaluasi estimator.

1
Kesetaraan antara kuadrat terkecil dan MLE dalam model Gaussian
Saya baru belajar Mesin, dan saya sedang mencoba mempelajarinya sendiri. Baru-baru ini saya membaca beberapa catatan kuliah dan memiliki pertanyaan mendasar. Slide 13 mengatakan bahwa "Estimasi Least Square sama dengan Estimasi Kemungkinan Maksimum dalam model Gaussian". Sepertinya itu adalah sesuatu yang sederhana, tetapi saya tidak dapat melihat ini. Bisakah seseorang …
2
Korelasi antara estimator OLS untuk intersep dan kemiringan
Dalam model regresi sederhana, y=β0+β1x+ε,y=β0+β1x+ε, y = \beta_0 + \beta_1 x + \varepsilon, estimator OLS dan berkorelasi.ββ^O L S0β^0OLS\hat{\beta}_0^{OLS}β^O L S1β^1OLS\hat{\beta}_1^{OLS} Rumus untuk korelasi antara kedua penaksir adalah (jika saya mendapatkannya dengan benar): Kor( β^O L S0, β^O L S1) = - Âni = 1xsayan--√∑ni = 1x2saya-------√.Corr⁡(β^0OLS,β^1OLS)=−∑i=1nxin∑i=1nxi2. \operatorname{Corr}(\hat{\beta}_0^{OLS},\hat{\beta}_1^{OLS}) = \frac{-\sum_{i=1}^{n}x_i}{\sqrt{n} …
4
ANOVA vs regresi linier berganda? Mengapa ANOVA begitu umum digunakan dalam studi eksperimental?
ANOVA vs regresi linier berganda? Saya mengerti bahwa kedua metode ini tampaknya menggunakan model statistik yang sama. Namun dalam keadaan apa saya harus menggunakan metode apa? Apa kelebihan dan kekurangan metode ini jika dibandingkan? Mengapa ANOVA begitu umum digunakan dalam studi eksperimental dan saya hampir tidak pernah menemukan studi regresi?
6
Mengapa kita biasanya memilih untuk meminimalkan jumlah kesalahan kuadrat (SSE) saat memasang model?
Pertanyaannya sangat sederhana: mengapa, ketika kami mencoba menyesuaikan model dengan data kami, linear atau non-linear, apakah kami biasanya mencoba meminimalkan jumlah kuadrat kesalahan untuk mendapatkan estimator kami untuk parameter model? Mengapa tidak memilih beberapa fungsi tujuan lain untuk diminimalkan? Saya mengerti bahwa, karena alasan teknis, fungsi kuadrat lebih bagus daripada …
3
Apa arti "semua sama dengan" dalam regresi berganda?
Ketika kita melakukan beberapa regresi dan mengatakan kita sedang melihat perubahan rata-rata dalam variabel untuk perubahan dalam variabel , mempertahankan semua variabel lain konstan, nilai apa yang kita pegang pada variabel lain konstan? Maksud mereka? Nol? Ada nilai?yyyxxx Saya cenderung berpikir itu ada nilainya; hanya mencari klarifikasi. Jika ada yang …
2
Bukti bahwa F-statistik mengikuti distribusi-F
Mengingat pertanyaan ini: Bukti bahwa koefisien dalam model OLS mengikuti distribusi-t dengan derajat kebebasan (nk) Saya ingin sekali memahami alasannya F=(TSS−RSS)/(p−1)RSS/(n−p),F=(TSS−RSS)/(p−1)RSS/(n−p), F = \frac{(\text{TSS}-\text{RSS})/(p-1)}{\text{RSS}/(n-p)}, di mana ppp adalah jumlah parameter model dan nnn jumlah observasi dan TSSTSSTSS total varians, RSSRSSRSS varian residual, mengikuti Fp−1,n−pFp−1,n−pF_{p-1,n-p} distribusi. Saya harus mengakui bahwa saya …
2
Apakah ada kelebihan SVD dibandingkan PCA?
Saya tahu cara menghitung PCA dan SVD secara matematis, dan saya tahu bahwa keduanya dapat diterapkan pada regresi Linear Least Squares. Keuntungan utama dari SVD secara matematis adalah dapat diterapkan pada matriks non-kuadrat. Kedua fokus pada dekomposisi dari matriks. Selain keunggulan SVD yang disebutkan, apakah ada keuntungan atau wawasan tambahan …
20 pca  least-squares  svd 
2
Bagaimana masuk akal untuk melakukan OLS setelah pemilihan variabel LASSO?
Baru-baru ini saya menemukan bahwa dalam literatur ekonometrik terapan, ketika berhadapan dengan masalah pemilihan fitur, tidak jarang melakukan LASSO diikuti oleh regresi OLS menggunakan variabel yang dipilih. Saya bertanya-tanya bagaimana kita memenuhi syarat validitas dari prosedur semacam itu. Apakah ini akan menyebabkan masalah seperti variabel yang dihilangkan? Adakah bukti yang …
2
Apa yang terjadi ketika saya memasukkan variabel kuadrat dalam regresi saya?
Saya mulai dengan regresi OLS saya: y=β0+β1x1+β2D+εy=β0+β1x1+β2D+ε y = \beta _0 + \beta_1x_1+\beta_2 D + \varepsilon mana D adalah variabel dummy, perkiraan menjadi berbeda dari nol dengan nilai p yang rendah. Saya kemudian membentuk tes Ramsey RESET dan menemukan bahwa saya memiliki beberapa kesalahan persamaan, dengan demikian saya memasukkan kuadrat …
6
Penjelasan intuitif dari
Jika XXX adalah peringkat penuh, kebalikan dari XTXXTXX^TX ada dan kita mendapatkan kuadrat β^=(XTX)−1XYβ^=(XTX)−1XY\hat\beta = (X^TX)^{-1}XY dan Var(β^)=σ2(XTX)−1Var⁡(β^)=σ2(XTX)−1\operatorname{Var}(\hat\beta) = \sigma^2(X^TX)^{-1} Bagaimana kita menjelaskan secara intuitif (XTX)−1(XTX)−1(X^TX)^{-1} dalam rumus varian? Teknik derivasi jelas bagi saya.
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.