Pertanyaan yang diberi tag «least-squares»

Mengacu pada teknik estimasi umum yang memilih nilai parameter untuk meminimalkan perbedaan kuadrat antara dua kuantitas, seperti nilai yang diamati dari suatu variabel, dan nilai yang diharapkan dari pengamatan yang dikondisikan pada nilai parameter. Model linear Gaussian cocok dengan kuadrat terkecil dan kuadrat terkecil adalah ide yang mendasari penggunaan mean-squared-error (MSE) sebagai cara mengevaluasi estimator.

1
Bukti formula LOOCV
Dari Pengantar Pembelajaran Statistik oleh James et al., Taksiran lintas-validasi silang (LOOCV) taksiran didefinisikan oleh mana .CV(n)=1n∑i=1nMSEiCV(n)=1n∑i=1nMSEi\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_iMSEi=(yi−y^i)2MSEi=(yi−y^i)2\text{MSE}_i = (y_i-\hat{y}_i)^2 Tanpa bukti, persamaan (5.2) menyatakan bahwa untuk regresi kuadrat-terkecil atau polinomial (apakah ini berlaku untuk regresi hanya pada satu variabel tidak diketahui oleh saya), mana " berada yang th …
1
MLE vs kuadrat terkecil dalam distribusi probabilitas pas
Kesan yang saya dapat, berdasarkan beberapa makalah, buku, dan artikel yang saya baca, adalah cara yang disarankan untuk menyesuaikan distribusi probabilitas pada set data adalah dengan menggunakan estimasi kemungkinan maksimum (MLE). Namun, sebagai seorang fisikawan, cara yang lebih intuitif adalah dengan menyesuaikan pdf model dengan pdf empiris data menggunakan kuadrat …
3
Mengapa tidak menggunakan "persamaan normal" untuk menemukan koefisien kuadrat terkecil sederhana?
Saya melihat daftar ini di sini dan tidak percaya ada begitu banyak cara untuk menyelesaikan kuadrat terkecil. "Persamaan normal" di Wikipedia tampaknya merupakan cara yang cukup lurus ke depan: α^β^=y¯−β^x¯,=∑ni=1(xi−x¯)(yi−y¯)∑ni=1(xi−x¯)2α^=y¯−β^x¯,β^=∑i=1n(xi−x¯)(yi−y¯)∑i=1n(xi−x¯)2 {\displaystyle {\begin{aligned}{\hat {\alpha }}&={\bar {y}}-{\hat {\beta }}\,{\bar {x}},\\{\hat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}\end{aligned}}} Jadi mengapa tidak menggunakannya …
1
Bias variabel yang dihilangkan dalam regresi logistik vs bias variabel yang dihilangkan dalam regresi kuadrat terkecil biasa
Saya punya pertanyaan tentang bias variabel yang dihilangkan dalam regresi logistik dan linier. Katakanlah saya menghilangkan beberapa variabel dari model regresi linier. Berpura-pura bahwa variabel-variabel yang dihilangkan tersebut tidak berkorelasi dengan variabel yang saya sertakan dalam model saya. Variabel-variabel yang dihilangkan tidak bias koefisien dalam model saya. Tetapi dalam regresi …
4
Apa hubungan antara
Saya bertanya-tanya apakah ada hubungan antara dan F-Test.R2R2R^2 Biasanya R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R^2=\frac {\sum (\hat Y_t - \bar Y)^2 / T-1} {\sum( Y_t - \bar Y)^2 / T-1} dan mengukur kekuatan hubungan linier dalam regresi. F-Test hanya membuktikan hipotesis. Apakah ada hubungan antara R2R2R^2 dan F-Test?
1
Membalikkan regresi ridge: diberikan matriks respons dan koefisien regresi, temukan prediktor yang sesuai
Pertimbangkan masalah regresi OLS standar\newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf X}\newcommand{\B}{\boldsymbol\beta}\DeclareMathOperator*{argmin}{argmin}: Saya memiliki matriks YY\Y dan XX\X dan saya ingin mencari ββ\B untuk meminimalkan L=∥Y−Xβ∥2.L=‖Y−Xβ‖2.L=\|\Y-\X\B\|^2. Solusinya diberikan oleh β^=argminβ{L}=(X⊤X)+X⊤Y.β^=argminβ⁡{L}=(X⊤X)+X⊤Y.\hat\B=\argmin_\B\{L\} = (\X^\top\X)^+\X^\top \Y. Saya juga dapat menimbulkan masalah "terbalik": mengingat YY\Y dan β∗β∗\B^* , cari X^X^\hat\X yang akan menghasilkan β^≈β∗β^≈β∗\hat\B\approx \B^* , yaitu akan meminimalkan …
1
Pertanyaan tentang cara menormalkan koefisien regresi
Tidak yakin apakah normalisasi adalah kata yang tepat untuk digunakan di sini, tetapi saya akan mencoba yang terbaik untuk menggambarkan apa yang ingin saya tanyakan. Estimator yang digunakan di sini adalah kuadrat terkecil. Misalkan Anda memiliki y=β0+β1x1y=β0+β1x1y=\beta_0+\beta_1x_1 , Anda dapat memusatkannya di sekitar rata-rata dengan y=β′0+β1x′1y=β0′+β1x1′y=\beta_0'+\beta_1x_1' mana β′0=β0+β1x¯1β0′=β0+β1x¯1\beta_0'=\beta_0+\beta_1\bar x_1 dan …
1
Definisi dan Konvergensi Kuadrat Terkecil yang Diterima Ulang secara berulang
Saya telah menggunakan iteratively reweighted least square (IRLS) untuk meminimalkan fungsi dari formulir berikut, J(m)=∑Ni=1ρ(|xi−m|)J(m)=∑i=1Nρ(|xi−m|)J(m) = \sum_{i=1}^{N} \rho \left(\left| x_i - m \right|\right) di mana adalah jumlah instance , adalah perkiraan kuat yang saya inginkan, dan adalah fungsi penalti kuat yang cocok. Katakanlah itu cembung (meskipun tidak harus ketat) dan …
2
Ukuran residu heteroskedastisitas
Ini wikipedia link di daftar sejumlah teknik untuk mendeteksi OLS residual heteroskedastisitas. Saya ingin belajar teknik langsung mana yang lebih efisien dalam mendeteksi daerah yang dipengaruhi oleh heteroskedastisitas. Sebagai contoh, di sini wilayah pusat dalam plot 'Residual vs Fitted' OLS terlihat memiliki varians yang lebih tinggi daripada sisi plot (saya …
2
Mengapa matriks proyeksi simetris proyeksi orthogonal?
Saya cukup baru dalam hal ini, jadi saya harap Anda memaafkan saya jika pertanyaannya naif. (Konteks: Saya belajar ekonometrik dari buku Davidson & MacKinnon "Teori dan Metode Econometrik" , dan mereka sepertinya tidak menjelaskan ini; Saya juga melihat buku optimisasi Luenberger yang berkaitan dengan proyeksi pada tingkat yang sedikit lebih …
1
Mengapa regresi ini TIDAK gagal karena multikolinieritas sempurna, walaupun satu variabel adalah kombinasi linear dari yang lain?
Hari ini, saya bermain-main dengan dataset kecil dan melakukan regresi OLS sederhana yang saya harapkan gagal karena multikolinieritas sempurna. Namun, ternyata tidak. Ini menyiratkan bahwa pemahaman saya tentang multikolinieritas salah. Pertanyaan saya adalah: Di mana saya salah? Saya pikir saya dapat menunjukkan bahwa salah satu variabel saya adalah kombinasi linear …
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.