Pembenaran untuk menggunakan bobot geometrik dalam regresi linier

Dalam penerapan praktis, saya sering menyaksikan praktik berikut ini. Seseorang mengamati sepasang $(x_t, y_t)$ lembur. Di bawah asumsi bahwa mereka terkait linier, kami mundur satu terhadap yang lain menggunakan bobot geometris daripada yang seragam, yaitu, OLS meminimalkan

\sum_{t = 0}^{\infty} k^{t} (y_{T - t} - Sebuah x_{T - t} - b)^{2}

$\sum_{t=0}^\infty k^{t} (y_{T-t}- a x_{T-t}-b)^2$ untuk beberapa

k \in (0, 1)

$k\in (0,1)$ . Ini sangat intuitif: pengamatan kita jauh lebih sedikit di masa lalu. Dibandingkan dengan skema pembobotan "gerbong", ia juga memiliki keuntungan menghasilkan perkiraan yang berubah dengan lancar seiring waktu, karena pengamatan tidak tiba-tiba jatuh dari jendela pengamatan. Namun, saya bertanya-tanya apakah ada model probabilistik yang mendasari hubungan antara

x_{t}

$x_t$ dan

y_{t}

$y_t$ yang membenarkan pilihan ini.

regression least-squares

— gappy
sumber

Beberapa hari yang lalu seseorang di suatu tempat di salah satu situs StackExchange terkait mengomentari skema ini sebagai "filter Kalman orang miskin". Jika saya berhasil menemukan tautan, saya akan menambahkannya di sini.

— Dirk Eddelbuettel

Terima kasih. Saya ingin melihat bagaimana ini dapat dibingkai ulang sebagai filter Kalman.

— gappy

Saya ragu ada derivasi formal, oleh karena itu kutipan di sekitar versi orang miskin dari parameter adaptif.

— Dirk Eddelbuettel

Jawaban:

"Terkait linear" biasanya berarti

y_{t} = a x_{t} + b + ε_{t}

$y_t = a x_t + b + \varepsilon_t$

untuk konstan $a$ , $b$ dan iid kesalahan acak $\varepsilon_t$ , $t=0,1,\ldots,T$ . Salah satu alasan seseorang akan membuat estimasi OLS tertimbang secara eksponensial adalah kecurigaan itu $a$ dan $b$ mungkin diri mereka (lambat) bervariasi dengan waktu juga. Jadi kami benar-benar berpikir model yang benar

y_{t} = α (t) x_{t} + β (t) + ε_{t}

$y_t = \alpha(t) x_t + \beta(t) + \varepsilon_t$

untuk fungsi yang tidak diketahui $\alpha(t)$ dan $\beta(t)$ yang bervariasi lambat (jika sama sekali) dari waktu ke waktu dan kami tertarik untuk memperkirakan nilai mereka saat ini, $a = \alpha_T$ dan $b = \beta_T$ . Mari kita asumsikan fungsi-fungsi ini lancar, sehingga kita dapat menerapkan Teorema Taylor. Ini menegaskan hal itu

α (t) = α (T) + α^{'} (t_{α, t}) (t - T)

$\alpha(t) = \alpha(T) + \alpha'(t_{\alpha,t})(t-T)$

untuk beberapa $t_{\alpha,t}, 0 \le t_{\alpha,t} \lt T$ , dan juga untuk $\beta(t)$ . Kami memikirkan $a$ dan $b$ sebagai nilai terbaru, $\alpha_T$ dan $\beta_T$ masing-masing. Gunakan ini untuk mengekspresikan kembali residu:

y_{t} - (Sebuah x_{t} + b) = α^{'} (t_{α, t}) (t - T) x_{t} + β^{'} (t_{β, t}) (t - T) + ε_{t} .

$y_t - (a x_t + b) = \alpha'(t_{\alpha,t})(t-T)x_t + \beta'(t_{\beta,t})(t-T) + \varepsilon_t\text{.}$

Sekarang banyak melambaikan tangan perlu terjadi. Kami akan menganggap seluruh sisi kanan sebagai acak. Perbedaannya adalah $\varepsilon_t$ plus $x_t^2(t-T)^2$ kali varians dari $\alpha'(t_{\alpha,t})$ plus $(t-T)^2$ kali varians dari $\beta'(t_{\beta,t})$ . Kedua varian tersebut sama sekali tidak diketahui, tetapi ( abracadabra ) mari kita anggap mereka sebagai hasil dari beberapa jenis proses (stokastik) di mana "kesalahan" atau "variasi" yang sistematis mungkin (bukan acak, tetapi masih tidak diketahui) diakumulasikan dari satu waktu ke yang lain. yang lain. Ini akan menyarankan perubahan eksponensial dalam varians tersebut dari waktu ke waktu. Sekarang sederhanakan ekspresi eksplisit (tetapi pada dasarnya tidak berguna) untuk sisi kanan, dan serap istilah kuadratik $(t-T)^2$ ke eksponensial (karena kita melambaikan tangan kita begitu liar tentang hal itu), untuk mendapatkan

y_{t} - (Sebuah x_{t} + b) = δ_{t}

$y_t - (a x_t + b) = \delta_t$

dengan varian $\delta_t$ sama dengan $\exp(\kappa(t-T))$ untuk beberapa konstan $\kappa$ . Mengabaikan kemungkinan korelasi temporal di antara $\delta_t$ dan dengan asumsi mereka memiliki distribusi normal memberikan kemungkinan log untuk data proporsional

\sum_{t = 0}^{T} k^{- t} (y_{T - t} - Sebuah x_{T - t} - b)^{2}

$\sum_{t=0}^{T} k^{-t} (y_{T-t}- a x_{T-t}-b)^2$

(ditambah konstanta yang tidak relevan hanya bergantung pada $k$ ) dengan $k = \exp{\kappa}$ . Prosedur OLS tertimbang secara eksponensial memaksimalkan kemungkinan, dengan asumsi kita tahu nilai $k$ (jenis seperti prosedur kemungkinan profil).

Meskipun seluruh derivasi ini jelas fantastis, ia menunjukkan bagaimana, dan kira-kira pada tingkat apa, pembobotan eksponensial berupaya untuk mengatasi kemungkinan perubahan dalam parameter linear dari waktu ke waktu. Ini berkaitan dengan parameter $k$ ke tingkat temporal perubahan parameter tersebut.

— whuber
sumber

Saya setuju pada bagian melambaikan tangan ... Saya baik-baik saja dengan menyederhanakan asumsi pada bentuk yang bervariasi dari parameter regresi, selama mereka dinyatakan dengan jelas. Tentu saja merasa bebas untuk referensi literatur yang ada.

— gappy

@whuber - Saya akan mengatakan bahwa regresi tertimbang secara eksponensial adalah perkiraan yang sangat kasar untuk model tertentu yang telah Anda jelaskan . Tapi itu bisa menjadi solusi tepat untuk model yang berbeda. Untuk model yang Anda gambarkan, akan lebih baik untuk memasukkan komponen heteroscedastic karena variasi

α (t)

$\alpha(t)$ (atau asumsikan tidak ada variasi, dan Anda berurusan dengan intersepsi acak). Anda membuatnya seolah-olah pembobotan geometris selalu kurang optimal, padahal sebenarnya tidak. Itu tergantung pada informasi Anda sebelumnya.

— probabilityislogic

@prob Saya setuju, tapi saya belum bisa menemukan model yang tepat membenarkan pendekatan ini, jadi saya harus puas menunjukkan beberapa hal yang mungkin memerlukan model seperti itu. Saya perhatikan balasan Anda tidak membuat kemajuan dalam arah ini, baik ;-).

— whuber

@whuber - dan di mana saya membuat perkiraan dalam persamaan saya agar tidak tepatnya?

— probabilityislogic

@probability Anda tidak memberikan justifikasi: Anda cukup mengumumkan hasil yang sudah saya posting. Dengan kata lain, Anda mengamati bahwa ketika OLS meminimalkan ekspresi seperti itu itu benar-benar melakukan kuadrat terkecil. OK, tapi bukankah itu sangat jelas? Apa yang membenarkan pilihan bobot ini? Mereka berasal dari mana?

— whuber

Saya pikir maksud Anda sebenarnya $k^{t}$ sebagai berat Anda, atau itu $k>1$ . Jika $0<k<1$ dan kami ambil $k^{-t}$ sebagai berat itu $k^{-\infty}=\infty$ . Jadi ini sebenarnya bobot paling sedikit dari pengamatan ini. Misalnya, jika kita ambil $k=0.5$ kemudian $k^{0}=1,\;k^{-1}=2,\;k^{-2}=4,\dots,k^{-20}\approx 10^{6}$ , dan seterusnya.

Ini hanya menyatakan sesuatu yang Anda ketahui tentang bagaimana varians berubah dengan setiap pengamatan (semakin besar saat Anda bergerak lebih jauh ke belakang dalam waktu dari waktu ke waktu). $T$ ):

(y_{T - t} | x_{T - t}, Sebuah, b, k, s) \sim N Hai r m Sebuah l (Sebuah x_{T - t} + b, s^{2} k^{- t})

$(y_{T-t}|x_{T-t},a,b,k,s) \sim Normal(ax_{T-t}+b,s^{2}k^{-t})$

Mendenotasikan $Y\equiv\{y_{T},y_{T-1},\dots,y_{1}\}$ dan $X\equiv\{x_{T},x_{T-1},\dots,x_{1}\}$ kami memiliki kemungkinan log bersama:

catatan [hal (Y | X, Sebuah, b, k, s)] = - \frac{1}{2} (T catatan (2 π s^{2} k^{- t}) + \sum_{t = 0}^{T - 1} \frac{(y_{T - t} - Sebuah x_{T - t} - b)^{2}}{s^{2} k^{- t}})

$\log\left[p(Y|X,a,b,k,s)\right]=-\frac{1}{2}\left(T\log(2\pi s^{2} k^{-t})+\sum_{t=0}^{T-1}\frac{(y_{T-t}-ax_{T-t}-b)^{2}}{s^{2}k^{-t}}\right)$

Jadi untuk mendapatkan estimasi kemungkinan maksimum $a$ dan $b$ Anda memiliki fungsi tujuan berikut:

\sum_{t = 0}^{T - 1} k^{t} (y_{T - t} - Sebuah x_{T - t} - b)^{2}

$\sum_{t=0}^{T-1}k^{t}(y_{T-t}-ax_{T-t}-b)^{2}$

Yang mana yang kamu cari

— probabilityislogic
sumber