Menggunakan filter Kalman untuk menghubungkan Nilai Hilang dalam Seri Waktu

12

Saya tertarik pada bagaimana Filter Kalman dapat digunakan untuk memasukkan nilai yang hilang dalam Data Rangkaian Waktu. Apakah ini juga berlaku jika beberapa titik waktu berturut-turut hilang? Saya tidak dapat menemukan banyak tentang topik ini. Setiap penjelasan, komentar, dan tautan diterima dan dihargai!

data-imputation kalman-filter

— GS9
sumber

Anda mungkin tertarik dengan postingan ini . Ini memberikan contoh berdasarkan representasi state-space model ARIMA untuk menyalahkan nilai yang hilang melalui filter Kalman.

— javlacalle

@javlacalle terima kasih, saya sudah tahu posting ini dan ini adalah contoh yang bagus untuk implementasi yang konkret. Tetapi saya agak tertarik pada latar belakang teoretis.

— GS9

9

Pendahuluan: Pemfilteran Kalman :

Filter Kalman beroperasi pada model ruang-negara dari formulir (ada beberapa cara untuk menulisnya; ini adalah yang mudah berdasarkan Durbin dan Koopman (2012) ; semua yang berikut ini didasarkan pada buku itu, yang sangat bagus):

\begin{aligned} y_{t} & = Z α_{t} + ε_{t} & ε_{t} \sim N (0, H) \\ α_{t_{1}} & = T α_{t} + η_{t} & η_{t} \sim N (0, Q) \\ α_{1} & \sim N (a_{1}, P_{1}) \end{aligned}

$\begin{align} y_t & = Z \alpha_t + \varepsilon_t \qquad & \varepsilon_t \sim N(0, H) \\ \alpha_{t_1} & = T \alpha_t + \eta_t & \eta_t \sim N(0, Q) \\ \alpha_1 & \sim N(a_1, P_1) \end{align}$

di mana adalah seri yang diamati (mungkin dengan nilai yang hilang) tetapi sepenuhnya tidak teramati. Persamaan pertama (persamaan "pengukuran") mengatakan bahwa data yang diamati terkait dengan keadaan yang tidak teramati dengan cara tertentu. Persamaan kedua (persamaan "transisi") mengatakan bahwa keadaan yang tidak teramati berevolusi dari waktu ke waktu dengan cara tertentu. $y_t$ $\alpha_t$

Filter Kalman beroperasi untuk menemukan perkiraan optimal dari ( diasumsikan Normal: , jadi apa yang sebenarnya dilakukan oleh filter Kalman adalah menghitung mean bersyarat dan varian dari distribusi untuk tergantung pada pengamatan hingga waktu ). $\alpha_t$ $\alpha_t$ $\alpha_t \sim N(a_t, P_t)$ $\alpha_t$ $t$

Dalam kasus khusus (ketika pengamatan tersedia) filter Kalman menggunakan estimasi kondisi saat ini dan pengamatan saat ini untuk melakukan yang terbaik untuk memperkirakan keadaan selanjutnya , sebagai berikut: $y_t$ $\alpha_{t+1}$

\begin{aligned} a_{t + 1} & = T a_{t} + K_{t} (y_{t} - Z α_{t}) \\ P_{t + 1} & = T P_{t} (T - K_{t} Z)^{'} + Q \end{aligned}

$\begin{align} a_{t+1} & = T a_t + K_t (y_t - Z \alpha_t) \\ P_{t+1} & = T P_t (T - K_t Z)' + Q \end{align}$

dimana adalah "gain Kalman". $K_t$

Ketika tidak ada pengamatan, filter Kalman masih ingin menghitung dan dengan cara terbaik. Karena tidak tersedia, ia tidak dapat menggunakan persamaan pengukuran, tetapi masih dapat menggunakan persamaan transisi . Jadi, ketika hilang, filter Kalman malah menghitung: $a_{t+1}$ $P_{t+1}$ $y_t$ $y_t$

\begin{aligned} a_{t + 1} & = T a_{t} \\ P_{t + 1} & = T P_{t} T^{'} + Q \end{aligned}

$\begin{align} a_{t+1} & = T a_t \\ P_{t+1} & = T P_t T' + Q \end{align}$

Pada dasarnya, dikatakan bahwa diberikan , tebakan terbaik saya untuk tanpa data hanyalah evolusi yang ditentukan dalam persamaan transisi. Ini dapat dilakukan untuk sejumlah periode waktu dengan data yang hilang. $\alpha_t$ $\alpha_{t+1}$

Jika ada yang data yang , maka set pertama penyaringan persamaan mengambil yang terbaik menebak tanpa data, dan menambahkan "koreksi" di, berdasarkan seberapa baik estimasi sebelumnya. $y_t$

Imputing data :

Setelah filter Kalman telah diterapkan untuk seluruh rentang waktu, Anda memiliki perkiraan yang optimal dari negara-negara untuk . Imput data kemudian sederhana melalui persamaan pengukuran. Secara khusus, Anda hanya menghitung: $a_t, P_t$ $t = 1, 2, \dots, T$

{\hat{y}}_{t} = Z a_{t}

$\hat y_t = Z a_t$

Adapun referensi, Durbin dan Koopman (2012) sangat baik; bagian 4.10 membahas pengamatan yang hilang.

Durbin, J., & Koopman, SJ (2012). Analisis deret waktu dengan metode ruang keadaan (No. 38). Oxford University Press.

— cfulton
sumber

Menggunakan solusi yang lebih halus akan lebih masuk akal untuk memasukkan (karena seseorang sudah memiliki semua data (tidak ada yang hilang), mengapa tidak menggunakan informasi dalam nilai di masa depan juga)

— Juho Kokkala

0

Contoh dalam posting yang ditunjukkan oleh javlacalle dalam komentar mereka menampilkan poin waktu yang hilang secara berurutan. Anda mungkin juga tertarik pada interval di sekitar nilai yang diperhitungkan (dalam-contoh yang diperkirakan), perhitungan yang muncul dalam makalah Space State ini , di bagian 2.1.

Makalah lain yang mungkin menarik adalah yang ini .

— Wayne
sumber