Definisi splines kubik alami untuk regresi

16

Saya belajar tentang splines dari buku "Elemen-elemen Pembelajaran Statistik, Penambangan, Inferensi, dan Prediksi" oleh Hastie et al. Saya menemukan pada halaman 145 bahwa splines kubik alami adalah linier di luar simpul batas. Ada $K$ knot, $\xi_1, \xi_2, ... \xi_K$ dalam splines dan berikut ini diberikan tentang spline tersebut dalam buku.

Pertanyaan 1: Bagaimana kebebasan 4 derajat dibebaskan? Saya tidak mendapatkan bagian ini.

Pertanyaan 2 : Dalam definisi ketika maka $d_k(X)$ $k=K$ . Apa yang penulis coba lakukan dalam formula ini? Bagaimana ini membantu memastikan bahwa splines linier di luar simpul batas? $d_K(X) = \frac 0 0$

— Durin
sumber

17

Mari kita mulai dengan mempertimbangkan splines kubik biasa. Mereka kubik antara setiap pasangan simpul dan kubik di luar simpul batas. Kita mulai dengan 4df untuk kubik pertama (kiri dari simpul batas pertama), dan masing-masing simpul menambahkan satu parameter baru (karena kontinuitas kubik dan turunannya dan turunan kedua menambahkan tiga kendala, meninggalkan satu parameter bebas), menjadikan total Parameter untuk simpul $K+4$ $K$

Spline kubik alami linear pada kedua ujungnya. Ini kendala bagian kubik dan kuadrat sana untuk 0, masing-masing mengurangi df dengan 1. Itu 2 df di masing-masing dua ujung kurva, mengurangi untuk . $K+4$ $K$

Bayangkan Anda memutuskan Anda dapat menghabiskan sejumlah derajat kebebasan ( , katakanlah) pada perkiraan kurva non-parametrik Anda. Karena memaksakan spline alami menggunakan 4 derajat kebebasan yang lebih rendah daripada spline kubik biasa (untuk jumlah simpul yang sama), dengan parameter Anda dapat memiliki 4 simpul lebih (dan 4 parameter lainnya) untuk memodelkan kurva antara simpul batas . $p$ $p$
Perhatikan bahwa definisi untuk adalah untuk (karena ada fungsi dasar dalam semua). Jadi fungsi dasar terakhir dalam daftar itu, . Jadi tertinggi dibutuhkan untuk definisi adalah untuk $N_{k+2}$ $k=1,2,...,K-2$ $K$ $N_{K}=d_{K-2}-d_{K-1}$ $k$ $d_k$ $k=K-1$ . (Artinya, kita tidak perlu mencoba untuk mencari tahu apa yang beberapa mungkin dilakukan, karena kita tidak menggunakannya.) $d_K$

— Glen_b -Reinstate Monica
sumber

4

Saya merinci pernyataan: "Ini membebaskan empat derajat kebebasan (masing-masing dua kendala di kedua wilayah perbatasan)" dalam contoh dengan simpul . Interval yang terkait adalah , dan (jadi ada interval dan $2$ $\xi_1, \xi_2$ $]-\infty, \xi_1[$ $]\xi_1, \xi_2[$ $]\xi_2, +\infty[$ $|I|=3$ $|I|-1=2$ knot).

Untuk splines kubik (umum)

Tanpa kendala keteraturan, kami memiliki persamaan: $4|I|=12$

1 (X < ξ_{1}); 1 (X < ξ_{1}) X; 1 (X < ξ_{1}) X^{2}; 1 (X < ξ_{1}) X^{3};

$\mathbf{1}(X < \xi_1)~~;~~\mathbf{1}(X < \xi_1)X~~;~~\mathbf{1}(X < \xi_1)X^2~~;~~\mathbf{1}(X < \xi_1)X^3~~;$

1 (ξ_{1} \leq X < ξ_{2}); 1 (ξ_{1} \leq X < ξ_{2}) X; 1 (ξ_{1} \leq X < ξ_{2}) X^{2}; 1 (ξ_{1} \leq X < ξ_{2}) X^{3};

$\mathbf{1}(\xi_1 \leq X < \xi_2)~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X^2~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X^3~~;$

1 (ξ_{2} \leq X); 1 (ξ_{2} \leq X) X; 1 (ξ_{2} \leq X) X^{2}; 1 (ξ_{2} \leq X) X^{3} .

$\mathbf{1}(\xi_2 \leq X)~~;~~\mathbf{1}(\xi_2 \leq X)X~~;~~\mathbf{1}(\xi_2 \leq X)X^2~~;~~\mathbf{1}(\xi_2 \leq X)X^3.$

$\mathcal{C}^r$ $r=2$ $(r+1)\times(|I|-1) = 3\times(|I|-1) = 6$

$12-6=6$

Untuk splines kubik alami

"Sebuah splines kubik alami menambah kendala tambahan, yaitu fungsi itu linier di luar simpul batas."

$4|I|-4=12-4$ $4$ $2$

1 (X < ξ_{1}); 1 (X < ξ_{1}) X;

$\mathbf{1}(X < \xi_1)~~;~~\mathbf{1}(X < \xi_1)X~~;~~$

1 (ξ_{1} \leq X < ξ_{2}); 1 (ξ_{1} \leq X < ξ_{2}) X; 1 (ξ_{1} \leq X < ξ_{2}) X^{2}; 1 (ξ_{1} \leq X < ξ_{2}) X^{3};

$\mathbf{1}(\xi_1 \leq X < \xi_2)~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X^2~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X^3~~;$

1 (ξ_{2} \leq X); 1 (ξ_{2} \leq X) X .

$\mathbf{1}(\xi_2 \leq X)~~;~~\mathbf{1}(\xi_2 \leq X)X.$

$3\times(|I|-1) = 6$

$8-6=2$

— ahstat
sumber