Apa yang dimaksud dengan varian * fungsi * di * Pengantar Pembelajaran Statistik *?

Pada hal. 34 dari Pengantar Pembelajaran Statistik : $\newcommand{\Var}{{\rm Var}}$

Meskipun bukti matematika adalah di luar cakupan buku ini, adalah mungkin untuk menunjukkan bahwa tes diharapkan MSE, untuk nilai yang diberikan $x_0$ , selalu dapat didekomposisi menjadi jumlah dari tiga jumlah mendasar: varians dari $\hat{f}(x_0)$ , bias kuadrat dari $\hat{f}(x_0)$ dan varians dari istilah kesalahan $\varepsilon$ . Itu adalah,

$E {(y_{0} - \hat{f} (x_{0}))}^{2} = V a r (\hat{f} (x_{0})) + [B i a s (\hat{f} (x_{0}))]^{2} + V a r (ε)$ $E\left(y_0 - \hat{f}(x_0)\right)^2 = \Var\big(\hat{f}(x_0)\big) + \Big[{\rm Bias}\big(\hat{f}(x_0)\big)\Big]^2 + \Var(\varepsilon)$
[...] Varians merujuk pada jumlah yang akan diubah $\hat{f}$ jika kami memperkirakannya menggunakan kumpulan data pelatihan yang berbeda.

Pertanyaan: Karena $\Var\big(\hat{f}(x_0)\big)$ tampaknya menunjukkan variasi fungsi , apa artinya ini secara formal?

Yaitu, saya akrab dengan konsep varian dari variabel acak $X$ , tetapi bagaimana dengan varian dari serangkaian fungsi? Bisakah ini dianggap hanya sebagai varian dari variabel acak lain yang nilainya mengambil bentuk fungsi?

machine-learning variance

— George
sumber

Mengingat bahwa setiap kali muncul dalam rumus yang telah diterapkan ke "nilai yang diberikan" , varians berlaku untuk angka , bukan untuk itu sendiri. Karena angka itu mungkin telah dikembangkan dari data yang dimodelkan dengan variabel acak, itu juga merupakan variabel acak (bernilai nyata). Konsep varians yang biasa berlaku.

\hat{f}

$\hat f$

x_{0}

$x_0$

\hat{f} (x_{0})

$\hat{f}(x_0)$

\hat{f}

$\hat{f}$

— Whuber

Saya melihat. Jadi berubah (bervariasi di antara set data pelatihan yang berbeda), tetapi kami masih melihat varians dari sendiri.

\hat{f}

$\hat{f}$

\hat{f} (x_{0})

$\hat{f}(x_0)$

— George

Siapa penulis buku teks ini? Saya ingin mempelajari subjek ini sendiri dan akan sangat menghargai rekomendasi referensi Anda.

— Chill2Macht

@WilliamKrinsman Ini adalah buku: www-bcf.usc.edu/~gareth/ISL

— Matthew Drury

Jawaban:

Korespondensi Anda dengan @whuber benar.

Algoritma pembelajaran dapat dilihat sebagai fungsi tingkat yang lebih tinggi, memetakan pelatihan yang disetel ke fungsi. $\mathcal{A}$

A : T \to {f ∣ f : X \to R}

$\mathcal{A} : \mathcal{T} \rightarrow \{f \mid f: X \rightarrow \mathbb{R} \}$

di mana adalah ruang set latihan yang memungkinkan. Ini bisa sedikit berbulu secara konseptual, tetapi pada dasarnya setiap pelatihan individu menetapkan hasil, setelah menggunakan algoritma pelatihan model, dalam fungsi khusus yang dapat digunakan untuk membuat prediksi yang diberikan titik data . $\mathcal{T}$ $f$ $x$

Jika kita melihat ruang set pelatihan sebagai ruang probabilitas, sehingga ada beberapa distribusi set data pelatihan yang mungkin, maka algoritma pelatihan model menjadi fungsi yang bernilai variabel acak, dan kita bisa memikirkan konsep statistik. Secara khusus, jika kita memperbaiki titik data tertentu , maka kita mendapatkan variabel acak bernilai numerik $x_0$

A_{x_{0}} (T) = A (T) (x_{0})

$\mathcal{A}_{x_0}(T) = \mathcal{A}(T)(x_0)$

Yaitu, pertama-tama latih algoritma pada , dan kemudian evaluasi model yang dihasilkan pada . Ini hanyalah variabel acak yang lama, tetapi dibangun dengan cerdik, pada ruang probabilitas, sehingga kita dapat berbicara tentang variansnya. Ini adalah varian dalam rumus Anda dari ISL. $T$ $x_0$

— Matthew Drury
sumber

Interpretasi visual menggunakan kfold berulang

Untuk memberikan interpretasi visual / intuitif pada jawaban @Matthew Drury, perhatikan contoh mainan berikut ini.

Data dihasilkan dari kurva sinus berisik: "True noise" $f(x) \ +$
Data dibagi antara sampel pelatihan dan pengujian (75% - 25%)
Model linear (polinomial) disesuaikan dengan data pelatihan: $\hat f(x)$
Proses ini diulang berkali-kali menggunakan data yang sama (yaitu pelatihan pemisahan - pengujian secara acak menggunakan Sklearm diulang kfold)
Ini menghasilkan banyak model yang berbeda, dari mana kita menghitung mean dan varians pada setiap titik serta atas semua titik. $x=x_i$

Lihat di bawah untuk grafik yang dihasilkan untuk model polinomial derajat 2 dan derajat 6. Pada pandangan pertama, tampaknya polinomial yang lebih tinggi (berwarna merah) memiliki varian yang lebih besar.

Berargumen bahwa grafik merah memiliki varian yang lebih besar - secara eksperimen

Biarkan dan - sesuai dengan grafik hijau dan merah dan menjadi salah satu contoh grafik, berwarna hijau muda dan merah muda. Misalkan adalah jumlah titik di sepanjang sumbu dan menjadi jumlah grafik (yaitu jumlah simulasi). Di sini kita memiliki dan $\hat f_g$ $\hat f_r$ $\hat f^{(i)}$ $n$ $x$ $m$ $n = 400$ $m = 200$

Saya melihat tiga skenario utama

Varian dari nilai prediksi pada satu titik spesifik lebih besar yaitu $x = x_0$ $Var \ \left[ \{\hat f^{(1)}_r(x_0), ..., \hat f^{(m)}_r(x_0)\} \right] > Var \ \left[ \{\hat f^{(1)}_g(x_0),...,\hat f^{(i)}_g(x_0)\} \right]$
Varians dalam lebih besar untuk semua poin dalam rentang $(1)$ $\{ x_1,...,x_{400} \}$ $(0,1)$
Variansnya lebih besar rata-rata (mis. Mungkin lebih kecil untuk beberapa poin)

Dalam kasus contoh mainan ini, ketiga skenario berlaku pada rentang yang membenarkan argumen bahwa kecocokan polinomial orde tinggi (merah) memiliki varian lebih tinggi daripada polinomial orde rendah (berwarna hijau). $(0,1)$

Kesimpulan terbuka

Apa yang harus diperdebatkan ketika ketiga skenario di atas tidak semuanya berlaku. Misalnya, bagaimana jika varian prediksi merah lebih besar dari rata-rata, tetapi tidak untuk semua poin.

Detail label

Pertimbangkan titik $x_0 = 0.5$

Bilah galat adalah rentang antara min dan maks $\hat f(x_0)$
Varians dihitung pada $x_0$
True adalah garis biru putus-putus $f(x)$

— Xavier Bourret Sicotte
sumber

Saya suka ide ini menggambarkan konsep menggunakan gambar. Saya bertanya-tanya tentang dua aspek posting Anda, dan saya harap Anda bisa mengatasinya. Pertama, dapatkah Anda menjelaskan secara lebih eksplisit bagaimana plot ini menunjukkan "varians fungsi"? Kedua, sama sekali tidak jelas bahwa plot merah menunjukkan "varians yang lebih besar" atau bahkan bahwa kedua plot setuju dengan perbandingan yang sederhana. Pertimbangkan penyebaran vertikal nilai merah di atas misalnya, dan bandingkan dengan penyebaran nilai hijau di titik yang sama: yang merah terlihat sedikit lebih menyebar daripada yang hijau.

x = 0.95,

$x=0.95,$

— whuber

Maksud saya bukanlah apakah mungkin untuk membaca plot Anda dengan presisi tinggi: itu adalah arti membandingkan dua plot seperti jika satu dapat dianggap sebagai varian "lebih tinggi" atau "lebih rendah" daripada yang lain dipertanyakan, mengingat kemungkinan bahwa untuk beberapa rentang varians prediksi akan lebih tinggi di satu plot dan untuk rentang lain varians akan lebih rendah.

x

$x$

x

$x$

— Whuber

Ya saya setuju - Saya telah mengedit posting untuk mencerminkan komentar Anda

— Xavier Bourret Sicotte