Ketika kami menilai kualitas Hutan Acak, misalnya menggunakan AUC, apakah lebih tepat untuk menghitung jumlah ini di atas Sampel Luar Tas atau lebih dari seperangkat validasi silang tahan?

Saya mendengar bahwa menghitungnya melalui Sampel OOB memberikan penilaian yang lebih pesimistis, tetapi saya tidak mengerti mengapa.

cross-validation random-forest auc

— pengguna695652
sumber

Catatan: Walaupun saya merasa bahwa jawaban saya mungkin benar, saya juga merasa ragu karena saya mengatasinya dengan memikirkan masalah ini hanya setelah membaca pertanyaan ini selama sekitar 30-60 menit. Jadi, Anda sebaiknya bersikap skeptis dan mencermati hal ini dan tidak tertipu oleh gaya penulisan saya yang terlalu percaya diri (saya menggunakan kata-kata besar dan simbol-simbol Yunani yang mewah tidak berarti saya benar).

Ringkasan

Ini hanya ringkasan. Semua detail disebutkan di bagian $\S1$ dan $\S2$ bawah.

Mari kita asumsikan kasus klasifikasi (dapat diperluas ke regresi juga, tetapi hilangkan untuk singkatnya). Intinya, tujuan kami adalah memperkirakan kesalahan hutan pohon. Kedua kesalahan out-of-bag dan validasi silang k-fold mencoba memberi tahu kami probabilitas bahwa:

Hutan memberikan klasifikasi yang benar (validasi silang k-fold melihatnya dengan cara ini).

Yang identik dengan probabilitas bahwa:

Suara terbanyak dari pohon hutan adalah suara yang benar (OOBE melihatnya dengan cara ini).

Dan keduanya identik. Satu-satunya perbedaan adalah bahwa k-fold cross-validation dan OOBE mengasumsikan ukuran sampel pembelajaran yang berbeda. Sebagai contoh:

Dalam validasi silang 10 kali lipat, set pembelajaran adalah 90%, sedangkan set pengujian adalah 10%.
Namun, dalam OOBE jika setiap kantong memiliki $n$ sampel, sehingga $n =$ jumlah total sampel dalam set sampel keseluruhan, maka ini menyiratkan bahwa set pembelajaran praktis sekitar 66% (dua pertiga) dan set pengujian sekitar 33% ( sepertiga).

Oleh karena itu dalam pandangan saya satu-satunya alasan mengapa OOBE adalah perkiraan pesimistis kesalahan hutan hanya karena biasanya dilatih oleh sejumlah kecil sampel daripada biasanya dilakukan dengan validasi silang k-fold (di mana 10 lipatan adalah umum).

Karena itu, saya juga berpikir bahwa validasi silang 2 kali lipat akan menjadi estimasi yang lebih pesimistis dari kesalahan hutan daripada OOBE, dan validasi silang 3 kali lipat akan kurang lebih sama pesimistisnya dengan OOBE.

1. Memahami kesalahan out-of-bag

1.1 Pandangan umum tentang mengantongi

Setiap pohon dalam RF ditumbuhkan oleh daftar sampel yang diambil secara acak dari perangkat pembelajaran dengan penggantian. Dengan cara ini, banyak sampel dapat memiliki duplikat, dan jika maka dapat ditemukan bahwa sekitar sepertiga dari sampel dalam cenderung berakhir tidak ada dalam daftar sampel yang digunakan untuk menumbuhkan pohon tertentu (ini adalah sampel out-of-bag dari pohon tertentu ini. Proses ini diulangi secara independen untuk setiap pohon, sehingga setiap pohon memiliki sampel sampel yang berbeda. $n$ $\mathcal{X}$ $n$ $n = |\mathcal{X}|$ $\mathcal{X}$ $n$

1.2. Pandangan lain tentang mengantongi

Sekarang, mari kita gambarkan kembali bagging sedikit berbeda dengan harapan menemukan deskripsi yang sama yang mudah untuk ditangani.

Saya melakukan ini dengan menyatakan bahwa pohon dilatih oleh sampel dikantongi di set . Namun, hal ini tidak sepenuhnya benar sebagai himpunan tidak telah diduplikasi sampel (ini adalah bagaimana set bekerja), sedangkan -on yang tangan-lain daftar sampel dapat memiliki duplikat. $t$ $\mathcal{X}_t \subseteq \mathcal{X}$ $\mathcal{X}_t$ $n$

Oleh karena itu, kita dapat mengatakan bahwa pohon tumbuh dengan sampel analisis ditambah sejumlah duplikat yang dipilih secara acak diambil dari , yaitu , seperti itu: $t$ $\mathcal{X}_t$ $\mathcal{X}_t$ $\mathcal{X}_{t,1}, \mathcal{X}_{t,2}, \ldots, \mathcal{X}_{t,r} \subseteq \mathcal{X}_t$

| X_{t} | + \sum_{saya = 1}^{r} | X_{t, saya} | = n

$\begin{equation} |\mathcal{X}_t| + \sum_{i=1}^r|\mathcal{X}_{t,i}| = n \end{equation}$

Hal ini sepele untuk melihat bahwa dari koleksi ini dari set , kita dapat mendefinisikan daftar sampel -banyak yang berisi duplikat hanya dengan menambahkan unsur-unsur di setiap set ke sebuah array . Dengan cara ini, untuk setiap , terdapat setidaknya satu nilai dari sehingga $\mathcal{C} = \{\mathcal{X}_t, \mathcal{X}_{t,1}, \ldots, \mathcal{X}_{t,r}\}$ $n$ $\mathcal{C}_i \in \mathcal{C}$ $a$ $1 \le p \le n$ $i$ $a[p] \in \mathcal{C}_i$ .

Kita juga dapat melihat bahwa daftar sampel dalam array merupakan generalisasi dari mengantongi seperti yang saya didefinisikan dalam Bagian 1. Hal ini sepele untuk melihat bahwa untuk beberapa definisi khusus dari bahwa saya telah didefinisikan dalam bagian ini ( ) , daftar sampel dalam array dapat persis sama dengan daftar sampel sebagaimana didefinisikan dalam Bagian 1. $n$ $a$ $\mathcal{X}_t$ $\S2$ $a$

1.3. Menyederhanakan pengemasan

Alih-alih tumbuh pohon dengan sampel dalam array , kita akan tumbuh mereka dengan daftar duplikasi bebas dari kasus yang ditemukan dalam saja. $t$ $a$ $\mathcal{X}_t$

Saya percaya bahwa, jika cukup besar, pohon yang tumbuh dengan menganalisis sampel di identik dengan yang lain pohon yang tumbuh dari sampel dalam array . $n$ $t$ $\mathcal{X}_t$ $t'$ $a$

Alasan saya adalah bahwa, kemungkinan duplikasi sampel di adalah sama-sama mungkin di seluruh sampel lainnya di set yang sama. Ini berarti bahwa, ketika kami mengukur perolehan informasi (IG) dari beberapa split, IG akan tetap identik karena entropi akan tetap identik juga. $\mathcal{X}_t$

Dan alasan saya percaya entropi tidak akan berubah secara sistematis untuk split yang diberikan adalah karena probabilitas yang diukur secara empiris dari sampel memiliki label tertentu di beberapa sub-set (setelah menerapkan keputusan split) tidak akan berubah juga.

Dan alasan probabilitas tidak harus mengubah dalam pandangan saya adalah bahwa semua sampel di sama-sama kemungkinan akan digandakan ke eksemplar. $\mathcal{X}_t$ $d$

1.4 Mengukur kesalahan out-of-bag

Mari menjadi out-of-kantong sampel pohon . Yaitu . Kemudian kesalahan satu pohon adalah: $\mathcal{O}_t$ $t$ $\mathcal{O}_t = \mathcal{X} \setminus \mathcal{X}_t$ $t$ Dan total kesalahan hutan denganbanyak pohon adalah:

\frac{total x di {HAI}_{t} correctly classified by t}{| O_{t} |}

$\begin{equation} \frac{\text{total $\mathbf{x}$ in $\mathcal{O}_t$ correctly classified by $t$}}{|\mathcal{O}_t|} \end{equation}$

n_{t}

$n_t$

yang dapat dianggap sebagaiprobabilitas yangdiukur secara empirisbahwa suara mayoritas dari semua pohon di hutan adalah suara yang benar.

\frac{\sum_{t = 1}^{n_{t}} total x in O_{t} correctly classified by t}{\sum_{t = 1}^{n_{t}} | O_{t} |}

$\begin{equation} \frac{\sum_{t=1}^{n_t} \text{total $\mathbf{x}$ in $\mathcal{O}_t$ correctly classified by $t$}}{\sum_{t=1}^{n_t}|\mathcal{O}_t|} \end{equation}$

2. Memahami k-fold cross-validation

$\mathcal{X}$ $n_k$ $\mathcal{K} = \{\mathcal{K}_1, \mathcal{K}_2, \ldots, \mathcal{K}_{n_k}\}$ $\mathcal{K}_1 \cup \mathcal{K}_2 \cup \ldots \cup \mathcal{K}_{n_k} = \mathcal{X}$ $\mathcal{K}_i, \mathcal{K}_j \in \mathcal{K}$ $\mathcal{K}_i \cap \mathcal{K}_j = \emptyset$

$\mathcal{K}_t$ $\mathcal{K} \setminus \{\mathcal{K}_t\}$

$f$ $\mathcal{K} \setminus \{\mathcal{K}_t\}$

$f$

\frac{\sum_{t = 1}^{n_{k}} total x in K_{t} correctly classified by f}{\sum_{t = 1}^{n_{k}} | K_{t} |}

$\begin{equation} \frac{\sum_{t=1}^{n_k} \text{total $\mathbf{x}$ in $\mathcal{K}_t$ correctly classified by $f$}}{\sum_{t=1}^{n_k} |\mathcal{K}_t|} \end{equation}$

$f$

— manusia gua
sumber

Mengevaluasi Hutan Acak: OOB vs CV