Pertanyaan Overfitting

Apakah Anda menganggapnya terlalu berlebihan?

overfitting

Jawaban:

Tidak, ini bukan contoh overfitting! Ini akan overfitting jika kerugian yang valid mulai meningkat sementara kehilangan pelatihan akan berkurang.

Sunting: jawaban untuk pertanyaan kedua Layak mempertimbangkan bagaimana auc dihitung. Kami memiliki probabilitas masing-masing contoh milik kelas positif. Lalu kami mengurutkan probabilitas ini. Jika semua instance positif muncul di bagian pertama daftar yang diurutkan dan semua negatif ada di bagian kedua, maka auc adalah 1 ("kinerja sempurna" menurut pengamatan auc).

Sekarang mari kita pertimbangkan perhitungan kerugian. Misalnya entropi silang biner. Rumusnya adalah mana - label nyata, - probabilitas bahwa termasuk dalam kelas positif. Kita dapat memprediksi untuk setiap pengamatan negatif, bahwa probabilitasnya adalah 0,998, maka kerugian akan sangat besar. Tetapi jika probabilitas yang diprediksi untuk pengamatan positif adalah 0,999 (lebih tinggi daripada untuk negatif), maka dalam hal AUC kita akan memiliki kinerja yang sempurna. $loss = -1/N * \sum{y_i * log(p(y_i)) + (1 - y_i)*log(1 - p(y_i))}$ $y_i$ $p(y_i)$ $y_i$

Itu sebabnya saya kira, kita harus mengevaluasi kerugian.

— Lana
sumber

Terima kasih Lana, meskipun perbedaan dalam kehilangan antara pelatihan dan validasi tidak menunjukkan overfitting?

— Nickolas Papanikolaou

@NickolasPapanikolaou itu normal, ketika kehilangan berbeda pada pelatihan dan set validasi, karena model menjadi lebih akrab dengan data, yang sudah terlihat dalam set pelatihan (itu alasannya, mengapa membagi menjadi tes, validasi, kereta biasanya dilakukan). Namun kinerja model pada data uji menunjukkan, model itu terus mengekstraksi beberapa informasi yang berguna, karena itu proses pembelajaran berlangsung tetapi lebih lambat dari sebelumnya.

— Lana

Tidak, ini tidak cocok.

Pertama-tama AUC persis sama antara set kereta dan validasi. Kerugian mungkin memiliki celah tetapi karena kerugian validasi masih menurun (meskipun lambat) Anda OK.

— Javier
sumber

Bagaimana dengan yang ini? Dalam hal itu, kerugian validasi meningkat tetapi AUC tidak mengikuti pola yang sama, yang mana yang dianggap kerugian atau kinerja?

— Nickolas Papanikolaou
sumber

Lupa menyebutkan AUC pada set tes holdout adalah 0,928

— Nickolas Papanikolaou

Kerugian apa yang Anda miliki? Apa distribusi kelas dalam set kereta dan tes?

— Lana

Saya telah menjawab pertanyaan ini, mengedit jawaban pertama saya. Dalam hal ini ada overfitting dan kinerja kerugian harus dievaluasi

— Lana

Jadi, pertanyaan baru Anda dan edisi saya adalah argumen yang menentang asumsi, yang dibuat oleh Javier: "Pertama-tama AUC persis sama antara set kereta dan validasi". Itu tidak bisa menjadi alasan utama

— Lana

Ketiga set (kereta, validasi, tes) sepenuhnya seimbang, saya telah menggunakan binary_crossentropy. Saya percaya masalah ini terkait dengan AUC, karena jika saya menggunakan akurasi kurva menyimpang (tanda-tanda overfitting), terima kasih banyak atas jawaban Anda

— Nickolas Papanikolaou