Kapan harus menggunakan banyak model untuk prediksi?

Ini adalah pertanyaan yang cukup umum:

Saya biasanya menemukan bahwa menggunakan beberapa model berbeda mengungguli satu model ketika mencoba untuk memprediksi deret waktu dari sampel. Apakah ada tulisan bagus yang menunjukkan bahwa kombinasi model akan mengungguli model tunggal? Apakah ada praktik terbaik dalam menggabungkan beberapa model?

Beberapa referensi:

• Hui Zoua, Yuhong Yang "Menggabungkan model deret waktu untuk perkiraan" International Journal of Forecasting 20 (2004) 69- 84

Terkadang model semacam ini disebut ansambel. Sebagai contoh , halaman ini memberikan gambaran yang bagus tentang cara kerjanya. Juga referensi yang disebutkan di sana sangat bermanfaat.

Tahun terakhir kompetisi NetFlix Prize (2009) bagi saya tampaknya telah mengubah secara tajam anggapan umum masyarakat terhadap penggabungan berbagai algoritma pembelajaran.

Sebagai contoh, pelatihan formal saya (kursus universitas) dan kemudian pengawasan / mentoring di tempat kerja mengajarkan kami untuk menghindari kombinasi algoritma kecuali kami memiliki alasan eksplisit untuk melakukannya - dan "untuk meningkatkan resolusi algoritma saya saat ini", bukan Benar-benar dianggap alasan yang bagus. (Orang lain mungkin memiliki pengalaman yang berbeda - tentu saja saya menyimpulkan pandangan komunitas berdasarkan hanya pada pengalaman saya sendiri, meskipun pengalaman saya dalam pengkodean algoritma ML berkinerja buruk sangat besar.)

Namun, ada beberapa "pola" di mana menggabungkan algoritma dengan satu atau lain cara diterima, dan benar-benar meningkatkan kinerja. Bagi saya, contoh paling sering melibatkan beberapa algoritma ML yang dikonfigurasi dalam mode mesin (menetapkan label kelas untuk setiap titik data) dan di mana terdapat lebih dari dua kelas (biasanya lebih banyak). Ketika misalnya, menggunakan algoritma pembelajaran terawasi untuk menyelesaikan empat kelas, dan kita akan melihat pemisahan yang sangat baik kecuali untuk katakanlah Kelas III versus Kelas IV. Jadi dari enam batas keputusan itu, hanya satu yang diselesaikan di bawah ambang batas yang disyaratkan. Terutama ketika kelas III dan IV bersama-sama menyumbang sebagian kecil dari data, menambahkan algoritma tambahan yang dioptimalkan hanya pada resolusi kedua kelas, adalah solusi yang cukup umum untuk jenis masalah analitis ini. (Biasanya 'blind spot' itu adalah batasan inheren dari algoritma primer - misalnya, itu adalah classifier linier dan batas keputusan III / IV adalah non-linear.

Dengan kata lain, ketika kami memiliki algoritma yang andal cocok dengan lingkungan pemrosesan (yang biasanya streaming data) dan yang dilakukan dalam spesifikasi kecuali untuk satu blind spot yang menyebabkannya gagal menyelesaikan dua (atau lebih) kelas yang diperhitungkan sebagian kecil dari data, maka itu selalu lebih baik untuk 'bolt-on' algoritma khusus lain untuk menangkap apa yang algoritma utama hilang secara sistematis.

Terakhir, pada topik ini, saya sangat merekomendasikan Bab 17, Menggabungkan Banyak Pembelajar , dalam Pengantar Pembelajaran Mesin , 2d, oleh Ethem Alpaydin, MIT Press, 2010. Perhatikan bahwa ini adalah edisi kedua yang diterbitkan beberapa bulan yang lalu; edisi pertama diterbitkan pada tahun 2004 dan saya ragu ia memiliki cakupan yang sama untuk topik ini. (Sebenarnya saya merekomendasikan seluruh teks, tetapi bab itu khususnya karena berkaitan dengan Pertanyaan Shane.)

Dalam 25 halaman, penulis merangkum kemungkinan setiap skema kombinasi algoritma ML yang utilitasnya telah ditunjukkan dalam literatur atau praktik akademik - misalnya, mengantongi, meningkatkan, campuran pakar, generalisasi bertumpuk, kaskade, pemungutan suara, koreksi kesalahan, .. ..

Menindaklanjuti tanggapan Peter tentang metode ensemble:

• Ini tercakup dalam "Elemen Pembelajaran Statistik" (lihat halaman 288, misalnya).
• Witten dan Frank "Penambangan Data: Alat dan Teknik Pembelajaran Mesin Praktis" mencakup hal ini di bagian 7.5, termasuk diskusi tentang Bagging, Randomization, Boosting, Regresi aditif, Regresi logistik aditif, pohon opsi, pohon model logistik, dan susun.
• Ini dicakup dalam Bab 14 dari Christopher M. Bishop "Pengenalan Pola dan Pembelajaran Mesin" , termasuk Bayesian Model Averaging, Boosting, Komite, Model Berbasis Pohon, dan Model Campuran Bersyarat.

Contoh paling spektakuler adalah tantangan Netflix , yang menjadikannya sangat populer dalam memadukan popularitas.

Ini jawaban yang sedikit keluar dari kolom kiri, yang hanya menyentuh bagian "praktik terbaik dalam menggabungkan beberapa model" dari pertanyaan Anda. Ini pada dasarnya adalah tesis kehormatan saya, kecuali bahwa saya sedang berhadapan dengan model yang kompleks, sangat non-linier yang menunjukkan kekacauan dan kebisingan - model iklim. Ini tidak mungkin berlaku luas untuk banyak bidang, tetapi mungkin berguna dalam ekologi atau ekonometrik.

Sampai cukup baru di komunitas pemodelan iklim, sebagian besar model hanya dihancurkan bersama dalam rata-rata tertimbang (biasanya setelah koreksi bias melibatkan penghapusan rata-rata model untuk sebagian atau seluruh periode sampel). Ini pada dasarnya adalah apa yang dilakukan IPCC untuk laporan penilaian ke-4 (4AR), dan laporan sebelumnya.

Ini kurang lebih merupakan contoh dari sekolah " kebenaran plus kesalahan " kombinasi ansambel, di mana secara diam-diam atau eksplisit diasumsikan bahwa seri pengamatan (mis. Suhu global, curah hujan lokal, dll) adalah benar, dan jika Anda mengambil sampel yang cukup (mis. model berjalan), noise dalam model berjalan akan dibatalkan (lihat (1)).

Baru-baru ini, metode untuk menggabungkan model berdasarkan bobot kinerja telah digunakan. Karena model iklim sangat berisik, dan memiliki begitu banyak variabel dan parameter, satu-satunya cara menilai kinerja (yang saya tahu) adalah dengan mengambil kovarians, atau dengan mengambil MSE antara output model dan seri waktu yang diamati. Model kemudian dapat dikombinasikan dengan menimbang rata-rata berdasarkan ukuran itu. Ada gambaran bagus tentang hal ini di (2).

Satu asumsi di balik metode menggabungkan simulasi ini adalah asumsi bahwa semua model cukup independen - jika beberapa sangat tergantung, mereka akan bias rata-rata. Asumsi ini cukup adil untuk dataset yang digunakan untuk 4AR ( CMIP3 , karena kumpulan data ini terdiri dari beberapa model yang dijalankan dari banyak kelompok pemodelan (di sisi lain, kode dibagi dalam komunitas pemodelan, sehingga mungkin masih ada beberapa saling ketergantungan). Untuk tampilan yang menarik, lihat (3)) Dataset untuk laporan penilaian berikutnya, CMIP5, tidak memiliki atribut yang agak kebetulan ini - beberapa tim pemodelan akan mengirimkan beberapa proses, sementara beberapa akan mengirimkan ratusan. Ensembel yang berasal dari tim yang berbeda dapat diproduksi oleh kondisi awal peturbasi, atau dengan perubahan pada model fisika dan parametrisasi. Juga, ansambel super ini tidak disampel secara sistematis - hanya siapa yang membawa data diterima (sesuai alasan). Ini dikenal di lapangan sebagai " ansambel peluang ". Ada kemungkinan yang adil bahwa menggunakan rerata tidak tertimbang pada ansambel seperti itu akan memberi Anda beberapa bias besar terhadap model dengan lebih banyak berjalan (karena meskipun ada ratusan berjalan, ada kemungkinan jauh lebih kecil jumlah berjalan benar-benar independen).

Atasan saya memiliki makalah yang sedang ditinjau saat ini yang menggambarkan proses kombinasi model yang melibatkan pembobotan kinerja dan independensi . Ada abstrak makalah konferensi yang tersedia (4), saya akan memposting tautan ke makalah saat dipublikasikan (proses lambat, jangan menahan nafas). Pada dasarnya, makalah ini menjelaskan proses yang melibatkan pengambilan kovarians kesalahan model (model-obs), dan pembobotan model yang memiliki kovarians tinggi dengan semua model lain, (mis. Model dengan kesalahan sangat tergantung). Varians kesalahan model juga dihitung, dan digunakan sebagai komponen pembobot kinerja.

Perlu juga dicatat bahwa pemodelan iklim jelas sangat dipengaruhi oleh keanehan pemodelan numerik secara umum. Ada hal yang disebut "tes tertawa" - jika Anda berakhir dengan model yang menyiratkan bahwa suhu rata-rata global akan + 20 ° C pada tahun 2050, Anda cukup membuangnya, karena itu jelas tidak relevan secara fisik. Jelas tes semacam ini cukup subjektif. Saya belum membutuhkannya, tapi saya harapkan dalam waktu dekat.

Itulah pemahaman saya tentang kombinasi model keadaan di bidang saya saat ini. Jelas saya masih belajar, jadi jika saya menemukan sesuatu yang istimewa, saya akan kembali dan memperbarui jawaban ini.

(1) Tebaldi, C. & Knutti, R., 2007. Penggunaan ansambel multi-model dalam proyeksi iklim probabilistik. Transaksi filosofis dari Royal Society A: Matematika, Fisik dan Ilmu Teknik, 365 (1857), hal.2053-2075.

(2) Knutti, R. et al., 2010. Pertemuan Pakar IPCC tentang Menilai dan Menggabungkan Proyeksi Iklim Multi Model.

(3) Masson, D. & Knutti, R., 2011. Silsilah model iklim. Geophys. Res. Lett, 38 (8), p.L08703.

(4) Abramowitz, G. & Bishop, C., 2010. Mendefinisikan dan memberi bobot pada ketergantungan model dalam prediksi ensemble. Dalam Abstrak Pertemuan Musim Gugur AGU. hal. 07