Apa perbedaan antara 'transfer pembelajaran' dan 'adaptasi domain'?

Apakah ada perbedaan antara 'transfer pembelajaran' dan 'adaptasi domain'?

Saya tidak tahu tentang konteks, tetapi pemahaman saya adalah bahwa kami memiliki beberapa dataset 1 dan melatihnya, setelah itu kami memiliki dataset 2 yang ingin kami sesuaikan dengan model kami tanpa pelatihan ulang dari awal, untuk mana 'transfer pembelajaran' dan 'adaptasi domain' membantu menyelesaikan masalah ini.

Menurut bidang Jaringan Syaraf Konvolusional:

• Yang saya maksud dengan 'transfer learning' adalah 'finetuning' [1]

• Dalam hal ini [2] tidak diawasi, tetapi haruskah 'adaptasi domain' selalu tidak diawasi?

Tampaknya ada beberapa perbedaan pendapat antara para peneliti tentang apa perbedaan antara 'transfer learning' dan 'adaptasi domain'.

Dari {0}:

Gagasan adaptasi domain terkait erat dengan transfer learning. Transfer belajar adalah istilah umum yang mengacu pada kelas masalah pembelajaran mesin yang melibatkan tugas atau domain yang berbeda. Dalam literatur, belum ada definisi standar pembelajaran transfer. Dalam beberapa makalah ini dipertukarkan dengan adaptasi domain.

Dari {1}:

Referensi:

• {0} Li, Qi. "Survei literatur: algoritma adaptasi domain untuk pemrosesan bahasa alami." Departemen Ilmu Komputer The Graduate Center, Universitas Kota New York (2012): 8-10. https://scholar.google.com/scholar?cluster=2828982016930721315&hl=id&as_sdt=0,22 ; https://pdfs.semanticscholar.org/532e/3d5b1b5807771b77cac60fe8594b506fcff9.pdf ; http://nlp.cs.rpi.edu/paper/qisurvey.pdf ( mirror )

• {1} Pan, Sinno Jialin, dan Qiang Yang. "Sebuah survei tentang pembelajaran transfer." Transaksi IEEE pada pengetahuan dan rekayasa data 22, no. 10 (2010): 1345-1359. https://scholar.google.com/scholar?cluster=17771403852323259019&hl=id&as_sdt=0,22 ; http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.158.4126&rep=rep1&type=pdf ( mirror ) (kutipan 2.6k)

Dari artikel Hal Daume [1]:

Pengaturan klasifikasi standar adalah distribusi input p (X) dan label distribusi p (Y | X). Adaptasi domain: ketika p (X) berubah antara pelatihan dan tes. Transfer pembelajaran: ketika p (Y | X) berubah antara pelatihan dan tes.

Dengan kata lain, dalam DA distribusi input berubah tetapi label tetap sama; dalam TL, distribusi input tetap sama, tetapi label berubah.

1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html ( mirror )

Sepanjang literatur tentang transfer belajar, ada sejumlah inkonsistensi terminologi. Frasa seperti pembelajaran transfer dan adaptasi domain digunakan untuk merujuk pada proses yang serupa. Adaptasi domain adalah proses mengadaptasi satu atau lebih domain sumber untuk sarana mentransfer informasi untuk meningkatkan kinerja pelajar target. Proses adaptasi domain berusaha mengubah domain sumber dalam upaya membawa distribusi sumber lebih dekat ke target. Dalam pengaturan Adaptasi Domain, domain sumber dan target memiliki distribusi marginal yang berbeda p (X). Menurut survei Pan, Transfer Pembelajaran adalah istilah yang lebih luas yang juga dapat mencakup kasus ketika ada perbedaan dalam distribusi bersyarat p (Y | X) dari domain sumber dan target. Sebaliknya,

1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html

Saya pikir "Transfer Pembelajaran" adalah istilah yang lebih umum, dan "Adaptasi Domain" adalah skenario "Transfer Pembelajaran".

[1] Perhatian yang Dapat Dipindahtangankan untuk Adaptasi Domain. http://ise.thss.tsinghua.edu.cn/~mlong/doc/transferable-attention-aaai19.pdf

Menurut [1], adaptasi domain adalah pembelajaran transfer di NLP: "Transfer belajar dalam domain NLP kadang-kadang disebut sebagai adaptasi domain."

[1] Pan, SJ, dan Q. Yang. "Sebuah Survei tentang Transfer Belajar." Transaksi IEEE pada Pengetahuan dan Rekayasa Data 22, no. 10 (Oktober 2010): 1345–59. https://doi.org/10.1109/TKDE.2009.191 atau https://www.cse.ust.hk/~qyang/Docs/2009/tkde_transfer_learning.pdf