Hutan acak untuk regresi multivariat

Saya punya masalah regresi multi-output dengan fitur input dan output. Keluaran memiliki struktur korelasi non-linear yang kompleks. $d_x$ $d_y$

Saya ingin menggunakan hutan acak untuk melakukan regresi. Sejauh yang saya tahu, hutan acak untuk regresi hanya bekerja dengan satu output, jadi saya harus melatih hutan acak - satu untuk setiap output. Ini mengabaikan korelasi mereka. $d_y$

Apakah ada perluasan ke hutan acak yang memperhitungkan korelasi keluaran? Mungkin sesuatu seperti regresi proses Gaussian untuk pembelajaran multi-tugas .

regression multivariate-analysis random-forest

— sergeyf
sumber

inilah yang saya dapat menggali sejauh ini: scikit-learn.org/dev/modules/tree.html#multi-output-problems

— sergeyf

yakin. saya punya "gambar" dimensi tinggi (sebenarnya spektrum dI / dV) dari peptida. tujuannya adalah untuk mengetahui lokasi & kelas asam amino yang membentuk peptida. pendekatan pertama saya adalah segmentasi gambar, tetapi CRF dan hutan acak pixel-wise gagal. jadi sekarang, alih-alih mengatakan setiap piksel "milik" satu & hanya satu asam amino (tidak benar-benar benar), saya menetapkan setiap piksel nilai "pengaruh" relatif dari asam amino terdekat. Hasil ini dalam

histogram dimensi untuk setiap pixel. karenanya, regresi keluaran berganda!

d_{y}

$d_y$

— sergeyf

Mungkin jawaban yang terlambat: di Crimisini et al. Hutan Keputusan: Kerangka Kerja Terpadu untuk Klasifikasi, Regresi, Estimasi Kepadatan, Beragam Belajar bahwa mereka menggunakan RF dengan cara yang mungkin cocok untuk Anda untuk identifikasi batas organ.

— Simone

Ini mungkin terlambat juga, tetapi mungkin membantu siapa saja yang menemukan posting ini. Random Forest dapat dengan mudah dilatih menggunakan data multivarian. Semuanya terjadi dengan cara yang sama, namun alih-alih menggunakan varians untuk perhitungan perolehan informasi, kami menggunakan kovarians dari beberapa variabel output. Dan yang lebih penting, daunnya sekarang mengandung PDF N-dimensional.

— masad

Saya tidak tahu bahwa RF "Ini mengabaikan korelasi mereka". Mengingat sifat ensemble dari RF, saya pikir mereka mungkin menjelaskan korelasinya. Jika mereka mengambil input univariat dan memberikan output univariat maka mereka tidak akan dihitung untuk korelasi.

— EngrStudent

Berikut adalah contoh masalah regresi multi-output yang dilakukan dengan pengenalan wajah. Ini termasuk sampel pengkodean juga, itu akan memberi Anda awal dengan metodologi Anda. http://scikit-learn.org/stable/auto_examples/plot_multioutput_face_completion.html

— oranye1
sumber

Ada paket baru khusus untuk itu (tidak diuji secara pribadi)

https://cran.r-project.org/package=MultivariateRandomForest

— MM
sumber