Apa perbedaan antara deteksi objek, segmentasi semantik, dan lokalisasi?

23

Saya telah membaca kata-kata itu dalam publikasi yang cukup banyak dan saya ingin memiliki beberapa definisi yang bagus untuk istilah-istilah tersebut yang memperjelas perbedaan antara deteksi objek vs segmentasi semantik vs lokalisasi. Alangkah baiknya jika Anda bisa memberikan sumber untuk definisi Anda.

terminology computer-vision

— Martin Thoma
sumber

1

Lihat slide di sini: - cs231n.stanford.edu/slides/2017/cs231n_2017_lecture11.pdf

— Shatu

18

Saya membaca banyak makalah tentang, Deteksi Objek, Pengakuan Objek, Segmentasi Objek, Segmentasi Gambar dan Segmentasi Gambar Semantik dan inilah kesimpulan saya yang mungkin tidak benar:

Pengakuan Objek: Pada gambar yang diberikan Anda harus mendeteksi semua objek (kelas objek terbatas bergantung pada dataset Anda), Lokalkan dengan kotak pembatas dan label kotak pembatas dengan label. Pada gambar di bawah ini Anda akan melihat output sederhana dari keadaan pengenalan objek seni.

pengenalan objek

Deteksi Objek: ini seperti pengenalan Objek tetapi dalam tugas ini Anda hanya memiliki dua kelas klasifikasi objek yang berarti kotak pembatas objek dan kotak pembatas objek. Misalnya Deteksi mobil: Anda harus Mendeteksi semua mobil dalam gambar yang diberikan dengan kotak pembatasnya.

Deteksi Objek

Segmentasi Objek: Seperti pengenalan objek, Anda akan mengenali semua objek dalam suatu gambar tetapi output Anda harus menunjukkan objek ini dengan mengelompokkan piksel-piksel dari gambar tersebut.

segmentasi objek

Segmentasi Gambar: Dalam segmentasi gambar Anda akan mengelompokkan wilayah gambar. output Anda tidak akan memberi label segmen dan wilayah gambar yang konsisten satu sama lain harus dalam segmen yang sama. Mengekstraksi piksel super dari gambar adalah contoh dari tugas ini atau segmentasi latar latar depan.

segmentasi gambar

Segmentasi Semantik: Dalam segmentasi semantik Anda harus memberi label setiap piksel dengan kelas objek (Mobil, Orang, Anjing, ...) dan non-objek (Air, Langit, Jalan, ...). Saya kata lain dalam Segantic Semantic Anda akan memberi label setiap wilayah gambar.

segmentasi semantik

— e_soroush
sumber

jawaban bagus. Saya akan mencatat bahwa cs231n.stanford.edu/slides/winter1516_lecture8.pdf slide 8 menggunakan definisi yang berbeda dari deteksi objek yang mendeteksi beberapa kelas dan beberapa instance dalam kelas yang sama (saya tidak tahu apakah ada definisi yang diterima tunggal atau tidak, jadi ini mungkin hanya karena ambiguitas).

— Keith

1

contoh segmentasi, seperti segmentasi semantik tetapi kita harus memberi label pada sapi sebagai terpisah

— titus

2

Slide dari komentar pertama ada di sini sekarang: - cs231n.stanford.edu/slides/2017/cs231n_2017_lecture11.pdf

— Shatu

5

Karena masalah ini masih belum begitu jelas bahkan sekarang pada tahun 2019, dan ini mungkin membantu ML-Pembelajar baru memilih, berikut adalah gambar yang sangat bagus yang menunjukkan perbedaan:

(lokalisasi adalah kotak pembatas di sekitar kelas "domba", setelah klasifikasi gambar dilakukan) sumber: Towardsdatascience.com

— kabut
sumber

3

Saya percaya hanya "lokalisasi" berarti "klasifikasi objek tunggal + lokalisasi menggunakan kotak pembatas 2D atau 3D".

"Deteksi objek" adalah melokalisasi + mengklasifikasikan semua instance dari kelas objek yang diketahui yang dipertanyakan.

Segmentasi Semantik pada dasarnya adalah klasifikasi per-piksel.

Juga menggunakan metrik yang terlibat (sumber: https://devblogs.nvidia.com/parallelforall/deep-learning-object-detection-digits/ )

Presisi adalah rasio objek yang diidentifikasi secara akurat terhadap jumlah objek yang diprediksi (rasio positif sejati terhadap positif sejati ditambah positif palsu).

Ingat adalah rasio objek yang diidentifikasi secara akurat dengan jumlah objek aktual dalam gambar (rasio positif sejati terhadap positif sejati ditambah negatif sejati).

mAP: skor Average Precision rata-rata yang disederhanakan berdasarkan pada produk presisi dan penarikan untuk DetectNet. Ini adalah ukuran gabungan yang baik untuk seberapa sensitif jaringan terhadap objek yang diminati dan seberapa baik ia menghindari alarm palsu.

— Andrei Pokrovsky
sumber

2

Istilah lokalisasi tidak jelas. Karena itu saya akan membahas istilah deteksi objek dan segmentasi semantik.

Dalam deteksi objek, setiap piksel gambar diklasifikasi apakah termasuk dalam kelas tertentu (mis. Wajah) atau tidak. Dalam praktiknya, ini disederhanakan dengan mengelompokkan piksel bersama-sama untuk membentuk kotak pembatas sehingga mengurangi masalah untuk memutuskan apakah kotak pembatas cocok erat di sekitar objek. Karena piksel dapat menjadi bagian dari banyak objek (mis. Wajah, mata), piksel tersebut dapat menampung banyak label secara bersamaan.

Di sisi lain, segmentasi semantik melibatkan pemberian label kelas untuk setiap piksel gambar. Meskipun mereka memungkinkan akurasi pelokalan yang lebih baik karena mereka tidak memasukkan penyederhanaan kotak pembatas, mereka secara ketat menegakkan label tunggal per piksel.

— Facetector
sumber

-2

Segmentasi semantik: Ini adalah tugas pengelompokan bagian-bagian gambar bersama yang milik kelas objek yang sama. misalnya: mendeteksi rambu-rambu jalan

— Gan
sumber

2

Tetapi mendeteksi rambu-rambu jalan adalah deteksi objek. Bisakah Anda menjelaskan perbedaannya?

— reinierpost