Saya tidak tahu algoritma apa yang digunakan Google. Tetapi, karena Anda menginginkan tebakan terbaik, izinkan saya memberikan beberapa ide tentang bagaimana sistem serupa dapat dibangun .
Seluruh bidang yang berhubungan dengan pencarian-gambar-basis-oleh-gambar disebut Content Based Image Retrieval (CBIR) . Idenya adalah untuk, entah bagaimana, membangun representasi gambar (tidak selalu dapat dimengerti oleh manusia) yang berisi informasi tentang konten gambar .
Ada dua pendekatan dasar:
- pengambilan menggunakan fitur tingkat rendah (lokal): warna, tekstur, bentuk pada bagian-bagian tertentu dari gambar (gambar adalah kumpulan deskriptor fitur lokal )
- pendekatan semantik di mana gambar, dalam beberapa cara, direpresentasikan sebagai kumpulan objek dan hubungan mereka
Pendekatan lokal tingkat rendah diteliti dengan sangat baik. Pendekatan terbaik saat ini mengekstrak fitur lokal (ada pilihan algoritma ekstraksi fitur yang terlibat di sini) dan menggunakan deskriptor lokal mereka (sekali lagi, pilihan deskriptor) untuk membandingkan gambar.
Dalam karya-karya baru, deskriptor lokal dikelompokkan terlebih dahulu dan kemudian cluster diperlakukan sebagai kata - kata visual - teknik ini kemudian sangat mirip dengan pencarian dokumen Google, tetapi menggunakan kata-kata visual, bukan kata-kata.
Anda dapat menganggap kata-kata visual sebagai padanan dengan akar kata dalam bahasa: misalnya, kata-kata: kerja, kerja, bekerja semua milik kata akar kata yang sama.
Salah satu kelemahan dari metode semacam ini adalah bahwa mereka biasanya berkinerja rendah pada gambar dengan tekstur rendah.
Saya sudah memberikan dan melihat banyak jawaban yang merinci pendekatan ini, jadi saya hanya akan memberikan tautan ke jawaban-jawaban itu:
- CBIR: 1 , 2
- ekstraksi / deskripsi fitur: 1 , 2 , 3 , 4
Pendekatan semantik biasanya didasarkan pada representasi hierarkis dari keseluruhan gambar. Pendekatan-pendekatan ini belum disempurnakan, terutama untuk tipe gambar umum. Ada beberapa keberhasilan dalam menerapkan teknik semacam ini pada domain gambar tertentu.
Saat ini saya sedang dalam penelitian pendekatan ini, saya tidak dapat membuat kesimpulan. Nah, yang mengatakan, saya menjelaskan ide umum di balik teknik-teknik ini dalam jawaban ini .
Sekali lagi, singkat: ide umumnya adalah untuk merepresentasikan gambar dengan struktur berbentuk pohon, di mana daun berisi detail gambar dan objek dapat ditemukan di simpul yang lebih dekat ke akar pohon tersebut. Kemudian, entah bagaimana, Anda membandingkan sub-pohon untuk mengidentifikasi objek yang terdapat dalam gambar yang berbeda.
Berikut adalah beberapa referensi untuk representasi pohon yang berbeda. Saya tidak membaca semuanya, dan beberapa dari mereka menggunakan representasi seperti ini untuk segmentasi daripada CBIR, tapi tetap saja, ini dia:
- pohon partisi biner dan penyebutan pohon min / maks: P. Salembier, MHF Wilkinson: Operator Terhubung
- pohon partisi biner: V. Vilaplana, F. Marques, P. Selembier: Pohon Partisi Biner untuk Deteksi Objek
- pohon bentuk (pohon komponen): P. Monasse, F. Guichard: Komputasi Cepat Representasi Gambar Kontras-Invarian , C. Ballester, V. Castellis, P. Monasse: Pohon Bentuk Gambar
- pohon monoton: Y. Song, A. Zhang: Menganalisis gambar pemandangan dengan pohon monoton
- edit: menggali lebih lanjut menunjukkan bahwa pohon bentuk dan pohon monoton yang setara , kecuali pengolahan gambar di 4- / 8- (pohon bentuk) atau 6-konektivitas (monoton)
- pohon DAS ekstrema : A. Vichik, R. Keshet, D. Malah: Self-dual morfologi pada semilattice dan aplikasi pohon
- konektivitas terkendala, pohon alpha, daerah aliran air ultrametrik : P. Soille, L. Najman: Tentang representasi hierarkis morfologis untuk pemrosesan gambar dan pengelompokan data spasial