Apakah ada perangkat lunak yang dapat mengidentifikasi pencahayaan pada foto yang ada?

Apakah ada aplikasi yang akan mengambil wilayah foto yang dipilih, dan mengembalikan perkiraan parameter pencahayaan yang diperlukan untuk meniru kondisi pencahayaan di wilayah foto yang dipilih?

Tebakan saya pada parameter yang akan dikembalikan meliputi: sumber pencahayaan, sumber-kelonggaran, warna sumber, durasi sumber, sumber cahaya reflektif / insiden, sumber-gerak, dll. (Saya menerima umpan balik tentang dugaan ini, dan kemungkinannya bahwa mungkin untuk memodelkannya secara statis.)

lighting software white-balance

— kesalahan besar
sumber

Itu sepertinya perintah yang sulit. Ketika kita melihat foto, kita menerapkan pengetahuan sadar konteks tentang apa yang kita lihat (dengan kata lain, kita memiliki beberapa versi "normal" dalam pikiran kita yang dapat kita bandingkan dengan foto). Saya akan terkesan jika ada sesuatu di luar sana yang bisa melakukan ini.

— D. Lambert

@D. Lambert: Setuju, meskipun percaya beberapa algoritma dalam PhotoShop melakukan perhitungan untuk hal-hal seperti ini, tetapi tidak ada output yang dapat dibaca untuk penggunaan eksternal sejauh yang saya tahu; artinya perhitungan tersebut digunakan sebagai input untuk perhitungan lain.

— kesalahan

Pekerjaan yang diperlukan untuk membuat perangkat lunak seperti ini adalah jutaan kali lipat dibandingkan dengan 2-3 jam pelatihan yang dibutuhkan seseorang untuk menebak sebagian besar parameter secara akurat. Juga, beberapa dari hal-hal ini tidak mungkin diketahui ... durasi sumber?

— Jędrek Kostecki

+1 @ Jędrek Kostecki: Poin bagus mengenai manusia dapat melakukannya lebih cepat (saat ini), meskipun apa yang menyenangkan dalam hal itu ... :-) ... "sumber-durasi" misalnya flash digunakan.

— kesalahan

Ah, perangkat lunak terbaik di dunia mungkin adalah otak manusia. Algoritma dapat dikembangkan untuk ini yang bisa membuat perkiraan yang masuk akal berdasarkan highlight dan bayangan, tetapi mengapa melakukannya? Otak manusia cenderung melompat ke jawaban lebih cepat di bawah teknologi saat ini daripada komputer.

— John Cavan

Jawaban:

Sebenarnya ada sedikit penelitian di bidang ini:

Hasilnya terbatas, namun karena masalahnya secara besar-besaran tidak dibatasi, dalam hal ini ada jauh lebih tidak diketahui daripada ada data. Ini berarti solusi pasti tidak mungkin, dan jawaban apa pun yang Anda dapatkan tunduk pada ambiguitas.

Masalah lain untuk apa yang Anda sarankan adalah bahwa penelitian di bidang ini diarahkan pada pemahaman gambar mesin secara visual. Mampu memperkirakan pencahayaan akan menjadi penting untuk robot menavigasi labirin secara visual karena mereka akan dapat menilai sudut dinding dll. Aplikasi ini akan memiliki tuntutan yang berbeda pada perangkat lunak daripada tujuan artistik untuk menciptakan kembali pencahayaan dalam potret yang baik untuk contoh.

Pada subjek perbedaan antara penelitian dan perangkat lunak komersial, penelitian hari ini membentuk dasar dari perangkat lunak masa depan (salah satu alasan saya menjelajah melalui proses SIGGRAPH setiap tahun). Menjahit panorama otomatis adalah proyek penelitian sekali dan sekarang diterima begitu saja. Saya ingat pernah membaca tentang pengubahan ukuran konten saat dipublikasikan dalam konferensi visi komputer (saat itu disebut "jahitan ukiran") dan itu hanya beberapa tahun sebelum itu menjadi fitur standar di Photoshop.

Namun, ada perbedaan antara isi yang disadari konten dan apa yang Anda usulkan, dan ini adalah isi yang sadar konten dapat menghemat waktu perbaikan dan karenanya ada permintaan besar darinya. Memperkirakan kondisi pencahayaan foto adalah proses yang sangat cepat bagi seseorang yang mahir dalam pencahayaan.

Satu secercah harapan terakhir terletak di bidang produksi pasca video. Memperkirakan / memodelkan kondisi pencahayaan asli adalah penting untuk secara realistis mengomposisikan animasi yang dihasilkan komputer menjadi rekaman nyata (ketidakkonsistenan pencahayaan jauh lebih mungkin diperhatikan dalam gambar bergerak daripada dalam foto diam). Itu ditambah jumlah data tambahan yang tersedia dalam aliran video, dan saya membayangkan Anda akan melihat fitur yang Anda cari setelah muncul pertama kali dalam perangkat lunak pengedit video.

— Matt Grum
sumber

+1 @Matt Grum: Terima kasih, penelitian ini membantu "menerangi" masalah dengan memecahkan masalah ini. Dugaan saya adalah bahwa sensor robot dan AI kemungkinan besar akan menggunakan korelasi pengamatan longitudinal dari waktu dan ruang, mungkin termasuk filter untuk panjang gelombang cahaya yang berbeda; misalnya, inframerah untuk mendeteksi panas. Adapun tujuan artistik, maksud Anda, mereka kemungkinan besar akan memerlukan kesimpulan yang akan melampaui hanya lokasi kamera, lampu, dan objek.

— kesalahan

Saya kira orang harus menunjukkan bahwa ketika datang ke pano otomatis. menjahit, Anda memiliki semua informasi yang diperlukan tersedia di gambar yang Anda jahit. Itu sangat kontras dengan menebak pencahayaan yang menerangi sebuah adegan, karena (di luar cahaya DI dalam adegan) Anda tidak pernah benar-benar tahu apa sumber cahaya itu. Dalam penjahitan pano, Anda kaya informasi ... dalam menebak sumber cahaya, Anda mengalami anemia informasi. Ketika datang ke video dan CG, Anda memiliki pilihan jika secara eksplisit memasukkan informasi pencahayaan EXACT, dan menebak tidak perlu.

— jrista

@jrista itu benar, tetapi dalam isi sadar isi , Anda tidak memiliki informasi tentang daerah yang Anda coba isi, semuanya inferensi - seperti masalah estimasi pencahayaan, itu akan tampak sangat mustahil pada satu waktu tetapi sekarang ini merupakan fitur standar di Photoshop, GIMP

— Matt Grum

+1 @Matt Grum: Faktanya, isi yang sadar isi adalah apa yang saya pikirkan sebagai contoh kasar dari ini, inilah video yang menunjukkan contoh penggunaannya .

— kesalahan

@MattGrum: Jika Anda meriset bagaimana isi yang sadar bekerja, itu hampir tidak sama dengan informasi seperti pencahayaan yang muncul. Bagian penting dari pengisian konten sadar adalah kloning dari konten terdekat, bersama dengan beberapa algoritma cerdas dasar dan pencocokan pola untuk membuat isi konten kongruen dan konsisten dengan pola. Anda memiliki BANYAK informasi yang tersedia untuk membuat konten sadar berfungsi ... seperti penjahitan pano. Satu-satunya informasi yang Anda harus tebak pencahayaan adalah apa yang dipantulkan oleh pemandangan. Jumlah informasi berguna yang tersedia adalah urutan besarnya berbeda.

— jrista

Terus terang, tidak - tidak dengan perangkat lunak yang tersedia saat ini. Mungkin ada penelitian yang terjadi di sini dan siapa yang tahu apa yang akan terjadi di masa depan, tetapi saat ini, tidak.

Ada terlalu banyak informasi yang harus diproses oleh perangkat lunak - terutama di tingkat konsumen. Paling tidak, Anda harus punya cara untuk memberi tahu peranti lunak seperti apa subjeknya UNLIT. Itulah keunggulan yang dimiliki manusia - kita memiliki pra-visualisasi dalam benak kita tentang seperti apa subjek itu secara normal. Ini memungkinkan seseorang untuk mengatakan "well, dia TIDAK biasanya memiliki area gelap yang memudar di sana atau titik terang di sana".

Selain itu, ada BANYAK cara berbeda untuk menghasilkan efek yang sama dalam pencahayaan (walaupun banyak yang lebih umum daripada yang lain).

— rfusca
sumber

@rfusca: Ya, "pra-kesadaran" objek kualitas reflektif, dan hubungan kamera dengan lampu dan objek akan meningkatkan kemungkinan bahwa ini akan mungkin, masih berpikir ini mungkin; taksiran semua tidak sempurna.

— kesalahan

@blunders: Paling-paling, perkiraan bisa memberi Anda informasi kasar tentang seberapa banyak REFLECTANCE dapat diamati dalam sebuah adegan ... tapi saya menekankan kasar . Mencoba mendapatkan lebih dari sekadar asumsi tentang jumlah sumber cahaya, atribut sumber (warna, perbedaan, durasi emisi), dll. Sebenarnya hanya meminta banyak tebakan berdasarkan penilaian berdasarkan pengamatan. Jika ada satu hal yang menyedot komputer ... itu saja. Membuat perkiraan yang akurat dan berpendidikan tentang pencahayaan apa yang mungkin menerangi pemandangan membutuhkan pikiran yang berpengalaman .

— jrista

Anda dapat membuat argumen bahwa kecerdasan buatan yang cukup maju dapat belajar cukup untuk menjadi pikiran yang berpengalaman dalam kaitannya dengan mengamati pencahayaan foto ... tetapi pada saat ini saya ragu bahkan ada hal seperti ini pada skala yang belum sempurna, apalagi sesuatu yang dapat menghasilkan hasil yang bermanfaat secara konsisten.

— jrista

@jrista - Benar, jawaban saya mencerminkan apakah ada kemungkinan sesuatu di luar sana dengan teknologi saat ini yang menghasilkan hasil yang realistis, dapat digunakan, dan akurat.

— rfusca

Saya rasa ini adalah kemungkinan terjadi. Namun, saya tidak akan terkejut sama sekali jika ada penelitian di bidang ini. Sepertinya masalah yang menarik. Jadi, saya ragu untuk mengatakan "tidak" tanpa belajar.

— Silakan Baca Profil Saya