Apa Algoritma yang Mendasari untuk Pelestarian Detail Upsampling di Photoshop CC?

Algoritma upampling pelestarian detail di Photoshop CC benar-benar luar biasa. Itu dapat meningkatkan gambar apa pun sembari mempertahankan detail dalam waktu yang hampir nyata. Dan saya benar-benar bertanya-tanya bagaimana penerapannya.

Saya sudah mulai dengan mencari makalah dengan kata kunci single image super resolution. Dan tampaknya algoritma canggih saat ini membutuhkan database eksternal yang terlatih untuk menebak informasi frekuensi tinggi yang hilang. Dan saya percaya sangat sulit untuk melatih & mendistribusikan kamus yang lengkap, bukan? Juga, saya pikir tidak mungkin untuk melatih kamus dengan piramida gambar secara real-time.

Setelah itu saya beralih ke bidang image upsampling, yang tampaknya cukup cepat dibandingkan dengan super resolutionalgoritma, tetapi ada banyak algoritma, saya benar-benar bingung.

Jadi, apakah ada yang punya tebakan atau petunjuk tentang bagaimana alat itu dapat diimplementasikan? Terima kasih!

— Batal Utama
sumber

Saya pikir pertanyaan ini adalah tentang Preserve Details (1.0) yang telah saya baca dikirimkan dengan versi pertama Photoshop CC. Preserve Details 2.0 yang dikirimkan dengan Photoshop CC 2018 memiliki pengidentifikasi skrip "deepUpscale", dan mereka mengiklankannya sebagai AI, sehingga tampaknya pembelajaran berbasis mendalam.

— Olli Niemitalo

Untuk algoritma yang lebih terkini, ada Enhanced Super-Resolution Generative Adversarial Networks (ESRGAN) .

— Olli Niemitalo

Jawaban:

Ini benar-benar tidak ada yang melampaui Interpolasi Bi Cubic dengan "Mengasah".

http://www.lynda.com/Photoshop-tutorials/interpolation-settings/124096/140573-4.html

Mereka belum memperbarui algoritma interpolasi mereka selama berabad-abad.

— Royi
sumber

Gambar tajam pada resolusi yang lebih tinggi sehingga tentu saja tidak dicapai dengan spline kubik yang dimodifikasi.

— Libor

Cari Interpolasi Adobe CC. Anda akan melihat mereka tidak melakukan sesuatu yang baru di CC selain memilih secara otomatis antara Bi Cubic Smoother dan Bi Cubic Sharper. Yang sama-sama baru paska pemrosesan Bi Cubic.

— Royi

Video yang ditautkan oleh pertanyaan menunjukkan opsi Contoh Ulang: Pertahankan Detail. Saya tidak berpikir itu bikubik. Photoshop CC 2018 juga memiliki Preserve Details 2.0.

— Olli Niemitalo

@OlliNiemitalo, Sudahkah Anda melihat video yang saya tautkan? Detail Preservation 2.0 adalah sesuatu yang lain. Pertanyaannya ditulis dengan versi Photoshop lama dalam pikiran dan dalam video yang saya tautkan Anda dapat melihat operasinya adalah Bi Cubic + Some Sharpening (Mungkin dengan Edge Awareness).

— Royi

@Royi Saya menonton video Anda yang ditautkan. Ini memiliki lebih sedikit pilihan untuk Resampling (tidak termasuk Preserve Details) daripada video terkait pertanyaan, jadi saya pikir apa yang Anda katakan dalam jawabannya sudah ketinggalan zaman untuk versi Photoshop pertanyaan itu.

— Olli Niemitalo

Ada banyak algoritme untuk upampling "edge-aware". Tidak yakin apa yang digunakan Photoshop sendiri, tetapi misalnya plugin Alien Skin Blow Up memberikan hasil yang serupa dan mereka menggunakan vektorisasi menggunakan triangulasi. Segitiga dihaluskan dengan hati-hati sambil menjaga gambar upampled cukup tajam.

Anda juga dapat melihat NEDI (New Edge-Directed Interpolasi), atau " Upsampling via Imposed Edges Statistics " dari Raanan Fattal.

Namun pendekatan lain adalah untuk mengkonversi gambar ke bidang vektor (vektor berjalan di sepanjang tepi), memperbesar bidang ini dan kemudian menghitung ulang domain spasial menggunakan beberapa pemecah PDE (pemecah Poisson cepat adalah pilihan populer).

Fraktal Asli dari Perangkat Lunak OneOne menunjukkan pendekatan lain, menggunakan geometri fraktal, IFS khusus (sistem fungsi berulang), mengeksploitasi kemiripan diri dan memungkinkan untuk menciptakan kembali data tekstur yang tampak alami, tidak hanya ujung-ujungnya. Gambar yang didekati fraktal adalah dengan resolusi definisi yang independen. Saya pernah menulis perangkat lunak yang serupa, tetapi menghitung representasi fraktal mahal, rendering sangat cepat di sisi lain.

— Libor
sumber

Terima kasih atas jawaban anda! Itu daftar yang cukup, dan saya akan mulai meneliti!

— Void Main