Seberapa relevan skor dan tes DxOMark?

Bagi saya peringkat sensor DxOMark agak aneh. Mereka baru-baru ini menilai sensor Nikon D3300 dengan skor yang sama dengan yang didapat Canon 1Dx yang menurut saya tidak mungkin mencerminkan kinerja mereka, dan yang juga membuat saya sangat skeptis terhadap sistem penilaian mereka.

Saya menghargai pengukuran sensor mereka, yang menghasilkan alat benchmark untuk membandingkan berbagai sensor kamera, tetapi apakah mereka benar-benar relevan? Sejauh yang saya tahu tidak ada dokumentasi tentang bagaimana skor dihitung dari Rentang Dinamis, Sensitivitas Warna dan skor ISO cahaya Rendah. Ketertarikan DxO Labs terletak pada penjualan perangkat lunak mereka, tidak secara langsung dalam memberikan alat tolok ukur ilmiah dan bisa sangat bias terhadap produsen tertentu.

Seberapa bermanfaat skor DxOMark dan bagaimana Anda bisa menggunakannya untuk membandingkan kamera yang berbeda?

"Skor" DXOMark primer sama sekali tidak berguna. ABAIKAN MEREKA. Ini adalah upaya yang sia-sia untuk mencoba dan mengurangi entitas yang kompleks seperti DSLR menjadi angka skalar tunggal yang memberi tahu Anda segalanya tentangnya. Itu salah. Ada terlalu banyak faktor untuk dipertimbangkan, dan faktor mana yang paling penting bagi seorang fotografer tertentu berbeda. Skor tunggal sepenuhnya mengalahkan tujuan menjalankan pengukuran di tempat pertama.

Ketika datang ke skor DXO lainnya, seperti cahaya rendah dan lansekap dan yang lainnya, bawa mereka dengan dosis garam yang lumayan. Skor umum mereka sangat berbobot, dan seringkali didasarkan pada derivasi pengukuran daripada pengukuran yang sebenarnya. Misalnya, skor Lansekap didasarkan pada "ukuran" Cetak DR. Masalahnya adalah bahwa DXO sebenarnya tidak MENGUKUR Cetak DR, dalam hal ini tidak didasarkan pada sampel yang diambil dari gambar downsampled yang sebenarnya. Print DR adalah ekstrapolasi matematis sederhana dari rentang sensor dinamis TRUE yang diukur.

Karenanya, Cetak DR tidak benar-benar memberi tahu Anda apa pun tentang sensor. Ketika DXO mengatakan D800 dan D600 memiliki 14,4 stop DR, yaitu Print DR, yang diekstrapolasi dari perangkat keras DR yang sebenarnya, yaitu 13,2 stop. Hal yang sama berlaku untuk sensor Canon. Ketika DXO memberi tahu Anda bahwa sensor memiliki 12 stop DR, itu sebenarnya bukan masalahnya. Pada kenyataannya, sebagian besar sensor Canon, pada tingkat perangkat keras, memiliki sekitar 10,95 pemberhentian DR.

Masalahnya lebih buruk dari ini. Sebagian besar kedalaman warna dan informasi skor sensitivitas warna ditimbang, seperti halnya banyak skor berbasis ISO. Bobot didasarkan pada kamera yang mencapai ambang tertentu, seperti SNR pada ISO tertentu yang lebih tinggi dari level tertentu. Ini memberikan "bonus" tertentu pada skor untuk kamera itu. Saat segala jenis pemberian skor berdasarkan berat memasuki permainan, kemampuan Anda untuk secara langsung membandingkan apa pun dengan skor apa pun benar-benar hilang. Sekarang Anda berada di lapangan bermain non-linear di mana Anda jujur ​​tidak tahu apakah kamera Nikon di sana dengan skor 95 telah sangat berbobot dibandingkan dengan kamera Canon ini di sini dengan skor 80.

Ketika datang ke pengukuran aktual, informasi DXO adalah beberapa yang terbaik yang tersedia. Ukuran SNR, Screen DR, sensitivitas warna, dll. Cukup baik, karena semuanya diambil langsung dari beberapa sampel gambar RAW untuk setiap kamera yang diuji. Metodologi pengujian mereka cukup ketat, dan tidak ada yang menunjukkan bahwa bagian dari metodologi mereka harus diragukan. Secara ilmiah, sejauh bagaimana mereka menguji dan apa yang mereka ukur, DXO memiliki praktik yang solid dan informasi yang solid.

DXO benar-benar tas campuran. Mereka mungkin memiliki praktik pengujian yang solid, tetapi penilaian mereka, mengingat bahwa itu sering didasarkan pada informasi yang diperoleh secara matematis, tertimbang dan fakta bahwa beberapa skor mereka sering diberikan poin "bonus" hanya untuk memenuhi ambang tertentu, sepenuhnya merendahkan seluruh poin tentang apa yang dilakukan DXO: Untuk menghasilkan skor linier untuk setiap kamera yang memungkinkan kamera untuk dengan mudah dibandingkan. Ini adalah konsep yang salah sejak awal, penilaian angka tunggal, tetapi mereka membuatnya jauh lebih buruk dengan cara mereka menangani proses penilaian yang sebenarnya.

Skor keseluruhan

Saya biasanya mengabaikan Skor Keseluruhan, karena terlalu umum jika Anda memahami skor individual mana pun.

Skor Keseluruhan adalah fungsi dari berbagai tes deterministik (cukup), yang masing-masing cukup informatif, dan sebagian besar (jika tidak semua?) Memiliki unit pengukuran yang jelas. Tetapi kemudian mereka menghasilkan "skor" yang menggabungkan metrik ini, dengan dimensi yang berbeda. Ini seperti membandingkan satu mobil dengan mobil lain, dengan menambahkan akselerasi maksimum (m / s / s), ukuran tangki bahan bakar (L), kecepatan tertinggi (km / j), dan jumlah penumpang yang dapat mereka bawa. Setiap orang akan ingin menimbang komponen yang berbeda secara berbeda, sehingga skor keseluruhan menjadi cukup tidak relevan.

Gunakan Skor Kasus

Seperti yang Anda katakan, Canon 1DX mendapat Skor Keseluruhan yang sama dengan Nikon D3300, tetapi perhatikan beberapa perbedaan besar, bahkan hanya pada halaman ringkasan "Skor":

• Skor "Landscape" (alias Rentang Dinamis) adalah 11,8 vs 12,8 EV (1 stop lebih baik pada D3300)
• Skor "Olahraga" (alias Low-Light ISO) adalah 2786 vs 1385 ISO (1 stop lebih baik pada 1DX)

" Use Case Scores " ini sudah jauh lebih spesifik, dan masuk akal secara dimensi, dan membuat perbandingan yang jauh lebih baik.

Yang mengatakan, mereka juga

1. belum tentu mudah dimengerti, dan
2. belum tentu pengukuran yang berguna untuk semua aplikasi

Misalnya, case penggunaan "Sports / Low-Light ISO" adalah

low-light ISO adalah pengaturan ISO tertinggi untuk kamera yang memungkinkannya mencapai SNR 30dB sambil menjaga rentang dinamis yang baik dari 9 EV dan kedalaman warna 18 bit.

Nilai-nilai yang dipilih ini sewenang-wenang, tetapi bagian yang berguna adalah mereka digunakan secara konsisten untuk mengukur semua sensor dengan cara yang sama. Ini berarti bahwa saat Anda hanya melihat nilai tunggal, Anda setidaknya dapat membandingkan apel dengan apel. Seberapa baik sensor A dan sensor B membandingkan, untuk satu titik data tertentu. Ini perbandingan yang berguna karena sensor semua cenderung berkinerja lebih baik pada ISO rendah, dan semua cenderung memiliki drop-off yang sama saat Anda meningkatkan ISO, dll. Tapi Anda benar-benar mengandalkan kinerja serupa di semua sensor untuk ini menjadi berguna perbandingan tujuan umum.

Pengukuran

Jika Anda masuk ke bagian "Pengukuran" dari perbandingan, Anda akan mulai melihat beberapa perbandingan yang lebih bermanfaat. Banyak data, di banyak kondisi berbeda. Di situlah Anda dapat (jenis) mulai menjawab pertanyaan seperti "Berapa banyak noise ISO yang akan saya dapatkan dari kamera A vs kamera B, di ISO6400?". Atau, jika Anda sudah tahu bahwa Anda OK dengan kamera Anda saat ini hingga ISO 1600, maka Anda dapat menggunakan SNR untuk kamera Anda di ISO 1600 sebagai garis dasar untuk membandingkan kamera lain (dalam hal ini, akan ada jumlah yang sama noise gambar dalam 1DX pada ISO 3200 karena akan ada dalam D3300 pada ISO 1600). Yah, bahkan itu tidak sepenuhnya benar, karena data SNR untuk abu-abu 18%!

Perbandingan kinerja antara perangkat yang kompleks, dengan banyak dimensi / derajat kebebasan adalah masalah yang pada dasarnya sangat sulit. Anda sering dapat membandingkan tes individual dengan cukup baik, tetapi masalahnya adalah menemukan tes generalisable yang dengan cepat dan mudah menggambarkan kinerja relatif atau absolut. Saya pikir "Use Case Scores" mencapai ini, sebagian besar, tetapi hanya karena teknologi sebagian besar sensor sangat mirip, memungkinkan Anda membuat generalisasi seperti di atas tentang 1DX menjadi "one stop better" untuk noise dalam cahaya rendah . (Bayangkan jika noise sensor bukan fungsi sederhana ISO untuk semua sensor!)

Ingat juga bahwa satu sensor mengungguli yang lain tidak selalu berguna . Kinerja ISO (SNR 18%) dari D3300 dan 1DX pada dasarnya tidak relevan ketika memotret JPEG dari pemandangan yang terang dan terang. Lebih berguna akan hal-hal seperti rentang dinamis (untuk detail bayangan / highlight dengan bayangan keras). Dan bahkan saat itu, memotret JPEG, Anda tidak akan mendapatkan lebih banyak dari rentang dinamis yang lebih besar (ada sedikit kompresi nada untuk membentuk JPEG tetapi keduanya masih mampu melampaui rentang dinamis 8-bit JPEG). Untuk mengulang analogi mobil, itu seperti membandingkan kecepatan maksimum & akselerasi antara mobil untuk perjalanan kota. Anda tidak akan pernah mencapai batas mobil 'cepat', jadi jenisnya tidak relevan untuk aplikasi itu. Anda benar-benar membutuhkan pemahaman yang baik tentang aplikasi tertentu jika Anda ingin membandingkan dua sensor dengan cara yang bermakna, dan di situlah Anda ingin tahu:

1. Pengukuran aktual, untuk perbandingan (bukan hanya skor keseluruhan)
2. Pengukuran apa yang berguna untuk aplikasi
3. Apa batas kegunaan untuk ukuran kinerja tertentu

Ringkasan

The Keseluruhan Skor ini cukup berguna, kecuali sebagai panduan yang benar-benar umum untuk seseorang bobot penggunaan-kasus (tidak harus milik Anda!) S.

The Use Case Skor adalah panduan yang lebih baik untuk tren kinerja umum beberapa di antara sensor yang berbeda.

The Pengukuran membiarkan Anda membuat perbandingan Anda sendiri, jika Anda tahu apa untuk membandingkan, dan memiliki aplikasi dalam pikiran. Penting juga untuk mengetahui berapa "cukup", atau ketika Anda mendapatkan "hasil yang semakin berkurang" untuk aplikasi apa pun.

Kecuali jika Anda benar-benar memahami elektronik, optik, fisika ... angka absolut mungkin sangat tidak berarti.

Saya percaya DXoMark tentang sejauh yang saya bisa melemparkan mereka, dan saya tidak terlalu pandai menembak. Mereka adalah sumber informasi yang menarik tentang kondisi laboratorium dan kadang-kadang bisa berguna ketika membandingkan kamera dari pabrikan yang sama, tetapi ada terlalu banyak variabel dalam pengujian di sana yang menyimpang dari kondisi dunia nyata sehingga secara umum bermanfaat untuk membandingkan kamera, terutama dari berbagai produsen.

Sama seperti situs ulasan kamera lainnya, kinerja dunia nyata selalu lebih penting daripada kondisi laboratorium. Jika Anda tahu cara membaca informasi dan mencari tahu apa yang relevan dan tidak relevan dengan dunia nyata, Anda dapat membuat beberapa data yang berarti dari DxOMark, tetapi menurut pengalaman saya, yang terbaik adalah mengambilnya dengan sebutir garam besar.