Apa cara yang ada untuk menunjukkan dua metode analitis yang setara?

11

Saya memiliki dua metode analitik berbeda yang dapat mengukur konsentrasi molekul tertentu dalam matriks (misalnya mengukur jumlah garam dalam air)

Dua metode berbeda, dan masing-masing memiliki kesalahan sendiri. Cara apa yang ada untuk menunjukkan kedua metode itu setara (atau tidak).

Saya berpikir bahwa memplot hasil dari sejumlah sampel yang diukur dengan kedua metode pada grafik sebar adalah langkah pertama yang baik, tetapi apakah ada metode statistik yang baik?

— PaulHurleyuk
sumber

Bisakah Anda memberikan rincian lebih lanjut dalam pertanyaan Anda? Saya tidak mengerti apa itu "konsentrasi molekul tertentu dalam matriks".

— robin girard

2

@robin: "matrix" dalam konteks ini adalah terminologi kimia analitik standar; ini merujuk pada media tempat entitas yang akan dianalisis ("analit") dapat ditemukan. Misalnya, jika Anda menganalisis konsentrasi timbal dalam air keran, timbal adalah analit, dan air adalah matriks.

— JM bukan ahli statistik

13

Pendekatan korelasi sederhana bukan cara yang tepat untuk menganalisis hasil dari studi perbandingan metode. Ada (setidaknya) dua buku yang sangat direkomendasikan tentang topik ini yang saya rujuk di bagian akhir (1,2). Secara singkat dinyatakan, ketika membandingkan metode pengukuran, kami biasanya berharap bahwa (a) kesimpulan kami tidak harus bergantung pada sampel tertentu yang digunakan untuk perbandingan, dan (b) kesalahan pengukuran yang terkait dengan instrumen pengukuran tertentu harus dipertanggungjawabkan. Ini menghalangi metode apa pun berdasarkan korelasi, dan kami akan mengalihkan perhatian kami ke komponen varians atau model efek campuran yang memungkinkan untuk mencerminkan efek sistematis dari item (di sini, item adalah singkatan dari individu atau sampel di mana data dikumpulkan), yang dihasilkan dari (Sebuah).

Dalam kasus Anda, Anda memiliki pengukuran tunggal yang dikumpulkan menggunakan dua metode yang berbeda (saya berasumsi bahwa tidak satupun dari mereka dapat dianggap sebagai standar emas) dan hal yang paling mendasar untuk dilakukan adalah merencanakan perbedaan ( ) versus sarana ( ); ini disebut plot-hambar-altman . Ini akan memungkinkan Anda untuk memeriksa apakah (1) variasi antara dua set pengukuran konstan dan (2) varians perbedaan konstan di seluruh rentang nilai yang diamati. Pada dasarnya, ini hanya rotasi 45 ° dari sederhana vs , dan interpretasinya dekat dengan plot nilai pas dan residu yang digunakan dalam regresi linier. Kemudian, $X_1-X_2$ $(X_1+X_2)/2$ $X_1$ $X_2$

jika perbedaannya konstan ( bias konstan ), Anda dapat menghitung batas perjanjian (lihat (3))
jika perbedaannya tidak konstan di seluruh rentang pengukuran, Anda dapat menyesuaikan model regresi linier antara kedua metode (pilih yang Anda inginkan sebagai prediktor)
jika varians perbedaannya tidak konstan, cobalah untuk menemukan transformasi yang cocok yang membuat hubungan linier dengan varians konstan

Rincian lain dapat ditemukan dalam (2), bab 4.

Referensi

Dunn, G (2004). Desain dan Analisis Studi Keandalan . Arnold. Lihat ulasan di International Journal of Epidemiology .
Carstensen, B (2010). Membandingkan metode pengukuran klinis . Wiley. Lihat situs web pengiring , termasuk kode R.
Artikel asli dari Bland dan Altman, metode statistik untuk menilai kesepakatan antara dua metode pengukuran klinis .
Carstensen, B (2004). Membandingkan dan memprediksi antara beberapa metode pengukuran . Biostatistik , 5 (3) , 399-413.

— chl
sumber

maukah Anda mengklarifikasi apa yang Anda maksud dengan "(a) kesimpulan kami tidak harus bergantung pada sampel tertentu yang digunakan untuk perbandingan"? Saya mengalami masalah karena ambiguitas "sampel" dalam konteks ini: apakah ini berarti "sampel statistik" (satu set data yang dianggap mewakili suatu proses atau populasi) atau "sampel lingkungan" (sedikit air, tanah, udara, atau jaringan, biasanya). Dengan kedua arti tersebut, saya tidak dapat menarik garis logis ke kesimpulan Anda bahwa ini "menghalangi metode apa pun berdasarkan korelasi."

— whuber

@whuber Yah, maksud saya pengumpulan data yang diamati (misalnya konsentrasi glukosa) yang, idealnya, harus mewakili kisaran kemungkinan apa yang sedang diukur. Mengandalkan korelasi mungkin menyesatkan karena tergantung pada unit sampel (misalnya pasien di rumah sakit): kita bisa mendapatkan korelasi yang lebih tinggi hanya dengan mendapatkan satu atau lebih pengukuran ekstrem pada skala mana pun, meskipun hubungan antara kedua metode masih sama. . Oleh karena itu, idenya adalah bahwa distribusi ukuran kepentingan tidak boleh mempengaruhi kesimpulan kami tentang perbandingan metode. (...)

— chl

@whuber (...) Yang ingin kami nilai adalah kesepakatan di luar data , bukan hubungan dalam data (saya mengutip Carstensen 2010 hal. 8-9).

— chl

Terima kasih; yang menjelaskan posisi Anda dengan baik. Ini pada dasarnya adalah latihan dalam kalibrasi kecuali bahwa kami tampaknya tidak memiliki standar referensi untuk perbandingan; kami hanya berasumsi bahwa sampel fisik yang dipilih oleh eksperimen mencakup beberapa rentang konsentrasi sebenarnya. Jadi, saat Anda menulis, korelasi per se belum tentu merupakan ukuran kesepakatan yang bermanfaat di antara kedua metode. Meskipun demikian, khususnya untuk analisis kimia, konsentrasi sebenarnya diketahui (karena pelaku percobaan memasukkan sejumlah zat ke dalam matriks).

— whuber

@whuber Itu benar. Dengan tidak adanya standar emas, kami hanya tertarik pada sejauh mana dua metode menghasilkan hasil yang "sebanding", maka ide mengandalkan mengandalkan apa yang disebut batas perjanjian. Meskipun ukuran sebenarnya mungkin diketahui sebelumnya, masing-masing instrumen pengukuran memiliki kesalahan pengukurannya sendiri - setidaknya bagi mereka yang saya gunakan dalam bidang biomedis (misalnya konsentrasi glukosa darah) dan neuropsikologis (misalnya tingkat depresi).

— chl

2

Jika Anda tidak memiliki cara untuk mengetahui konsentrasi sebenarnya, pendekatan paling sederhana adalah korelasi. Langkah di luar itu mungkin untuk melakukan regresi sederhana yang memprediksi hasil pada metode 2 menggunakan metode 1 (atau sebaliknya). Jika metodenya identik, intersepnya harus 0; jika intersep lebih besar atau kurang dari 0 itu akan menunjukkan bias dari satu metode relatif ke yang lain. Kemiringan yang tidak standar harus mendekati 1 jika metode rata-rata menghasilkan hasil yang identik (setelah mengendalikan bias naik atau turun dalam intersep). Kesalahan dalam kemiringan yang tidak standar mungkin berfungsi sebagai indeks sejauh mana kedua metode sepakat.

Tampak bagi saya bahwa kesulitan dengan metode statistik di sini bahwa Anda berusaha untuk menegaskan apa yang biasanya diajukan sebagai hipotesis nol, yaitu, bahwa tidak ada perbedaan antara metode. Ini bukan pukulan mematikan untuk menggunakan metode statistik selama Anda tidak memerlukan nilai ap dan Anda dapat mengukur apa yang Anda maksud dengan "setara" dan dapat memutuskan berapa banyak penyimpangan yang dimiliki kedua metode dari satu sama lain sebelum Anda tidak lagi anggap mereka setara. Dalam pendekatan regresi yang saya jelaskan di atas, Anda dapat mempertimbangkan metode yang setara jika interval kepercayaan di sekitar perkiraan kemiringan mencakup 1 dan CI di sekitar intersep termasuk 0.

— russellpierce
sumber

Dalam chemometrics respons instrumen sering nonlinier dan heteroskedastik. Minimal yang memberlakukan sejumlah kehati-hatian saat melakukan dan menafsirkan regresi.

— whuber

1

Saya setuju dengan @drnexus. Selain itu, saya mungkin merekomendasikan tes Morgan-Pitman untuk persamaan varian dari dua metode. Ini akan memberi tahu Anda jika satu metode memiliki lebih banyak varians daripada yang lain. Ini sendiri mungkin bukan hal yang buruk karena mungkin dua tes memiliki pengorbanan varians-varians yang berbeda (misalnya, satu tes mungkin selalu mengatakan 50% (bias, tetapi tidak ada varian) sementara yang lain tidak bias tetapi sangat bising). Beberapa pengetahuan domain mungkin berguna di sini dalam menentukan berapa banyak tradeoff yang Anda inginkan dari metode Anda. Tentu saja, seperti dicatat oleh orang lain, memiliki 'standar emas' akan lebih disukai.

— shabbychef
sumber

1

Pertanyaan yang cukup lama, tetapi seperti yang muncul lagi hari ini:

Kata kunci umum adalah "validasi dalam kimia analitik" dan karena itu sedikit di luar topik di sini (tetapi karena tidak ada situs Kimia di sini (belum: http://area51.stackexchange.com/proposals/4964/chemistry , saya kira kita dapat meninggalkannya di sini untuk saat ini)

Ada beberapa prosedur standar dalam kimia analitik untuk ini.

Buku:

Funk et. al: Jaminan Kualitas dalam Kimia Analitik, Wiley-VCH.
Kromidas (Hrsg.): Handbuch Validierung in der Analytik, Wiley-VCH
(saya tidak tahu apakah ada versi bahasa Inggris dan saya belum memilikinya. Tapi daftar isi daftar validasi kalibrasi multivarian.)

IUPAC juga memiliki sesuatu untuk dikatakan tentang hal itu:

Danzer, K. dan Currie, LA: Pedoman untuk kalibrasi dalam kimia analitik. Bagian I. Dasar-dasar dan kalibrasi komponen tunggal, Kimia Murni dan Terapan, IUPAC, 1998, 4, 993-1014
Danzer, K. dan Otto, M. dan Currie, LA: Pedoman untuk kalibrasi dalam kimia analitik. Bagian 2: Kalibrasi multikomponen Kimia Murni dan Terapan, 2004, 76, 1215-1225

— cbeleites tidak senang dengan SX
sumber

0

Penggunaan Anda atas frasa 'metode analitik' agak membingungkan bagi saya. Saya akan berasumsi bahwa dengan 'metode analitik' yang Anda maksud adalah beberapa model / strategi estimasi tertentu.

Secara umum, berbicara ada dua jenis metrik yang dapat Anda gunakan untuk memilih antara penaksir.

Metrik dalam sampel

Rasio kemungkinan / uji Wald / Tes skor
R ²
Tarif Hit dalam sampel (Persentase prediksi yang benar untuk data sampel)
(Banyak metrik lain tergantung pada model / konteks estimasi)

Metrik out-of-sample

Rasio Hit di Luar Sampel (Persentase prediksi yang benar untuk data di luar sampel)

Jika taksirannya setara, maka kinerjanya sama baiknya dengan metrik ini. Anda juga dapat melihat apakah perkiraan tersebut tidak berbeda secara statistik satu sama lain (seperti uji dua sampel kesetaraan rata-rata) tetapi metodologi untuk ini akan tergantung pada model dan metode spesifik.

Maaf, saya bermaksud metode pengukuran analitik. Saya telah mengulangi pertanyaannya.

— PaulHurleyuk

Dalam hal itu, saya pikir tes dua sampel kesetaraan untuk sarana / proporsi adalah apa yang mungkin ingin Anda lakukan.

2

Tidakkah pengujian sarana / proporsi hanya memberi Anda estimasi titik apakah kedua metode tersebut memberikan respons rata-rata yang sama untuk serangkaian respons yang diberikan? Tidak bisakah pendekatan itu menghasilkan hasil "sama" walaupun kedua metode itu sebenarnya berkorelasi negatif satu sama lain?

— russellpierce

Itu poin yang bagus.