Ukuran sampel dan metode validasi silang untuk model prediksi regresi Cox

Saya punya pertanyaan yang ingin saya sampaikan kepada komunitas. Baru-baru ini saya diminta untuk memberikan analisis statistik untuk studi prognostik penanda tumor . Saya terutama menggunakan dua referensi ini untuk memandu analisis saya:

1. McShane LM, et al. Rekomendasi pelaporan untuk studi prognostik penanda tumor (REMARK). J Natl Cancer Inst. 2005 17 Agustus; 97 (16): 1180-4.

2. Simon RM, dkk. Menggunakan validasi silang untuk mengevaluasi akurasi prediktif pengklasifikasi risiko kelangsungan hidup berdasarkan data dimensi tinggi. Bioinform singkat. 2011 Mei; 12 (3): 203-14. Epub 2011 15 Februari.

Saya telah merangkum penelitian dan analisis saya di bawah ini. Saya sangat menghargai komentar, saran, atau kritik.

Latar belakang studi:

Beberapa pasien dengan kanker X mengalami kekambuhan dini setelah perawatan. Skor prognostik klinis yang saat ini digunakan oleh dokter tidak melakukan pekerjaan yang baik untuk memprediksi hasil klinis pada pasien ini. Oleh karena itu akan berguna untuk mengidentifikasi penanda prognostik biologis yang menambah nilai di atas dan melampaui skor standar ini. Tujuan dari penelitian ini adalah untuk menemukan biomarker semacam itu.

Metode studi:

Pra-seleksi kandidat biomarker

Dua belas biomarker yang terkait dengan kanker X diidentifikasi dalam penelitian sebelumnya. Kami berusaha untuk memvalidasi hubungan antara 12 kandidat dan kanker X dalam sampel independen pasien / tumor, yang dijelaskan di bawah ini.

Validasi univariat kandidat biomarker yang dipilih sebelumnya

Tingkat biomarker ini diukur dalam satu set 220 pasien / tumor.

[Catatan: Saya telah menyembunyikan data dan membuatnya tersedia untuk diunduh publik sebagai file * .csv . File ini memiliki kolom berikut: "ID", pengidentifikasi unik untuk setiap pasien; "PS", skor prognostik untuk setiap pasien, dengan 1 menunjukkan prognosis yang baik dan 2 menunjukkan prognosis buruk; "M1" hingga "m12", level masing-masing penanda tumor; "Waktu", dalam beberapa bulan; dan "peristiwa", di mana 0 menunjukkan bahwa pengamatan itu dikecam dan 1 menunjukkan bahwa kegagalan pengobatan terjadi.]

Model regresi Cox univariabel dengan waktu hingga mati sebagai variabel dependen dibangun untuk masing-masing 12 biomarker (n = 220 pengamatan, jumlah kejadian = 91).

    Risk  LCI  UCI pValue
1   0.93 0.86 1.02 0.1088
2   0.93 0.88 0.99 0.0215
3   0.99 0.92 1.05 0.6528
4   0.93 0.87 1.00 0.0468
5   0.93 0.88 0.98 0.0055
6   0.97 0.92 1.01 0.1202
7   0.91 0.83 0.99 0.0297
8   0.98 0.90 1.07 0.6972
9   0.99 0.92 1.06 0.7841
10  1.01 0.91 1.11 0.9149
11  0.96 0.87 1.05 0.3837
12  0.90 0.83 0.97 0.0047

Menggunakan nilai p ambang batas 0,05 / 12 = 0,004, tidak ada hasil yang signifikan.

Analisis multivariabel

Diputuskan untuk mencocokkan model dengan data dengan memasukkan ke-12 biomarker sekaligus ke dalam algoritma regresi Cox bertahap menggunakan validasi silang sepuluh kali lipat. Setelah membangun sepuluh model pada sepuluh set pelatihan yang berbeda, kurva ROC tergantung waktu dibangun untuk memungkinkan pemilihan titik cutoff optimal untuk mengidentifikasi dua kelompok pasien, risiko "tinggi" dan "rendah". Titik potong yang meminimalkan "1 - TP + FP" dipilih. Sepuluh model ini kemudian diminta untuk membuat prediksi tentang pasien yang sesuai dalam kelompok validasi. Pasien-pasien ini kemudian diklasifikasikan ke dalam kelompok risiko "tinggi" dan "rendah" dan diplot pada kurva Kaplan Meier tunggal yang divalidasi silang.

Kesimpulan

Interval kepercayaan dari kurva risiko tinggi dan rendah secara signifikan tumpang tindih, menunjukkan bahwa biomarker yang diidentifikasi bukan penanda prognostik yang berguna. Oleh karena itu penelitian kami belum mengidentifikasi hubungan univariat atau multivariat yang signifikan antara penanda ini dan prognosis pasien.

Pertanyaan untuk komunitas

Sudahkah saya menganalisis data saya dengan cara yang benar?

Jika Anda menjadi ahli statistik dalam studi ini, apakah Anda akan melakukan sesuatu yang berbeda?

Sebelum melakukan analisis validasi, ukuran sampel dan perhitungan daya tidak dilakukan untuk menentukan jumlah sampel yang akan dimasukkan dan ukuran efek yang terdeteksi. Saya ingin melakukan analisis ini sekarang untuk memandu studi di masa depan. Dapatkah seseorang memberitahu saya bagaimana untuk melakukan hal ini?

Yang saya benar-benar tertarik adalah apakah biomarker ini memberikan informasi prediksi di atas dan di luar skor prognostik klinis. Dari apa yang saya pahami, ini akan memerlukan pembuatan tiga model yang berbeda: (1) model dengan kovariat klinis saja, (2) model biomarker dengan kovariat biomarker saja, dan (3) model biomarker / klinis berdasarkan kedua jenis kovariat. Sejauh ini saya telah membuat model 1 (tidak ditampilkan di atas; itu tidak dapat membedakan antara pasien berisiko tinggi dan rendah dalam sampel kami baik) dan 2 (ditunjukkan di atas). Karena 1 dan 2 tidak signifikan, saya tidak membuat model 3. Haruskah saya melakukan ini?

Setiap komentar tambahan tentang masalah analitis akan sangat dihargai! Silakan mengunduh data yang di-mask dan lihat sendiri.

Anda telah menggambarkan masalah dengan baik dan mengaturnya dengan baik dalam beberapa cara. Saya tidak jelas tentang definisi "skor prognostik", tetapi sangat tidak mungkin bahwa skor 2-tingkat secara klinis membantu. Penting untuk menyesuaikan untuk semua variabel klinis yang tersedia terkait, berdasarkan pendapat ahli ketika memilih mereka. Berikut ini beberapa peluang untuk peningkatan:

1. Validasi silang 10 kali lipat tidak stabil dan perlu diulang 100 kali untuk mendapatkan ketepatan yang memadai (atau gunakan bootstrap optimisme Efron-Gong dengan 400 sampel; keduanya tersedia dalam rmspaket R )
2. Membagi sinyal menjadi "baik" dan "buruk" didorong oleh kurva ROC adalah teknik yang populer tetapi tidak didasarkan pada prinsip statistik yang baik. Setiap biomarker yang bernilai garamnya harus memiliki hubungan dosis-respons, dan pembagian menjadi dua kelompok yang sangat sewenang-wenang tidak perlu, menyesatkan, dan kehilangan informasi dan kekuasaan.
3. Kurva ROC sama sekali tidak menawarkan apa pun dalam konteks ini
4. Memilih titik potong pada biomarker adalah bencana statistik. Di antara hal-hal lain itu gagal mengenali bahwa secara matematis jika ada cutpoint yang berguna, mereka hanya bisa berada di ujung belakang, bukan di ujung kovariat, karena cutpoint untuk setiap marker tergantung pada nilai absolut dari semua nilai marker lainnya untuk seorang pasien.
5. Regresi bertahap tanpa hukuman tidak dapat diandalkan. Dalam pengaturan Anda, tidak ada alasan untuk tidak menempatkan semua penanda ke dalam satu model dan untuk melakukan rasio kemungkinan untuk menguji nilai yang mereka tambahkan ke variabel klinis.$\chi^2$
6. Alternatif yang baik untuk 5. adalah melakukan analisis redundansi atau pengelompokan variabel biomarker untuk mengurangi jumlah mereka sebelum menghubungkannya dengan hasilnya.
7. Jika ukuran sampel Anda lebih besar, Anda dapat mengizinkan semua variabel masuk ke dalam model secara nonlinier menggunakan splines regresi. Kadang-kadang memungkinkan satu biomarker menjadi halus dan nonlinier menggandakan nilainya di atas memaksa linearitas.
8. Biarkan kemungkinan log, yang merupakan aturan penilaian yang optimal (kemungkinan hukuman akan lebih baik) melakukan tugasnya. Jangan habiskan waktu untuk aturan penilaian akurasi yang tidak tepat.
9. Pertimbangkan untuk menggunakan "indeks kecukupan", berdasarkan kemungkinan log, untuk menggambarkan kegunaan biomarker, seperti yang dijelaskan dalam buku saya Strategi Pemodelan Regresi .