Saya akan berasumsi bahwa kuesioner Anda dianggap sebagai satu skala unidimensional (jika tidak, alpha Cronbach tidak masuk akal). Perlu menjalankan analisis faktor eksplorasi untuk memeriksa hal itu. Ini juga akan memungkinkan Anda untuk melihat bagaimana item berhubungan dengan skala (yaitu, melalui pemuatannya).
Langkah-langkah dasar untuk memvalidasi item Anda dan skala Anda harus mencakup:
- laporan lengkap tentang statistik dasar item (rentang, kuartil, kecenderungan pusat, efek langit-langit dan lantai jika ada);
- memeriksa konsistensi internal seperti yang Anda lakukan dengan alpha Anda (terbaik, berikan interval kepercayaan 95%, karena itu tergantung pada sampel);
- menggambarkan ukuran ringkasan Anda (misalnya, skor total atau rata-rata, skor skala alias) dengan statistik biasa (histogram + kepadatan, kuantil dll.);
- periksa tanggapan ringkasan Anda terhadap kovariat tertentu yang seharusnya terkait dengan konstruk yang Anda nilai - ini disebut sebagai validitas kelompok yang dikenal;
- jika mungkin, periksa respons ringkasan Anda terhadap instrumen yang dikenal yang mengaku mengukur konstruk yang sama ( validitas konkuren atau konvergen).
Jika skala Anda bukan unidimensional, langkah-langkah ini harus dilakukan untuk setiap subskala, dan Anda juga bisa memfaktorkan matriks korelasi faktor Anda untuk menilai struktur faktor urutan kedua (atau menggunakan pemodelan persamaan struktural, atau analisis faktor konfirmatori, atau Apapun yang kamu mau). Anda juga dapat menilai validitas konvergen dan diskriminan dengan menggunakan penskalaan multi-sifat atau pemodelan multi-sifat multi-sifat (berdasarkan korelasi antar-item di dalam dan di antara skala), atau, sekali lagi, SEM.
Kemudian, saya akan mengatakan bahwa Teori Respons Item tidak akan banyak membantu kecuali Anda tertarik untuk mempersingkat kuesioner Anda, memfilter beberapa item yang menunjukkan fungsi item diferensial , atau menggunakan tes Anda dalam beberapa jenis tes adaptif komputer .
Bagaimanapun, model Rasch adalah untuk item biner. Untuk barang pesanan politekom, model yang paling umum digunakan adalah:
- model respon bertingkat
- model kredit parsial
- model skala peringkat.
Hanya dua yang terakhir berasal dari keluarga Rasch, dan mereka pada dasarnya menggunakan formulasi peluang yang berdekatan, dengan gagasan bahwa subjek harus "melewati" beberapa ambang batas untuk mendukung kategori respons yang diberikan. Perbedaan antara kedua model ini adalah bahwa PCM tidak memaksakan bahwa ambang diberi jarak yang sama pada skala theta ( kemampuan , atau lokasi subjek pada sifat laten). Model respons bertingkat bergantung pada formulasi peluang kumulatif. Ketahuilah bahwa semua model ini menganggap bahwa skalanya adalah unidimensional; yaitu, hanya ada satu sifat laten. Ada asumsi tambahan seperti, misalnya, independensi lokal (yaitu, korelasi antara respons dijelaskan oleh variasi pada skala kemampuan).
Lagi pula, Anda akan menemukan dokumentasi yang sangat lengkap dan petunjuk yang berguna untuk menerapkan metode psikometrik di R volume 20 dari Journal of Software statistik: Volume khusus: Psikometrik di R . Pada dasarnya, kebanyakan paket menarik R yang saya gunakan dalam pekerjaan sehari-hari saya adalah: ltm , erm , psikologi , psy . Yang lain dirujuk pada tampilan tugas CRAN Psychometrics . Sumber daya lain yang menarik adalah:
Tinjauan yang baik tentang penggunaan FA vs IRT dalam pengembangan skala dapat ditemukan dalam konstruksi Skala dan evaluasi dalam praktik: Tinjauan analisis faktor versus aplikasi teori respons item , oleh sepuluh Holt et al (Uji Psikologis dan Penilaian Modeling (2010) 52 (3): 272-297).