Bagaimana cara membandingkan skala Likert dengan berbagai jumlah kategori sepanjang waktu?

8

Biarkan Tahun 1 menjadi data tahun lalu dan Tahun 2 menjadi data tahun ini.

Misalkan pada Tahun 1, Anda memiliki skala likert yang 1-9 (Kategorikal / Ordinal) dan pada Tahun 2, untuk pertanyaan yang sama Anda memiliki skala likert yang 1-5 (Kategorikal / Ordinal).

Apa saja hal-hal yang akan Anda coba (jika sama sekali) untuk membandingkan data dua tahun?

Apa yang telah saya lakukan sejauh ini:

Distribusi yang dibandingkan (bentuk, kemiringan, dan kurtosis, secara statistik sama)
Dipulihkan kembali 1-9 menjadi 1-5 dan perubahan YoY dalam frekuensi sesuai dengan harapan logis yang diperoleh dari berita / peristiwa industri dan temuan penelitian kualitatif.

Catatan: Ini bukan pekerjaan rumah. Mungkin juga tidak memiliki jawaban yang pasti. Tapi, aku butuh bantuan!

Terima kasih sebelumnya!

scales likert

— Brandon Bertelsen
sumber

mengapa Anda mengatakan skala Likert dan kemudian Kategororial / Ordinal? Likert berarti interval yang diskalakan. Bisakah Anda sedikit memperjelas hal ini?

— Henrik

Untuk lebih spesifik, judul harus diubah menjadi "item" Likert. Pada poin kedua Anda, saya pikir banyak orang akan tidak setuju apakah item Likert menyajikan data interval atau ordinal. Untuk pertanyaan saya, ini adalah skala perjanjian, dari sangat tidak setuju hingga sangat setuju. Setiap tingkat perjanjian menjadi "kategori" dan jarak antara menjadi "ordinal". Tapi jangan terikat dengan semantik!

— Brandon Bertelsen

@Henrik @Brandon Sudah ada beberapa diskusi, menuju di bawah tag timbangan , tentang sifat dan cara memperlakukan skala / item Likert.

— chl

5

Ini bukan jawaban yang lengkap; hanya beberapa poin:

Jika Anda dapat mengelola kedua versi skala ke subsampel, Anda dapat memperkirakan skor yang sesuai pada dua format respons. Kemudian Anda bisa menerapkan rumus konversi yang secara empiris dibenarkan. Saya dapat memikirkan sejumlah cara untuk melakukan ini. Saya akan tertarik jika ada yang memiliki makalah akademis tentang praktik terbaik untuk melakukan ini.
Jika Anda melakukan penyelamatan sederhana (1 = 1; 2 = 3; 3 = 5; 4 = 7; 5 = 9), tidak ada jaminan bahwa ini dapat dibenarkan. Sebagai pernyataan luas (setidaknya dalam pengalaman saya dalam pengaturan organisasi), perubahan dalam kata-kata item dan perubahan opsi skala cenderung memiliki efek yang lebih besar pada tanggapan daripada perubahan aktual dalam atribut yang diminati. Paling tidak Anda harus memeriksa apakah jangkar skala yang digunakan kira-kira setara di dua format respons.

— Jeromy Anglim
sumber

Sebagai catatan untuk komentar kedua Anda. Jangkar-jangkar itu sama dengan tahun sebelumnya dalam survei. Pada dasarnya, granularitas skala berkurang.

— Brandon Bertelsen

4

[Secara teknis Anda punya item survei, bukan skala Likert; yang terakhir dibuat dari beberapa item. Lihat, misalnya, Konstruksi Skala Penilaian Terangkum Paul Spector {Sage}.]

Langkah-langkah yang Anda ambil perlu bergantung pada audiens yang Anda laporkan. Jika akademis dan keras, seperti komite disertasi, Anda mungkin menghadapi tantangan khusus. Jika tidak, dan jika nyaman dengan format 1-5 umum, mengapa tidak skala cocok dengan itu dan kemudian melaporkan berarti dan standar deviasi (terutama karena bentuk, condong, dan kurtosis tidak berbeda dari tahun ke tahun. Saya kira distribusi apakah cukup normal yang berarti secara akurat mengekspresikan kecenderungan sentral?).

-> Mengapa saya memperlakukan variabel Anda sebagai variabel level-interval? Puritan mungkin mengatakan bahwa variabel tingkat ordinal tidak boleh dilaporkan melalui sarana atau sd. Nah, komentar Anda menyarankan, meskipun Anda menggunakan "kategorikal / ordinal," bahwa Anda berhadapan dengan tingkat pengukuran ordinal yang sebenarnya Anda merasa nyaman diperlakukan sebagai interval -tingkat. Lagi pula, mengapa Anda menilai skewness atau kurtosis? Saya menduga bahwa audiens Anda juga akan baik-baik saja dan akan dapat berhubungan dengan statistik tingkat interval seperti sarana.

Kedengarannya bagus bahwa Anda telah menjelajahi data secara grafis. Jika Anda ingin melampaui menilai besarnya perbedaan dan melakukan tes hipotesis, mengapa tidak melakukan uji-T (independen atau berkorelasi, tergantung pada data Anda) membandingkan skor 1-5 skor dan skor 1-5, dan menghasilkan interval kepercayaan untuk perbedaan rata-rata. Di sini saya berasumsi Anda memiliki sampel acak dari suatu populasi.

— rolando2
sumber

Ya, saya sadar saya tidak "seharusnya" melihat beberapa hal ini untuk data ordinal, tapi sungguh, itu satu-satunya alat yang saya bisa pikirkan untuk membandingkan dua tahun. Sungguh, saya melihat hal-hal yang dapat membandingkan distribusi. Tapi, saya kira cara pengujian bisa masuk akal - tetapi interval kepercayaan mungkin tidak selalu termasuk rata-rata saya karena ada banyak perubahan struktural untuk industri yang ditinjau pertanyaan ini YoY.

— Brandon Bertelsen

1

Pertimbangkan mengubah respons dari kedua set data menjadi skor-z. Akan ada kualitas ad hoc untuk setiap jenis penyelamatan tetapi setidaknya dengan cara ini Anda menghindari perlakuan mekanis setiap interval tertentu pada satu item sebagai setara dengan set tertentu pada yang lain. Saya pasti akan memilih rute ini jika saya menggunakan item sebagai prediktor atau variabel hasil dalam segala jenis analisis varian. Jika Anda melakukan apa pun dengan skala komposit - yang memiliki ukuran likert agregat - Anda kemungkinan besar akan melakukan apa yang saya prpposed: apakah Anda akan mengonversi respons item menjadi skor-z sebelum menjumlahkan atau mengambil artinya untuk membentuk skala komposit; atau Anda akan membentuk skala dengan analisis faktor atau teknik lain yang menggunakan matriks kovarian item untuk menentukan afinitas tanggapan terhadap mereka.

— dmk38
sumber

2

Tampaknya ini akan memaksa perbandingan tahun-ke-tahun untuk memiliki sarana dan varian yang sama, secara artifisial menghilangkan sebagian besar informasi tentang perubahan temporal.

— whuber

benar. Saya tidak berpikir untuk membandingkan cara dari dua sampel, dalam hal mengkonversi ke nilai-z adalah self-deating. Memiliki kovarian dalam pikiran - misalnya, menilai bagaimana satu atau lebih prediktor berhubungan dengan skor item likert baik di tahun atau keduanya digabungkan. Saya cenderung berpikir matriks kovarians adalah satu-satunya hal yang harus coba dipelajari dari ketika menggunakan item likert (orang cenderung menginvestasikan poin pada ukuran dengan terlalu banyak makna - "tetapi saya pergi ke 11"). Semoga saya tidak membuang siapa pun keluar jalur.

— dmk38

Agaknya beberapa perbandingan hilang. Namun, sebagian besar analisis saya berfokus pada skor promotor bersih daripada rata-rata dan varians. Jadi, saya akan mencobanya dan melihat hasilnya. Sorakan atas tanggapannya.

— Brandon Bertelsen

1

Saya baru saja menyelesaikan masalah yang tepat ini. Kami memiliki skala 9 poin yang diubah menjadi skala 5 poin pada pelacak yang kembali 10 tahun. Bukan hanya itu tetapi beberapa pernyataan juga berubah. Dan kami melaporkan sebagai bentuk Skor Promotor Net.

Solusi yang kami gunakan menerapkan desain berpasangan dengan meminta masing-masing responden beberapa dari pernyataan lama dengan cara lama (dan juga semua cara baru). Kami hanya meminta pasangan dengan cara lama daripada mereka semua karena ini meminimalkan kelelahan responden. Kami kemudian mengambil setiap skor pada skala 9 poin dan menemukan itu rata-rata pada skor 5 poin dan menggunakan ini untuk mengoreksi perubahan skala DAN perubahan pernyataan. Ini sangat mirip dengan apa yang disebut "Penilaian Semantik atas Nilai Kata Tetap" di beberapa makalah, tetapi alih-alih menggunakan para ahli untuk memutuskan 'nilai kata' kami menggunakan data aktual responden.

Sebagai contoh, jika skor rata-rata pada skala 5 poin adalah 1,2 untuk responden yang menjawab 2 pada skala 9 poin maka untuk membiarkan kami secara langsung membandingkan tahun dengan skala yang berbeda pada skala 5 poin, kami akan mengganti semua 2 pada skala 9 poin dengan 1.2, lalu lakukan hal yang sama untuk semua skor 9 poin, dan lanjutkan seperti biasa.

Kami melakukan hal serupa untuk melaporkan NPS. Tetapi pertama-tama kita mengonversi skala 5 titik ke skala NPS 1 (promotor), 0 (pasif), -1 (detractor) misalnya jika rata-rata pada skala NPS adalah 0,9 untuk 2 pada skala 9 titik maka kita menggantinya dengan 0,9, lalu lakukan hal yang sama untuk semua skor 9 poin, dan kemudian dihitung NPS secara normal.

Untuk mengevaluasi efektivitas ini, kami pertama-tama membandingkan skor NPS yang 'tidak dikoreksi' menggunakan skala poin 9 dan 5 untuk melihat apakah sebenarnya ada masalah sama sekali, dan kemudian skor 'terkoreksi'. Saya belum mendapatkan data tetapi akan melaporkan kembali ketika kami melakukannya!

— Chris Howden
sumber