Kriteria apa yang harus dipenuhi untuk menyimpulkan 'efek langit-langit' yang terjadi?

Menurut The SAGE Encyclopedia of Metode Penelitian Ilmu Sosial ...

[a] efek langit-langit terjadi ketika suatu ukuran memiliki batas atas yang berbeda untuk respons potensial dan konsentrasi besar skor peserta pada atau dekat batas ini. Redaman skala adalah masalah metodologis yang terjadi setiap kali varians dibatasi dengan cara ini. ... Sebagai contoh, efek plafon dapat terjadi dengan ukuran sikap di mana skor tinggi menunjukkan sikap yang menguntungkan dan respons tertinggi gagal menangkap evaluasi paling positif yang mungkin. … Solusi terbaik untuk masalah efek plafon adalah uji coba pilot, yang memungkinkan masalah diidentifikasi lebih awal . Jika efek langit-langit ditemukan , [dan] ukuran hasil adalah kinerja tugas, tugas dapat menjadi lebih sulit untuk meningkatkan kisaran respons potensial. ¹ [penekanan ditambahkan]

Tampaknya ada banyak dari saran dan pertanyaan ( dan di sini ) berurusan dengan menganalisis data yang menunjukkan efek langit-langit mirip dengan yang dijelaskan dalam kutipan di atas.

Pertanyaan saya mungkin sederhana atau naif, tetapi bagaimana orang benar-benar mendeteksi bahwa ada efek langit-langit pada data? Lebih khusus lagi, katakanlah tes psikometrik dibuat dan diduga menyebabkan efek plafon (hanya pemeriksaan visual) dan kemudian tes direvisi untuk menghasilkan rentang nilai yang lebih besar. Bagaimana bisa ditunjukkan bahwa uji revisi telah menghilangkan efek plafon dari data yang dihasilkannya? Apakah ada tes yang menunjukkan bahwa ada efek langit-langit di set data yang tetapi tidak ada efek langit-langit di kumpulan data b ?

Pendekatan naif saya akan hanya memeriksa kecenderungan distribusi dan jika tidak miring, simpulkan bahwa tidak ada efek plafon. Apakah itu terlalu sederhana?

Edit

Untuk menambahkan contoh yang lebih konkret, katakanlah saya mengembangkan instrumen yang mengukur beberapa sifat laten x yang meningkat seiring bertambahnya usia tetapi akhirnya turun dan mulai menurun di usia tua. Saya membuat versi pertama, yang memiliki kisaran 1-14, melakukan beberapa uji coba, dan menemukan bahwa tampaknya ada efek plafon (sejumlah besar respons pada atau mendekati 14, maksimum .. Saya menyimpulkan ini hanya dengan melihat data. Tapi mengapa? Apakah ada metode keras untuk mendukung klaim itu?

Kemudian saya merevisi ukuran untuk memiliki kisaran 1-20 dan mengumpulkan lebih banyak data. Saya melihat bahwa tren lebih dekat dengan harapan saya, tetapi bagaimana saya tahu bahwa rentang pengukurannya cukup besar. Apakah saya perlu merevisinya lagi? Secara visual, tampaknya baik-baik saja, tetapi apakah ada cara mengujinya untuk mengonfirmasi kecurigaan saya?

masukkan deskripsi gambar di sini

Saya ingin tahu bagaimana saya bisa mendeteksi efek plafon ini di dalam data daripada hanya melihatnya. Grafik mewakili data aktual, bukan teoretis. Memperluas rentang instrumen menciptakan penyebaran data yang lebih baik, tetapi apakah itu cukup? Bagaimana saya bisa mengujinya?

¹ Hessling, R., Traxel, N., & Schmidt, T. (2004). Efek langit-langit. Dalam Michael S. Lewis-Beck, A. Bryman, & Tim Futing Liao (Eds.), Ensiklopedia SAGE Metode Penelitian Ilmu Sosial . (hlm. 107). Thousand Oaks, CA: Sage Publications, Inc. doi: 10.4135 / 9781412950589.n102

— plafon
sumber

Untuk membuat kemajuan, seseorang harus datang dengan definisi operasional "efek langit-langit." Melakukan hal itu secara umum dapat menimbulkan masalah: bagaimanapun juga, hampir semua kuantitas yang diukur tidak dapat secara realistis melebihi nilai tertentu, seperti 100% dalam skor tes atau konsentrasi kimia, batas atas dari apa yang dapat dibaca oleh suatu instrumen, dan seterusnya, sehingga bisa dibilang hampir semua data tunduk pada beberapa batas atas yang melekat. Jadi, meskipun arti yang dimaksud dari "efek langit-langit" secara intuitif jelas dari contoh bagus Anda, Anda dapat membantu kami dengan menjelaskan dengan tepat apa yang perlu "dihapus" dari data Anda, dan mengapa.

— whuber

@whuber Anda benar bahwa istilah tersebut digunakan dalam beberapa cara yang berbeda, tetapi dalam kasus ini, saya berbicara tentang membuat penggaris yang cukup panjang untuk melampaui semua hal yang ingin saya ukur. Saat membuat tes, Anda tentu ingin memasukkan item yang cukup dari berbagai kesulitan sehingga tidak ada yang mendapat 100%, jika tidak, Anda tidak akan tahu apakah kemampuan orang itu sebenarnya adalah batas tes atau lebih tinggi. Tidak ada yang perlu dihapus dari data, tetapi instrumen perlu direvisi sampai tidak menghasilkan titik data yang disensor.

— langit

Terima kasih. Saya masih tidak yakin apa yang Anda maksud dengan "efek langit-langit," karena tidak satu pun dari ilustrasi Anda yang menunjukkan bukti terbuka tentang segala jenis sensor - setidaknya tidak dengan batas sensor jenis yang dicapai dengan tes. Bahkan, perubahan dari kiri ke panel kanan lebih mirip ekspresi satu-ke-satu nonlinear dari sumbu vertikal, yang tidak akan berpengaruh pada plafon apa pun dalam data. Ini membuat saya bertanya-tanya apakah Anda benar-benar peduli tentang sesuatu yang sama sekali berbeda, seperti asimetri residu regresi.

— whuber

@whuber jitter telah ditambahkan karena sebagian besar poin tumpang tindih. Jika grafik tampaknya tidak berhubungan dengan pertanyaan saya, maka jelas saya tidak tahu apa yang saya bicarakan. Bagi saya, sepertinya ada efek langit-langit seperti yang dijelaskan oleh Hessling, Traxel, & Schmidt, tetapi berdasarkan komentar Anda dan kurangnya minat pada pertanyaan ini, mungkin saya melihat masalah di mana tidak ada. Terima kasih atas saran dan wawasan Anda. Saya menghargainya.

— langit

@ Johan, begitu. Dalam semangat pertanyaan Anda, terpikir oleh saya bahwa sedikit modifikasi ide Anda mungkin bagus. Kecuali jika kita memiliki alasan untuk mengira residual harus terdistribusi secara normal, kita mungkin berusaha untuk menemukan transformasi monoton dari respon di mana distribusi residu adalah homoscedastik di mana responsnya rendah dan mungkin menjadi terpotong di mana responsnya tinggi. Dengan kata lain, mungkin tes seharusnya tidak untuk normalitas tetapi harus mencari bentuk dan skala yang konsisten untuk respon.

— whuber

Jawaban:

Pertama, saya ingin mengatakan bahwa kedua grafik memberikan bukti yang jelas kepada saya bahwa ada efek langit-langit. Bagaimana saya akan mencoba untuk mengukur efek itu daripada hanya secara visual akan mengamati bahwa selama bagian non-sepele dari pengamatan terletak di dekat batas atas rentang instrumen. Biasanya efek langit-langit akan selalu ada selama ada bagian non-sepele dari peserta tes yang mencapai skor maksimum pada tes.

Namun demikian, teknologi analisis tes telah berkembang jauh sejak kami perlu menginterpretasikan skor langsung pada instrumen berdasarkan skor yang benar. Kita sekarang dapat menggunakan Teori Respons Item untuk memperkirakan parameter item masing-masing item dan menggunakan item-item itu untuk mengidentifikasi kemampuan subjek. Tentu saja masih ada efek langit-langit pada tes jika kita membuat tes terlalu mudah. Namun, karena kekuatan teori respons barang, kita harus dapat menempatkan setidaknya beberapa item dengan kesulitan cukup tinggi dalam instrumen sehingga hanya mencegah sebagian kecil populasi yang mengenai langit-langit.

Terima kasih untuk pertanyaannya. Itu sangat menarik!

— Francis Smart
sumber

Saya kira cara yang kasar dan siap hanya untuk mengukur varians karena skala meningkat. Jika ini menunjukkan pengurangan maka ini adalah bukti untuk efek plafon dan jika tidak ada efek plafon. Anda bisa membuat homogenitas varians plot. Tes Levene dapat berguna untuk menentukan apakah varians sig berbeda pada titik yang berbeda pada skala.

— pengguna45114
sumber

terima kasih untuk idenya. Saya akan mencobanya, tetapi saya berharap varians secara alami berkurang dengan bertambahnya usia dalam kasus ini.

— langit

Plafon, baik jawaban ini maupun komentar Anda tampaknya mengacaukan dua konsep berbeda. The skala varians akan mencerminkan dispersi pengukuran independen berulang subjek; seharusnya tidak tergantung pada subjek tetapi mungkin bervariasi dengan respons rata-rata subjek. Varian yang Anda dan jawaban ini rujuk adalah varian residu regresi. Meskipun mereka terkait, mereka bukan hal yang sama.

— whuber

@whuber, terima kasih telah menunjukkannya. Ngomong-ngomong, Anda masih tidak melihat bukti efek langit-langit dengan grafik pembaruan dan informasi? Saya cukup terkejut pertanyaan ini menarik hampir tidak ada minat diberikan beberapa pertanyaan dan jawaban tentang menganalisis data dengan efek plafon hadir.

— langit

Hai. Selama Anda merencanakan varians antara subjek seiring peningkatan skala, bukan dalam subjek, apakah ini tidak akan memberi tahu Anda sesuatu tentang efek langit-langit? - bisakah Anda masih menggunakan tes Levene untuk menguji perubahan varians yang signifikan seiring peningkatan skala? atau ini hanya dirancang untuk menguji dalam perubahan subjek dalam varian? Haruskah kita menggunakan istilah yang berbeda untuk menggambarkan variasi skor orang yang berbeda karena skala meningkat selain "skala varian", seperti "Varian residu"? Tes Can levene dapat digunakan untuk menunjukkan bahwa "varians residu" seragam di seluruh skala

— user45114

Masalah kritis dalam memutuskan apakah pengelompokan di sekitar titik tertinggi atau terendah adalah karena efek plafon / lantai adalah apakah nilai kasus benar-benar "mewakili" nilai. Ketika efek langit-langit / lantai benar-benar terjadi, beberapa kasus, meskipun dengan asumsi nilai maksimum atau minimum, sebenarnya lebih tinggi / lebih rendah dari nilai maksimum atau minimum (bayangkan seorang dewasa dan seorang anak menyelesaikan tes matematika yang sangat sederhana yang dimaksudkan untuk mengukur kemampuan matematika seseorang, dan keduanya mencetak skor 100%). Di sini, data disensor.

Skenario lain juga dimungkinkan ketika kami menggunakan skala terbatas seperti skala likert-like yang memiliki batas atas dan bawah yang melekat. Sangat mungkin bahwa mereka yang mendapat skor tertinggi memang layak mendapat skor itu dan tidak ada perbedaan (seperti contoh matematika di atas) ada di antara semua yang mendapat skor tertinggi. Dalam kasus seperti itu, data terpotong pada batasnya, bukan disensor.

Berdasarkan alasan di atas, saya rasa orang harus merancang prosedur agar sesuai dengan dataset yang diberikan dengan pemotongan data dan sensor data. Jika model sensor paling cocok dengan data, saya pikir kita dapat menyimpulkan bahwa ada efek plafon / lantai.

— wuy3814
sumber