Bagaimana seseorang membuat grafik hasil urutan peringkat subyektif?

17

Saya mencari cara untuk memvisualisasikan peringkat subyektif, terpisah dari tes non-parametrik saya.

Saya telah meminta 12 peserta untuk memberi peringkat 8 item yang berbeda sesuai dengan kriteria subjektif yang berbeda (peringkat terpisah untuk masing-masing item). Untuk setiap peringkat individu, saya mencari cara yang baik untuk memvisualisasikan tren tingkat tinggi peringkat.

Saya telah mencoba plot batang dan radar pada peringkat rata-rata, dan saya telah melihat satu orang lain menggunakan sebaran / balon plot atas jumlah respons per peringkat, tetapi saya tidak yakin apa yang menyampaikan ikhtisar terbaik. Entah saya bisa menggunakan 8 peringkat rata-rata, atau 8 hitungan setiap peringkat per item.

Edit:

Misalnya: Setiap kolom adalah item, setiap baris adalah peringkat seseorang dari masing-masing dari delapan item. Bukan kesepakatan yang sangat kuat dalam contoh ini, tetapi secara umum ingin memahami cara terbaik untuk menyampaikan tren secara keseluruhan.

                        Item:
            A   B   C   D   E   F   G   H
Rater:  
  1         6   8   1   7   3   4   2   5
  2         1   3   8   7   6   5   2   4
  3         5   8   7   6   1   4   2   3
  4         5   8   7   6   4   2   1   3
  5         1   2   8   7   4   3   5   6
  6         1   7   8   5   6   2   4   3
  7         5   1   8   4   7   3   6   2
  8         4   2   8   7   6   1   5   2
  9         6   3   8   4   7   1   5   2
  10        3   2   8   7   4   1   5   6
  11        2   3   7   8   1   5   4   5
  12        8   5   6   7   2   3   1   4

— Jesse
sumber

Mungkin membantu jika Anda dapat mendaftar beberapa data Anda. Selain itu, perangkat lunak apa yang mungkin Anda gunakan?

— gung - Reinstate Monica

Saya telah menambahkan contoh matriks, dan saya kemungkinan akan merencanakan di Excel.

— Jesse

Apakah Anda mencoba menampilkan peringkat item atau perjanjian antar penilai (atau keduanya)?

— Whuber

1

Saya bertanya secara spesifik tentang peringkat item, tetapi jika ada cara yang baik untuk menunjukkan perjanjian antar penilai selain dari W Kendall, semua lebih baik juga.

— Jesse

Anda dapat memplot CDF empiris dari setiap kolom. Ini akan terlihat seperti (seluruh kekacauan) kurva ROC. Namun, tidak yakin apa yang akan terjadi jika Anda melakukan ini.

— shabbychef

8

Saya telah melakukan sesuatu yang serupa untuk memvisualisasikan peringkat yang sama. Metode yang saya gunakan memberi saya gambaran singkat tentang bagaimana peringkat terkait - tidak lebih. Solusi saya menggunakan grafik 2010 Excel untuk membuat tampilan kecil-kelipatan dari peringkat (ini bisa dilakukan di versi Excel lain, tetapi butuh sedikit lebih banyak pekerjaan). Juga, saya biasanya menggunakan fungsionalitas Tabel Excel hanya untuk mempercepat.

Ubah posisi matriks Anda sehingga baris-baris tersebut menyimpan semua nilai per item yang dinilai.
Jika peringkat 1 adalah yang terbaik, balikkan peringkat Anda sehingga 1 = 8,2 = 7 ... ini hanya membantu Anda memvisualisasikan kolom bagan (daripada ruang kosong) sebagai lebih baik.
Jumlahkan hasil dari masing-masing penilai pertanyaan. Kemudian urutkan berdasarkan jumlah ini. Ini akan menempatkan item dengan skor keseluruhan terbaik pertama dan skor keseluruhan terburuk menjadi yang terakhir. Peringkat ini akan membantu Anda memberi peringkat secara visual pada grafik ketika pola keseluruhan mungkin tidak jelas (seperti halnya dalam data sampel Anda.
Sisipkan Sparklines menggunakan data peringkat Anda (tanpa kolom total) di sebelah tabel data Anda. Secara visual, semakin banyak bar yang ada, semakin baik peringkat keseluruhan.

Tidak ada yang khusus analitis tentang pendekatan ini, tetapi ini adalah cara yang cukup cepat untuk memvisualisasikan data.

Peringkat Subyektif

Catatan, jika Anda tidak memiliki Excel 2010, Anda bisa membuat bagan kolom berukuran sel, untuk setiap baris yang terlihat hampir sama. Atau, Anda dapat menggunakan add-on pihak ketiga untuk membuatnya.

EDIT: Tabel dan Bagan menggunakan saran Gung untuk ukuran rata-rata. Seperti yang ditunjukkan, karena skalanya mirip, ditambahkan ke bagan sebagai titik perbandingan tambahan (saya menggunakan abu-abu untuk membantu membedakannya dari plot data mentah).

masukkan deskripsi gambar di sini

— dav
sumber

3

+1, ini adalah solusi yang sangat bagus dan sederhana untuk situasi ini. Satu saran kecil yang akan saya buat adalah menggunakan rata-rata alih-alih jumlah dalam langkah # 3. Ini tidak akan benar-benar mengubah apa pun, tetapi mengembalikan total ke skala asli, yang dapat membuat interpretasi nilai lebih mudah.

— gung - Reinstate Monica

@ung, terima kasih atas umpan baliknya. Saya pikir menggunakan rata-rata berfungsi dengan baik (seperti di atas). Saya tidak pernah suka menggunakan total, tetapi tidak terlalu memikirkan alternatif yang baik.

— dav

2

Saya akan melakukan ini dalam bentuk grafik benjolan. Itu terlihat sangat berantakan, jadi saya akan bekerja dengan warna untuk mencoba membantu ini.

Sparklines @dav disarankan tidak memungkinkan perbandingan antara produk.

— Jon Peltier
sumber

Saya pikir grafik ini akan sangat baik jika ukuran titik diskalakan dalam urutan terbalik dari 8 (terkecil) menjadi 1 (terbesar). Saya pikir tren mungkin akan melompat keluar dengan cara itu.

— Brandon Bertelsen

1

Dot plot bisa sangat berguna untuk jenis analisis ini.

Inilah yang saya temukan dengan data Anda. Anda juga dapat menambahkan garis penghubung.

Inilah yang saya temukan dengan data Anda. Anda juga dapat menambahkan baris

Saya juga akan berpikir tentang menambahkan seri yang lebih menonjol untuk menunjukkan rata-rata untuk setiap opsi.

Beberapa tautan:

http://peltiertech.com/Excel/Charts/DotPlot.html

http://peltiertech.com/WordPress/charting-survey-results/

— guitarthrower
sumber

1

Saya tahu pertanyaan ini berumur tujuh tahun dan melihat poster itu AWOL, tapi saya menghargai pertanyaan yang menyertakan data ...

Kedengarannya seperti tren peringkat produk adalah masalah daripada tren penilai individu. Dalam hal ini, Anda bisa merasakan tren tingkat tinggi dengan merencanakan rata-rata dan interval kepercayaan untuk setiap produk.

Setidaknya kita dapat melihat bahwa C dan D tampak lebih buruk daripada yang lain (dengan asumsi 8 adalah peringkat terburuk). Mungkin A, B, dan C lebih banyak berselisih daripada yang lain.

Jika penilai individual penting dalam menyampaikan, Anda dapat menggunakan tanda dan warna yang berbeda untuk setiap titik penilai.

— xan
sumber