Bagaimana cara memesan atau memberi peringkat pada sekelompok pakar?

Saya memiliki database yang berisi sejumlah besar pakar dalam suatu bidang. Untuk masing-masing ahli saya memiliki berbagai atribut / titik data seperti:

beberapa tahun pengalaman.
lisensi
jumlah ulasan
konten tekstual dari ulasan tersebut
Peringkat bintang 5 di setiap ulasan tersebut, untuk sejumlah faktor seperti kecepatan, kualitas, dll.
penghargaan, asosiasi, konferensi, dll.

Saya ingin memberikan peringkat kepada para ahli ini dari 10 berdasarkan pada pentingnya mereka. Beberapa titik data mungkin hilang untuk beberapa ahli. Sekarang pertanyaan saya adalah bagaimana saya membuat algoritma seperti itu? Adakah yang bisa mengarahkan saya ke beberapa literatur yang relevan?

Saya juga prihatin karena dengan semua peringkat / ulasan angka mungkin berkumpul di dekat beberapa nilai. Misalnya sebagian besar dari mereka mungkin mendapatkan nilai 8 atau 5. Apakah ada cara untuk menyoroti perbedaan litle menjadi perbedaan skor yang lebih besar hanya untuk beberapa atribut.

Beberapa diskusi lain yang saya pikir mungkin relevan:

rating valuation

— Sidmitra
sumber

Itu tidak dapat dilakukan kecuali Anda sampai pada kriteria objektif; mungkin sebagian besar peringkat yang mungkin dapat dibangun dengan kombinasi beberapa parameter Anda.

Jawaban:

Orang-orang telah menemukan banyak sistem untuk hal-hal penilaian (seperti para ahli) pada banyak kriteria: kunjungi halaman Wikipedia tentang analisis keputusan Multi-kriteria untuk daftar. Namun, tidak terwakili dengan baik di sana, adalah salah satu metode yang paling dapat dipertahankan di luar sana: teori penilaian multi atribut. Ini termasuk seperangkat metode untuk mengevaluasi trade-off di antara set kriteria untuk (a) menentukan cara yang tepat untuk mengekspresikan kembali nilai-nilai dari variabel individu dan (b) menimbang nilai-nilai yang diungkapkan kembali untuk mendapatkan skor untuk pemeringkatan . Prinsip-prinsipnya sederhana dan dapat dipertahankan, matematika tidak bisa diraih, dan tidak ada yang mewah tentang teorinya. Lebih banyak orang harus tahu dan mempraktikkan metode ini daripada menciptakan sistem penilaian yang sewenang-wenang.

— whuber
sumber

Apakah Anda tahu paket R untuk melakukan ini?

— user333

@ pengguna Tidak, dan saya ragu ada satu. Ngomong-ngomong, tidak ada peluru perangkat lunak ajaib: hampir semua pekerjaan melibatkan pemikiran melalui masalah-masalah dan mengeksplorasi trade-off spesifik dengan cara yang terkontrol.

— whuber

Pada akhirnya ini mungkin bukan semata-mata latihan statistik. PCA adalah metode kuantitatif yang sangat kuat yang akan memungkinkan Anda untuk menghasilkan skor atau bobot pada beberapa komponen utama pertamanya yang dapat Anda gunakan untuk peringkat. Namun, menjelaskan apa komponen utama itu sangat menantang. Mereka adalah konstruksi kuantitatif. Mereka bukan yang dialektik. Jadi, untuk menjelaskan apa yang sebenarnya mereka maksudkan terkadang tidak mungkin. Ini terutama benar jika Anda memiliki audiens yang tidak kuantitatif. Mereka tidak akan tahu apa yang Anda bicarakan. Dan, akan menganggap PCA Anda sebagai kotak hitam samar.

Sebagai gantinya, saya hanya akan berbaris semua variabel yang relevan dan menggunakan sistem pembobotan berdasarkan pada apa yang orang pikirkan pembobotan.

Saya pikir jika Anda mengembangkan ini untuk orang luar, pelanggan, pengguna, akan lebih baik jika Anda bisa menanamkan fleksibilitas dalam menentukan bobot kepada pengguna.
Beberapa pengguna mungkin menghargai pengalaman bertahun-tahun lebih dari sertifikasi dan sebaliknya. Jika Anda bisa menyerahkan keputusan itu kepada mereka. Dengan cara ini algoritme Anda bukan kotak hitam yang tidak mereka pahami dan tidak nyaman bagi mereka. Anda menjaganya tetap transparan dan terserah mereka berdasarkan penilaian relatif mereka sendiri tentang apa yang penting.

— Sympa
sumber

@ Yah Yah, untuk PCA Anda harus menemukan kode numerik yang cocok untuk variabel seperti "konten tekstual" ...

— chl

Itu bukan masalah yang saya ajukan. PCA dapat menangani variabel dummy seperti yang Anda sarankan. PCA sangat kuat dan fleksibel seperti itu. Tapi, itu adalah interpretasi dari komponen utama yang menjadi sangat menantang. Katakanlah komponen utama pertama dimulai seperti ini: 0,02 tahun pengalaman - 0,4 konten teks ulasan + 0,01 asosiasi ... Mungkin Anda bisa menjelaskannya. Kinerja pakar sebanding dengan pengalaman bertahun-tahun, tetapi berbanding terbalik dengan konten tekstual ulasan? Sepertinya tidak masuk akal. Tapi, PCA sering menghasilkan hasil kontra-intuitif.

— Sympa

@ Gaetan Namun, saya tegaskan kembali pendapat saya bahwa masalahnya terletak pada bagaimana Anda memilih untuk mewakili variabel Anda (atau bagaimana Anda menemukan metrik yang berguna). Saya setuju dengan Anda tentang kesulitan menafsirkan kombinasi linear dari variabel ketika berhadapan dengan pengukuran non-kontinu atau campuran tipe data. Inilah sebabnya saya menyarankan dalam komentar lain untuk mencari metode faktorial alternatif. Lagi pula, mengembangkan aturan penilaian berdasarkan preferensi pengguna atau peninjauan ahli (seperti yang dilakukan dalam penilaian klinis) juga membutuhkan semacam validasi statistik (setidaknya untuk memastikan keandalan skor).

— chl

@ Gaetan, Ya, beberapa komentar Anda masuk akal, dan Anda benar mengatakan bahwa itu bukan sekadar latihan statistik tetapi melibatkan unsur-unsur yang lebih subjektif. Alasannya adalah bahwa maksud dari sudut pandang pengguna / pelanggan mungkin berbeda. Dengan asumsi dia melakukan pencarian untuk seorang ahli, maka saya hanya menambahkan filter untuk memungkinkannya memilih ahli> X jumlah tahun pengalaman dan sebagainya. Tapi katakanlah dia mempersempit menjadi 2 ahli, dan ingin perbandingan independen. Jadi saya hanya mencari metode generik untuk membandingkan dua ahli.

— Sidmitra

+1 untuk menunjukkan ini bukan latihan statistik. Paling-paling, PCA dapat menggambarkan hubungan dalam set data tertentu dan, dapat dibayangkan, menyederhanakan data dengan mengidentifikasi collinearities dekat. Tidak jelas bagaimana hal itu dapat memberi tahu kami tentang cara memberi peringkat pada para ahli.

— whuber

Apakah Anda berpikir bahwa Anda dapat mengukur semua atribut itu?

Jika ya, saya sarankan melakukan analisis komponen utama. Dalam kasus umum di mana semua korelasi positif (dan jika tidak, Anda dapat dengan mudah sampai di sana menggunakan beberapa transformasi), komponen utama pertama dapat dianggap sebagai ukuran dari total kepentingan ahli, karena itu adalah tertimbang rata-rata semua atribut (dan bobot akan menjadi kontribusi yang sesuai dari variabel - Di bawah perspektif ini, metode itu sendiri akan mengungkapkan pentingnya setiap atribut). Skor yang dicapai setiap ahli dalam komponen utama pertama adalah apa yang Anda butuhkan untuk memeringkatnya.

— George Dontas
sumber

Ini terlihat bagus, tetapi bukankah itu hanya memilih atribut dengan varian tertinggi dan kelompok yang saling berkorelasi?

Atau, seseorang dapat melakukan analisis korespondensi ganda atau analisis beberapa faktor untuk data campuran (jika pengodean numerik kebetulan tidak realistis untuk beberapa variabel), dan sisa gagasan Anda (menghitung faktor dan melihat pemuatan variabel pada dimensi 1) berlaku demikian juga.

— chl

Sepertinya saya komponen pertama hanya akan menunjukkan arah kesamaan yang kuat di antara para ahli. Bagaimana mungkin ini bisa memberi tahu kita siapa yang lebih baik dan siapa yang lebih buruk? Untuk itu diperlukan informasi tambahan mengenai hubungan antara variabel-variabel ini dan kualitas menjadi ahli "baik" atau "buruk". Jika kami percaya semua variabel terkait secara monoton dengan kebaikan atau keburukan, maka mungkin PCA dapat membantu kami menjelajahi batas ahli ekstrim (atau mungkin hanya outlying!). Berhati-hatilah - bahkan asumsi monotonitas dicurigai.

— whuber

@whuber saya mengerti intinya, terima kasih. Mungkin Anda bisa menambahkan ini dalam respons Anda sendiri (yang sangat disambut baik)?

— chl