Bagaimana cara mengevaluasi kinerja pemain secara otomatis dalam permainan?

Misalkan saya memiliki permainan yang lengkap. Saya tidak memiliki peringkat Elo dari para pemain. Tujuan saya adalah untuk mengevaluasi kinerja pemain dalam permainan hanya berdasarkan gerakannya. Apakah ini dapat dilakukan secara otomatis menggunakan program catur?

Hasilnya bisa berupa perkiraan nilai Elo-nya, atau hanya beberapa nilai yang menunjukkan tingkat kekuatan atau kesalahannya.

Jika itu membantu, basis data permainan pemain dapat diberikan. Sekali lagi, tanpa peringkat Elo.

Motivasi saya sederhana. Saya bermain catur melalui internet dan ingin secara otomatis melacak kemajuan saya, berdasarkan permainan itu sendiri, bukan pada peringkat di situs. Saya level pemula (atas).

Solusi sederhana adalah dengan membubuhi keterangan permainan menggunakan mesin komputer dan nomor track?!,? dan ?? tanda. Namun, itu tidak terlalu akurat, dan saya ingin mendapatkan lebih banyak ide :)

Peringkat Situs pada kontrol waktu lambat bisa sangat andal untuk server di mana pemain yang kuat berkumpul (ICC, FICS untuk menyebutkan beberapa) karena peringkat SANGAT mencerminkan kekuatan bermain Anda yang sebenarnya jika Anda telah memainkan cukup game. Untuk sistem peringkat yang sangat standar seperti USCF dan FIDE / ELO, Anda akan melihat bahwa kelas-kelas peringkat yang berbeda cenderung menunjukkan jenis kesalahan yang masih dilakukan oleh para pemain. Improving Chess Thinker dari NM Dan Heisman melakukan pekerjaan yang sangat baik untuk membahas jenis kesalahan yang dilakukan pemain di seluruh kelas peringkat.

Sudahkah Anda mencoba banyak buku swa-uji di luar sana? Ujian Catur Penilaian Catur Igor Khmelnitsky dan Uji, Evaluasi, dan Tingkatkan Danny Kopec Anda adalah buku-buku bagus yang memungkinkan Anda melacak kemajuan Anda dengan melihat bagaimana kinerja Anda terhadap posisi tes bertingkat.

Pendekatan membandingkan-saya-bergerak-dengan-mesin adalah cara lain untuk melakukan ini tetapi sekali lagi, ?? /? gerakan sebenarnya hanya menunjukkan kesalahan taktis, bukan kesalahan strategis atau posisi atau bahkan perilaku atau manajemen waktu yang mungkin Anda buat.

Itu sebabnya bermain OTB / game online kontrol waktu yang lambat melawan oposisi yang setara dengan yang lebih kuat dan membuat mereka ditinjau + dikritik oleh pemain yang lebih kuat adalah cara yang efisien untuk meningkatkan. Kesalahan Anda di setiap kategori (taktik, pengetahuan, proses berpikir, manajemen waktu, dll.) Disorot dan Anda bisa mengukur kemajuan dalam hal kesalahan yang telah Anda hentikan.

Meskipun satu varian menyenangkan yang dapat Anda coba dengan mesin di rumah: Mengapa tidak memperpanjang metode evaluasi mesin Anda untuk secara visual mengamati kualitas / kinerja pemain melalui grafik evaluasi? Dengan kata lain, ambil skor evaluasi mesin per gerakan dan plot mereka (beberapa perangkat lunak gratis seperti SCID melakukan ini untuk Anda) selama bergerak.

Misalnya: Pemula dua peringkat akan memiliki permainan yang terlihat seperti:

Perhatikan betapa bergeriginya ini. Kedua belah pihak membuat banyak kesalahan mengerikan (lereng paku!) Dan juga seberapa sering mereka gagal mengeksploitasi kesalahan mengerikan orang lain.

Paku selalu menyenangkan untuk dilihat:

Dua pemain perantara (USCF 1400-1600) mungkin memiliki permainan yang terlihat seperti:

Memang terlihat bergerigi, tetapi perhatikan bagaimana sumbu y (evaluasi mesin) jauh lebih kecil ... menunjukkan bahwa para pemain ini lebih berpengalaman dan bermain catur berkualitas lebih tinggi daripada para pemula.

Untuk perbandingan terakhir, game Grandmaster 1911 akan terlihat seperti ini:

Tidak ada komentar yang diperlukan di sini :) Orang-orang ini benar-benar tidak membuat banyak kesalahan, bukan?

Jika Anda bisa menyusun heuristik Anda sendiri untuk memetakan lereng + skala grafik evaluasi untuk keterampilan / kinerja pemain , mungkin ini adalah salah satu cara untuk melangkah? :)

Untuk peringkat kualitas pemain yang sangat akurat, Anda dapat menggunakan alat luar biasa yang disediakan oleh www.chess-db.com. Ini memungkinkan Anda mengunggah game dan setelah beberapa menit itu menghasilkan kualitas kedua pemain dalam persentase dibandingkan dengan gerakan terbaik dari mesin yang kuat.

Ini adalah halaman untuk mengunggah file PGN: http://chess-db.com/public/game_upload.jsp

Dan ini adalah contoh hasilnya: http://chess-db.com/public/game.jsp?id=Pablo%20Bento.Shredder%20Android.107755008

Apa yang Anda minta tidak ada menurut pengetahuan saya. Namun, ini ide saya:

Anda akan memerlukan sampel dengan fitur-fitur berikut, (1) Posisi catur, (2) Gerakan dibuat di posisi, (3) Peringkat pemain yang bergerak.

Katakanlah Anda memiliki 1 miliar sampel. Anda dapat melatih algoritme komputer pada sampel-sampel ini yang dapat memprediksi untuk setiap gerakan dalam posisi kualitas perpindahan sehubungan dengan peringkat. Semua peringkat untuk semua gerakan dapat dirata-ratakan untuk mendapatkan perkiraan perkiraan pemain dan kualitas permainannya.

Ini adalah ide kasar yang bisa dipoles lebih lanjut.

chess.com CAPS. Bandingkan skor CAPS dari chess.com (perlu berlangganan), ke tabel yang ditemukan dalam grafik ini: https://www.chess.com/article/view/better-than-ratings-chess-com-s-new-caps -sistem . Juga menarik: https://www.chess.com/article/view/who-was-the-best-world-chess-champion-in-history

Catatan hati-hati: Skor caps untuk siapa pun game tertentu tidak stabil; terbaik untuk membuat beberapa skor CAPS rata-rata selama batch game. Saat ini, setahu saya, CAPS dapat, dengan ekstensi, memprediksi peringkat Elo dari serangkaian gerakan. Catatan lain: Skor CAPS ada dalam ruang hampa tanpa memperhatikan kontrol waktu. Saya bermain catur yang lebih baik pada kontrol waktu yang lebih lambat daripada yang saya lakukan dalam permainan peluru 1 menit. CAPS akan melihat perbedaan ini dalam kekuatan permainan dan karenanya memberikan peringkat yang lebih rendah untuk permainan peluru. Ini tidak berarti bahwa saya bukan orang yang sama yang memainkan permainan kontrol waktu yang lebih lambat!

Berikut adalah beberapa ide tentang parameter apa yang diukur. Jumlah kesalahan per game. Seberapa sering Anda memiliki posisi yang sama atau lebih baik setelah 10 gerakan, 15 gerakan, 20 gerakan. Seberapa sering Anda berhasil menggunakan kesalahan lawan. Seberapa sering Anda menggambar atau memenangkan permainan akhir yang ditarik secara objektif. Seberapa sering Anda berhasil menemukan kombinasi kawin paksa. Seberapa sering Anda berhasil mempertahankan endgames yang hilang secara objektif. Seberapa sering Anda kehilangan waktu.