Penilaian Kuadrat Intelijen dan Penentuan Pemenang

Ada podcast NPR yang disebut Intelligence Squared. Setiap episode adalah penyiaran debat langsung pada beberapa pernyataan kontroversial seperti "Amandemen ke-2 tidak lagi relevan" atau "Tindakan afirmatif di kampus tidak lebih berbahaya daripada kebaikan". Empat perwakilan berdebat - dua untuk mosi dan dua menentang.

Untuk menentukan pihak mana yang menang, audiens disurvei sebelum dan sesudah perdebatan. Sisi yang memperoleh lebih banyak dalam hal persentase absolut dianggap sebagai pemenang. Sebagai contoh:

          For    Against  Undecided
 Before   18%      42%       40%
 After    23%      49%       28%

 Winner: Against team -- The motion is rejected.

Secara intuitif, saya pikir ukuran keberhasilan ini bias dan saya bertanya-tanya bagaimana orang akan memilih pemirsa untuk menentukan pemenang secara adil.

Tiga masalah yang saya segera lihat dengan metode saat ini:

• Pada kondisi ekstrem, jika satu pihak memulai dengan persetujuan 100%, mereka hanya bisa seri atau kalah.

• Jika tidak ada keraguan, maka sisi dengan perjanjian awal yang lebih sedikit dapat dilihat memiliki ukuran sampel yang lebih besar untuk menggambar.

• Sisi ragu-ragu sepertinya tidak akan benar-benar ragu-ragu. Jika kita berasumsi bahwa kedua belah pihak sama-sama terpolarisasi, tampaknya kepercayaan kita sebelumnya tentang populasi yang belum memutuskan harus menjadi jika masing-masing dipaksa untuk mengambil sisi .$\text{Beta}(\text{# For}, \text{# Against})$

Mengingat kita harus mengandalkan pemungutan suara audiens, apakah ada cara yang lebih adil untuk menilai siapa yang menang?

Kekhawatiran Anda beralasan. Sayangnya, ada banyak cara yang dapat dipertahankan dan obyektif untuk menyelesaikan masalah ini dan mereka dapat saling bertentangan. Analisis berikut menyediakan kerangka kerja untuk memutuskan bagaimana Anda ingin mengevaluasi hasil dan menunjukkan seberapa tergantung kesimpulan Anda pada asumsi yang Anda buat tentang dinamika situasi.

---

Kami memiliki sedikit atau tidak ada kontrol atas audiens awal. Itu mungkin tidak mewakili populasi yang lebih besar (seperti semua pemirsa) di mana kami lebih tertarik. Oleh karena itu, jumlah absolut dari pendapat sedikit relevansinya: yang penting adalah tingkat di mana orang mungkin berubah pikiran. (Dari angka-angka ini kita dapat memperkirakan bagaimana populasi pendengar dapat berubah, memberikan informasi tentang opini awal mereka, bahkan ketika proporsi pendapat dalam audiens yang mendengarkan berbeda dari audiens studio yang disurvei.)

Oleh karena itu hasil terdiri dari enam kemungkinan perubahan pendapat dan enam tingkat perubahan terkait:

• Mereka yang "untuk," yang akan saya indeks dengan dapat berubah pikiran dan berakhir melawan (dengan indeks 2 ) pada tingkat a 12 atau ragu-ragu (dengan indeks 3 ) pada tingkat a 13 .$1,$$2$$a_{12}$$3$$a_{13}$

• Mereka yang "menentang" dapat berubah pikiran menjadi "untuk" pada tingkat atau "ragu-ragu" pada tingkat a 23 .$a_{21}$$a_{23}$

• The undecideds dapat mengubah pikiran mereka untuk "untuk" pada tingkat atau "melawan" pada tingkat yang 32$a_{31}$$a_{32}.$

Mendefinisikan , untuk i = 1 , 2 , 3 , untuk menjadi proporsi penduduk indeks i tidak mengubah pikiran mereka.$a_{ii}$$i=1,2,3,$$i$

Kolom dari matriks berisi angka non-negatif yang harus menambah persatuan (dengan asumsi semua orang yang menanggapi jajak pendapat awal juga menanggapi yang terakhir). Yang menyisakan enam nilai independen untuk ditentukan berdasarkan transisi dari distribusi awal di antara audiens, x = ( 0,18 , 0,42 , 0,40 ) , ke distribusi akhir y = ( 0,23 , 0,49 , 0,28 ) = A$\mathbb{A}=(a_{ij})$$x=(0.18, 0.42, 0.40)$$y=(0.23, 0.49, 0.28) = \mathbb{A}x$. Ini adalah sistem persamaan linear terbatas (terbatas) yang tidak ditentukan, meninggalkan fleksibilitas luar biasa dalam memperoleh solusi. Mari kita lihat tiga solusi.

Solusi 1: Perubahan Terkecil

Kita mungkin meminta matriks transisi sekecil mungkin dalam beberapa hal. Salah satu caranya adalah meminimalkan proporsi total orang yang mengubah pendapat mereka. Ini dicapai dalam contoh dengan solusi$\mathbb{A}$

$$\mathbb{A}=\left( \begin{array}{ccc} 1 & 0 & 0.125 \\ 0 & 1 & 0.175 \\ 0 & 0 & 0.700 \\ \end{array} \right).$$

Yaitu, dari yang ragu-ragu berakhir untuk, 17,5 % dari mereka berakhir melawan, dan tidak ada yang asli atau tidak berubah yang berubah pikiran. Siapa yang menang? Yang menentang, tentu saja, karena perdebatan itu membujuk sebagian besar orang yang belum memutuskan untuk menyetujui pendapat "menentang".$12.5\%$$17.5\%$

Model ini akan sesuai ketika Anda yakin faksi-faksi awal mengeras pada pendapat mereka dan satu-satunya orang yang cenderung berubah pikiran adalah di antara mereka yang awalnya dinyatakan sebagai bimbang.

Solusi 2: Kotak Terkecil

Solusi matematis sederhana adalah menemukan matriks yang kuadrat L 2 norma | | A | | 2 2 = t r ( A ′ A ) sekecil mungkin: ini meminimalkan jumlah kuadrat dari semua sembilan probabilitas transisi (yang termasuk a i i yang mewakili proporsi yang tidak berubah pikiran). Solusinya (dibulatkan ke dua tempat desimal) adalah$\mathbb{A}$$L^2$$||\mathbb{A}||_2^2 = tr(\mathbb{A}^\prime \mathbb{A})$$a_{ii}$

$$\mathbb{A} = \left( \begin{array}{ccc} 0.28 & 0.22 & 0.22 \\ 0.41 & 0.51 & 0.50 \\ 0.31 & 0.27 & 0.28 \\ \end{array} \right).$$

Membandingkan baris, kita melihat bahwa meskipun dari sisi "melawan" dibujuk untuk dikonversi menjadi "untuk" (dan 27 % lainnya cukup bingung untuk menjadi ragu-ragu), sepenuhnya 41 % dari sisi "untuk" dikonversi (dan lain 31 % bingung). Keragu-raguan asli cenderung dikonversi ke sisi "terhadap" ( 50 % berbanding 22 % ). Sekarang "menentang" adalah pemenang yang jelas.$22\%$$27\%$$41\%$$31\%$$50\%$ $22\%$

$1/3$

Solusi 3: Kotak Terkecil Dihukum

$\mathbb{A}$$\omega_i$$\mathbb{A}$

$$||\mathbb{A}||_2^2 - \omega_1 a_{11} - \omega_2 a_{22} - \omega_3 a_{33}$$

$\omega = (1,1,1/2)$

$$\mathbb{A} = \left( \begin{array}{ccc} 0.91 & 0 & 0.17 \\ 0.03 & 0.93 & 0.23 \\ 0.06 & 0.07 & 0.60 \\ \end{array} \right).$$

$40\%$$17\%$$23\%$

Ringkasan

Dalam model transisi perubahan pendapat ini, sebagian besar metode solusi menunjukkan kemenangan untuk pihak "melawan" dalam contoh khusus ini. Tidak ada pendapat kuat tentang dinamika perubahan, yang menyarankan pihak "menentang" menang.

$(.20,.60,.20)$$(.30,.40,.30)$$20\%$$30\%$$40\%$$30\%$. Namun, solusi kuadrat (bulat) setidaknya menunjukkan ada cara ini bisa terjadi di mana perdebatan sedikit disukai pihak lain! ini

$$\mathbb{A} = \left( \begin{array}{ccc} 0.32 & 0.29 & 0.32 \\ 0.36 & 0.42 & 0.36 \\ 0.32 & 0.29 & 0.32 \\ \end{array} \right).$$

$36\%$$29\%$$(36\%)$ $32\%$

komentar tambahan

$\mathbb{A}$

$\mathbb{A}$

$$\begin{equation} p(\textrm{for}_\textrm{after},\textrm{against}_{\textrm{after}},\textrm{undecided}_{\textrm{after}} \mid \textrm{for}_\textrm{before},\textrm{against}_{\textrm{before}},\textrm{undecided}_{\textrm{before}}) \end{equation}$$ $0.5$untuk kedua tim. Perhatikan bahwa masih ada beberapa pilihan untuk aturan keputusan karena ruang hasil adalah 2-dimensi tetapi, jika kita mempercayai model prediktif, ini tidak masalah dalam hal keadilan kontes. Seseorang dapat, misalnya, hanya memutuskan bahwa untuk-tim menang jika rasio For-Against setelah perdebatan melebihi median prediktifnya (tergantung pada sebelum jajak pendapat).

Gagasan untuk membangun model prediksi

$$\begin{align} (P(\textrm{for} \mid \textrm{for before}),P(\textrm{ud} \mid \textrm{for before}),P(\textrm{ag} \mid \textrm{for before})) & \sim Dir(a_{ff},a_{uf},a_{af}) \\ (P(\textrm{for} \mid \textrm{ud before}),P(\textrm{ud} \mid \textrm{ud before}),P(\textrm{ag} \mid \textrm{ud before})) & \sim Dir(a_{fu},a_{uu},a_{au}) \\ (P(\textrm{for} \mid \textrm{ag before}),P(\textrm{ud} \mid \textrm{ag before}),P(\textrm{ag} \mid \textrm{ag before})) & \sim Dir(a_{fa},a_{ua},a_{aa}), \end{align}$$ $P$$a$$a$$a$$a_{ff}=a_{aa}$$a_{fu}=a_{au}$

$a$