Menghindari diskriminasi sosial dalam pembangunan model

Saya memiliki pertanyaan yang terinspirasi dari skandal perekrutan Amazon baru-baru ini, di mana mereka dituduh melakukan diskriminasi terhadap perempuan dalam proses perekrutan mereka. Info lebih lanjut di sini :

Spesialis pembelajaran mesin Amazon.com Inc menemukan masalah besar: mesin rekrutmen baru mereka tidak menyukai wanita.
Tim telah membangun program komputer sejak 2014 untuk meninjau resume pelamar pekerjaan dengan tujuan memekanisasi pencarian bakat-bakat top ...
... Alat rekrutmen eksperimental perusahaan menggunakan kecerdasan buatan untuk memberikan skor kandidat pekerjaan mulai dari satu hingga lima bintang ...
... Tetapi pada tahun 2015, perusahaan menyadari bahwa sistem barunya bukanlah peringkat untuk pekerjaan pengembang perangkat lunak dan pos teknis lainnya dengan cara yang netral gender.
Itu karena model komputer Amazon dilatih untuk memeriksa pelamar dengan mengamati pola resume yang disampaikan kepada perusahaan selama periode 10 tahun. Sebagian besar berasal dari pria, cerminan dominasi pria di industri teknologi. (Untuk grafik tentang gangguan gender dalam teknologi, lihat: di sini ) Akibatnya, sistem Amazon belajar sendiri bahwa kandidat laki-laki lebih disukai. Ini menghukum resume yang termasuk kata "wanita," seperti dalam "kapten klub catur wanita." Dan itu menurunkan lulusan dari dua perguruan tinggi khusus wanita, menurut orang-orang yang akrab dengan masalah ini. Mereka tidak menyebutkan nama-nama sekolah.
Amazon mengedit program untuk membuatnya netral terhadap persyaratan khusus ini. Tapi itu bukan jaminan bahwa mesin tidak akan menemukan cara lain untuk menyortir kandidat yang bisa terbukti diskriminatif, kata orang-orang.
Perusahaan Seattle akhirnya membubarkan tim pada awal tahun lalu karena eksekutif kehilangan harapan untuk proyek ...
... Eksperimen perusahaan ... menawarkan studi kasus dalam keterbatasan pembelajaran mesin.
... ilmuwan komputer seperti Nihar Shah, yang mengajar pembelajaran mesin di Universitas Carnegie Mellon, mengatakan masih banyak pekerjaan yang harus dilakukan.
"Bagaimana memastikan bahwa algoritme itu adil, bagaimana memastikan algoritme itu benar-benar dapat ditafsirkan dan dijelaskan - itu masih cukup jauh," katanya.

BAHASA MASKULIN
[Amazon] membentuk tim di pusat teknik Edinburgh di Edinburgh yang berkembang menjadi sekitar selusin orang. Tujuan mereka adalah untuk mengembangkan AI yang dapat dengan cepat menjelajahi web dan menemukan kandidat yang layak direkrut, kata orang-orang yang mengetahui masalah tersebut.
Grup ini menciptakan 500 model komputer yang berfokus pada fungsi dan lokasi pekerjaan tertentu. Mereka mengajar masing-masing untuk mengenali sekitar 50.000 istilah yang muncul pada resume kandidat masa lalu. Algoritma belajar untuk menetapkan sedikit signifikansi pada keterampilan yang umum di pelamar TI, seperti kemampuan untuk menulis berbagai kode komputer ...
Alih-alih, teknologi ini lebih menyukai kandidat yang menggambarkan diri mereka menggunakan kata kerja yang lebih umum ditemukan pada resume insinyur pria, seperti "dieksekusi" dan "ditangkap," kata satu orang.

Katakanlah saya ingin membangun model statistik untuk memprediksi beberapa output dari data pribadi, seperti peringkat bintang lima untuk membantu merekrut orang baru. Katakanlah saya juga ingin menghindari diskriminasi gender, sebagai kendala etika. Dengan dua profil yang benar-benar sama terlepas dari gender, output dari model harus sama.

1. Haruskah saya menggunakan jenis kelamin (atau data apa pun yang terkait dengannya) sebagai masukan dan mencoba memperbaiki pengaruhnya, atau menghindari menggunakan data ini?

2. Bagaimana saya memeriksa tidak adanya diskriminasi terhadap gender?

3. Bagaimana cara memperbaiki model saya untuk data yang secara statistik diskriminatif tetapi saya tidak ingin karena alasan etis?

Makalah ini memberikan tinjauan yang sangat baik tentang bagaimana menavigasi bias gender terutama dalam model berbasis bahasa: Pria adalah untuk Programmer Komputer seperti Wanita adalah untuk Homemaker? Debiasing Word Embeddings - Bolukbasi et. Al. . Ringkasan blog yang bagus dapat ditemukan di sini:

https://developers.googleblog.com/2018/04/text-embedding-models-contain-bias.html

Anda akan menemukan ringkasan sumber daya yang lebih besar di sini:

https://developers.google.com/machine-learning/fairness-overview/

Anda akan menemukan banyak teknik di tautan di atas untuk mengurangi bias gender. Secara umum mereka terbagi dalam tiga kelas:

1) Under / Over sampling data Anda. Ini dimaksudkan untuk mengecualikan resume wanita berkualitas tinggi dan dalam sampel resume pria.

2) Mengurangi "subruang gender". Jika model Anda bias gender, maka Anda bisa menunjukkannya demikian dengan menggunakan resume resume Anda untuk memprediksi gender secara langsung. Setelah membangun model tambahan semacam itu (bahkan hanya mengambil sampel istilah-istilah umum yang termasuk dalam salah satu jenis kelamin, dan kemudian menerapkan PCA), Anda dapat mengurangi dimensi ini dari model, menormalkan resume menjadi netral-gender. Ini adalah teknik utama yang digunakan dalam makalah Bolukbasi.

3) Pembelajaran Musuh. Dalam hal ini Anda mencoba menghasilkan data tambahan dengan mencoba menghasilkan lebih banyak versi resume wanita berkualitas tinggi yang tidak dapat dibedakan dari resume nyata.

Ini bukan jawaban untuk pertanyaan Anda, tetapi hanya beberapa pemikiran yang terlalu panjang untuk dituangkan dalam komentar.

Saya pikir satu masalah yang harus kita pertimbangkan ketika memikirkan masalah ini adalah bahwa setiap model mendiskriminasi , dan mereka akan melakukannya berdasarkan asosiasi yang ada dalam data. Itu bisa dibilang seluruh tujuan model prediksi. Misalnya, laki-laki lebih cenderung melakukan kejahatan daripada perempuan, sehingga hampir semua model yang memiliki akses ke informasi ini akan menarik kesimpulan seperti itu.

Tetapi itu tidak berarti kita harus menghukum seseorang secara sebagian berdasarkan jenis kelamin, meskipun seorang pria pada umumnya akan lebih cenderung melakukan kejahatan (hal-hal lain setara). Sebaliknya, kita harus meminta bukti langsung kejahatan ketika membuat keputusan seperti itu, dan bukan informasi tentang pergaulan semata. Sebagai contoh lain: apakah orang yang cenderung sakit benar-benar layak membayar premi asuransi yang lebih tinggi?

Jadi ketika datang ke diskriminasi, saya berpendapat bahwa masalah ini lebih banyak berurusan dengan aplikasi etis , daripada model itu sendiri tidak adil. Jika kita khawatir tentang melanggengkan diskriminasi atau hasil tidak adil lainnya saat menggunakan model dalam situasi tertentu, maka mungkin kita seharusnya tidak menggunakan model.

Saya dulu bekerja pada sebuah proyek untuk mengembangkan praktik terbaik manajemen perangkat lunak. Saya mengamati sekitar lima puluh tim perangkat lunak di lapangan. Sampel kami adalah sekitar 77, tetapi kami akhirnya melihat sekitar seratus tim. Selain mengumpulkan data tentang hal-hal seperti sertifikasi, gelar dan sebagainya, kami juga mengumpulkan berbagai data psikologis dan demografis.

Tim pengembangan perangkat lunak memiliki beberapa efek seleksi mandiri yang sangat signifikan di dalamnya yang, walaupun tidak ada hubungannya dengan gender, sangat berkorelasi dengan gender. Juga, manajer cenderung mereplikasi diri mereka sendiri. Orang-orang mempekerjakan orang yang nyaman dengan mereka, dan mereka paling nyaman dengan diri mereka sendiri. Ada juga bukti bahwa orang dinilai secara bias secara kognitif. Bayangkan, sebagai seorang manajer, saya sangat menghargai kedatangan yang cepat di awal pekerjaan. Saya kemudian akan menilai itu. Manajer lain, yang hanya peduli bahwa pekerjaannya selesai, mungkin menilai sesuatu yang sama sekali berbeda sama pentingnya.

Anda mencatat bahwa pria menggunakan bahasa secara berbeda, tetapi juga benar bahwa orang dengan kepribadian berbeda menggunakan bahasa dengan cara yang berbeda. Mungkin ada perbedaan penggunaan bahasa etnis, lihat misalnya kontroversi saat ini di Harvard dan penerimaan di Asia.

Sekarang Anda berasumsi bahwa perusahaan perangkat lunak mendiskriminasi perempuan, tetapi ada bentuk lain dari diskriminasi gender yang terjadi di industri pengembangan perangkat lunak yang belum Anda pertanggungjawabkan. Ketika Anda mengontrol hal-hal obyektif seperti sertifikasi, gelar, masa kerja dan sebagainya, rata-rata wanita mendapatkan 40% lebih banyak daripada rata-rata pria. Ada tiga sumber diskriminasi kerja di dunia.

Yang pertama adalah manajer atau pemilik tidak ingin merekrut seseorang berdasarkan fitur tertentu. Yang kedua adalah bahwa rekan kerja tidak ingin bekerja dengan orang-orang dengan fitur itu. Yang ketiga adalah bahwa pelanggan tidak ingin orang yang memiliki fitur. Tampaknya diskriminasi upah dipicu oleh pelanggan karena produk pekerjaannya berbeda, dan dari sudut pandang pelanggan, juga lebih baik. Fitur yang sama ini menyebabkan ahli kesehatan gigi pria mendapat bayaran lebih rendah daripada wanita. Ini juga terlihat dalam bias terhadap "lahir di sini" dalam upah sepak bola dunia.

Kontrol terbaik untuk ini adalah memahami data Anda dan kekuatan sosial yang terlibat. Setiap perusahaan yang menggunakan datanya sendiri akan cenderung mereplikasi dirinya sendiri. Itu mungkin hal yang sangat baik, tetapi bisa juga membuat mereka buta terhadap kekuatan di tempat kerja. Kontrol kedua adalah memahami fungsi tujuan Anda. Keuntungan mungkin merupakan fungsi yang baik, tetapi mungkin fungsi yang buruk. Ada nilai yang dimainkan dalam pemilihan fungsi kerugian objektif. Kemudian, akhirnya, ada masalah pengujian data terhadap demografi untuk menentukan apakah diskriminasi yang disayangkan terjadi.

Akhirnya, dan ini adalah masalah yang lebih besar dalam hal-hal seperti AI di mana Anda tidak bisa mendapatkan statistik interpretatif yang baik, Anda akan ingin mengendalikan paradoks Yule. Contoh sejarah klasik adalah penemuan bahwa 44% pria diterima di UC Berkley sementara hanya 35% wanita diterima pada tahun 1973. Ini adalah perbedaan besar dan signifikan secara statistik. Itu juga menyesatkan.

Ini jelas-jelas memalukan, dan universitas memutuskan untuk melihat jurusan mana yang menyinggung. Nah, ternyata ketika Anda menguasai jurusan, ada bias yang secara statistik signifikan dalam penerimaan wanita. Dari delapan puluh lima jurusan, enam bias terhadap wanita dan empat jurusan, sisanya tidak signifikan. Perbedaannya adalah bahwa wanita, secara tidak proporsional, melamar jurusan yang paling kompetitif dan sedikit dari kedua jenis kelamin yang masuk. Laki-laki lebih mungkin berlaku untuk jurusan yang kurang kompetitif.

Menambahkan paradoks Yule menciptakan lapisan yang lebih dalam untuk diskriminasi. Bayangkan, alih-alih tes gender, ada tes gender berdasarkan jenis pekerjaan. Anda mungkin bisa lulus tes netral gender di seluruh perusahaan tetapi gagal di tingkat tugas. Bayangkan bahwa hanya perempuan yang direkrut untuk V&V dan hanya laki-laki untuk administrasi sistem. Anda akan terlihat netral gender, dan Anda tidak.

Salah satu solusi potensial untuk ini adalah menjalankan AI kompetitif yang menggunakan kriteria objektif berbeda "kebaikan." Tujuannya adalah untuk memperluas jaring, bukan mempersempitnya. Ini juga dapat membantu menghindari masalah lain dalam literatur manajemen. Sementara 3% laki-laki adalah sosiopat, jumlah itu naik secara substansial ketika Anda melangkah lebih jauh dan semakin menaiki tangga perusahaan. Anda tidak ingin menyaring untuk sosiopat.

Terakhir, Anda mungkin tidak ingin mempertimbangkan untuk menggunakan AI untuk jenis posisi tertentu. Saya sedang mencari pekerjaan sekarang. Saya juga yakin saya sedang disaring, dan saya belum menemukan cara untuk mengatasinya. Saya duduk di teknologi baru yang sangat mengganggu. Masalahnya adalah pekerjaan saya tidak cocok dengan kata-kata ajaib. Sebaliknya, saya memiliki set kata-kata ajaib berikutnya. Saat ini, saya sangat berharga bagi perusahaan yang tepat, tetapi dalam satu kasus ketika saya melamar, saya menerima penurunan otomatis dalam waktu kurang dari satu menit. Saya punya teman yang pernah menjadi CIO agensi federal. Dia melamar pekerjaan di mana manajer perekrutan sedang menunggu untuk melihat lamarannya datang sehingga dia bisa ditawari pekerjaan itu. Itu tidak pernah datang karena filter memblokirnya.

Ini mengatur masalah kedua AI. Jika saya dapat bekerja dari resume online yang sedang dipekerjakan oleh Amazon, maka saya dapat membuat kata ajaib resume saya. Memang, saya sedang mengerjakan resume saya sekarang agar sesuai dengan filter non-manusia. Saya juga dapat memberi tahu dari surel-surel dari para perekrut bahwa beberapa bagian dari resume saya diperbesar dan bagian-bagian lain diabaikan. Seolah-olah proses perekrutan dan perekrutan telah diambil alih oleh perangkat lunak seperti Prolog. Kendala logis terpenuhi? Iya! Ini adalah kandidat atau set kandidat yang optimal. Apakah mereka optimal?

Tidak ada jawaban yang sudah dibangun untuk pertanyaan Anda, hanya masalah untuk direkayasa.

Untuk membangun model semacam ini, penting untuk terlebih dahulu memahami beberapa aspek statistik dasar diskriminasi dan hasil proses. Ini membutuhkan pemahaman tentang proses statistik yang menilai objek berdasarkan karakteristik. Secara khusus, ini membutuhkan pemahaman hubungan antara penggunaan karakteristik untuk tujuan pengambilan keputusan (yaitu, diskriminasi) dan penilaian hasil proses sehubungan dengan karakteristik tersebut. Kami mulai dengan memperhatikan hal-hal berikut:

• Diskriminasi (dalam arti yang tepat) terjadi ketika suatu variabel digunakan dalam proses pengambilan keputusan, bukan hanya ketika hasilnya berkorelasi dengan variabel itu. Secara formal, kami melakukan diskriminasi terhadap variabel jika fungsi keputusan dalam proses (yaitu, peringkat dalam kasus ini) adalah fungsi dari variabel itu.

• Kesenjangan dalam hasil sehubungan dengan variabel tertentu sering terjadi bahkan ketika tidak ada diskriminasi pada variabel itu . Ini terjadi ketika karakteristik lain dalam fungsi keputusan berkorelasi dengan variabel yang dikecualikan. Dalam kasus-kasus di mana variabel yang dikecualikan adalah variabel demografis (misalnya, jenis kelamin, ras, usia, dll.) Korelasi dengan karakteristik lain ada di mana-mana, sehingga diharapkan ada perbedaan dalam hasil lintas kelompok demografis.

• Dimungkinkan untuk mencoba mengurangi disparitas dalam hasil lintas kelompok demografis melalui tindakan afirmatif, yang merupakan bentuk diskriminasi. Jika ada perbedaan dalam proses-hasil sehubungan dengan suatu variabel, dimungkinkan untuk mempersempit perbedaan tersebut dengan menggunakan variabel sebagai variabel keputusan (yaitu, dengan mendiskriminasikan variabel itu) dengan cara yang menguntungkan kelompok-kelompok yang "kurang terwakili" (yaitu, kelompok dengan proporsi hasil positif yang lebih rendah dalam proses pengambilan keputusan).

• Anda tidak dapat memiliki keduanya --- apakah Anda ingin menghindari diskriminasi berkenaan dengan karakteristik tertentu, atau Anda ingin menyamakan proses-hasil sehubungan dengan karakteristik itu. Jika tujuan Anda adalah untuk "memperbaiki" perbedaan dalam hasil sehubungan dengan karakteristik tertentu maka jangan menipu diri sendiri tentang apa yang Anda lakukan --- Anda terlibat dalam diskriminasi untuk tujuan tindakan afirmatif .

Setelah Anda memahami aspek-aspek dasar dari proses pengambilan keputusan statistik ini, Anda akan dapat merumuskan apa tujuan sebenarnya Anda dalam kasus ini. Secara khusus, Anda perlu memutuskan apakah Anda menginginkan proses non-diskriminatif, yang kemungkinan akan menghasilkan kesenjangan hasil antar kelompok, atau apakah Anda menginginkan proses diskriminatif yang dirancang untuk menghasilkan hasil proses yang sama (atau sesuatu yang dekat dengan ini). Secara etis, masalah ini menirukan perdebatan tentang non-diskriminasi versus tindakan afirmatif.

Katakanlah saya ingin membangun model statistik untuk memprediksi beberapa output dari data pribadi, seperti peringkat bintang lima untuk membantu merekrut orang baru. Katakanlah saya juga ingin menghindari diskriminasi gender, sebagai kendala etika. Dengan dua profil yang benar-benar sama terlepas dari gender, output dari model harus sama.

Mudah untuk memastikan bahwa peringkat yang diberikan dari model tidak terpengaruh oleh variabel yang ingin Anda kecualikan (misalnya, jenis kelamin). Untuk melakukan ini, yang perlu Anda lakukan adalah menghapus variabel ini sebagai prediktor dalam model, sehingga tidak digunakan dalam keputusan penilaian. Ini akan memastikan bahwa dua profil yang benar-benar sama, terlepas dari variabel itu, diperlakukan sama. Namun, itu tidak serta merta memastikan bahwa model tersebut tidak membeda-bedakan berdasarkan variabel lain yang berkorelasi dengan variabel yang dikecualikan, dan itu umumnya tidak akan mengarah pada hasil yang sama di antara gender. Ini karena jenis kelamin berkorelasi dengan banyak karakteristik lain yang dapat digunakan sebagai variabel prediktif dalam model Anda, jadi kami biasanya mengharapkan hasil tidak sama bahkan tanpa adanya diskriminasi.

Berkenaan dengan masalah ini, ada baiknya untuk membatasi antara karakteristik yang merupakan karakteristik gender yang melekat (misalnya, kencing berdiri) versus karakteristik yang hanya berkorelasi dengan gender (misalnya, memiliki gelar teknik). Jika Anda ingin menghindari diskriminasi gender, ini biasanya mengharuskan penghapusan gender sebagai prediktor, dan juga menghilangkan karakteristik lain yang Anda anggap sebagai karakteristik gender yang melekat . Misalnya, jika kebetulan pelamar kerja menentukan apakah mereka buang air kecil saat berdiri atau duduk, maka itu adalah karakteristik yang tidak sepenuhnya setara dengan gender, tetapi satu opsi secara efektif menentukan gender, sehingga Anda mungkin akan menghapus karakteristik itu. sebagai prediktor dalam model.

1. Haruskah saya menggunakan jenis kelamin (atau data apa pun yang terkait dengannya) sebagai masukan dan mencoba memperbaiki pengaruhnya, atau menghindari menggunakan data ini?

Benar apa sebenarnya? Ketika Anda mengatakan "koreksi efeknya", saya akan berasumsi bahwa yang Anda maksud adalah Anda mempertimbangkan "mengoreksi" perbedaan dalam hasil yang disebabkan oleh para prediktor yang berkorelasi dengan gender. Jika itu masalahnya, dan Anda menggunakan gender untuk mencoba memperbaiki disparitas hasil maka Anda secara efektif terlibat dalam tindakan afirmatif --- yaitu, Anda memprogram model Anda untuk mendiskriminasi gender secara positif, dengan maksud untuk mendekatkan hasil dengan lebih dekat. . Apakah Anda ingin melakukan ini tergantung pada tujuan etis Anda dalam model (menghindari diskriminasi vs mendapatkan hasil yang sama).

2. Bagaimana saya memeriksa tidak adanya diskriminasi terhadap gender?

Jika Anda berbicara tentang diskriminasi aktual, bukan sekadar perbedaan dalam hasil, ini mudah untuk dibatasi dan diperiksa. Yang perlu Anda lakukan adalah merumuskan model Anda sedemikian rupa sehingga tidak menggunakan gender (dan karakteristik gender yang melekat) sebagai prediktor. Komputer tidak dapat membuat keputusan berdasarkan karakteristik yang tidak Anda masukkan ke dalam model mereka, jadi jika Anda memiliki kendali atas ini, harus cukup sederhana untuk memeriksa tidak adanya diskriminasi.

Hal-hal menjadi sedikit lebih sulit ketika Anda menggunakan model pembelajaran mesin yang mencoba mencari tahu karakteristik yang relevan sendiri, tanpa masukan Anda. Bahkan dalam kasus ini, Anda harus dapat memprogram model Anda sehingga tidak termasuk prediktor yang Anda tentukan untuk dihapus (misalnya, jenis kelamin).

3. Bagaimana cara memperbaiki model saya untuk data yang secara statistik diskriminatif tetapi saya tidak ingin karena alasan etis?

Ketika Anda merujuk pada data "diskriminatif secara statistik", saya berasumsi bahwa yang Anda maksud hanyalah karakteristik yang berkorelasi dengan gender. Jika Anda tidak menginginkan karakteristik lain ini di sana, maka Anda cukup menghapusnya sebagai prediktor dalam model. Namun, Anda harus ingat bahwa kemungkinan banyak karakteristik penting akan berkorelasi dengan gender. Setiap karakteristik biner akan dikorelasikan dengan gender dalam kasus apa pun ketika proporsi pria dengan karakteristik itu berbeda dari proporsi wanita dengan karakteristik itu. (Tentu saja, jika proporsi itu dekat Anda mungkin menemukan bahwa perbedaannya tidak "signifikan secara statistik".) Untuk variabel yang lebih umum, kondisi untuk korelasi non-nol juga sangat lemah. Jadi,

Ini paling banyak akan menjadi jawaban parsial (atau tidak ada jawaban sama sekali).

Hal pertama yang perlu diperhatikan adalah bahwa saya setuju dengan @dsaxton sepenuhnya: semua model "diskriminatif" (setidaknya dalam beberapa definisi diskriminasi) karena itulah fungsinya. Masalahnya adalah bahwa model bekerja pada ringkasan dan rata-rata dan mereka menetapkan hal-hal berdasarkan rata-rata. Individu lajang adalah unik dan mungkin benar-benar keluar dari prediksi.

Contoh: pertimbangkan model sederhana yang memprediksi peringkat bintang lima yang disebutkan berdasarkan satu variabel - usia . Untuk semua orang dengan usia yang sama (katakan 30) itu akan menghasilkan output yang sama. Namun itu adalah generalisasi. Tidak setiap orang berusia 30 tahun akan sama. Dan jika model menghasilkan peringkat yang berbeda untuk usia yang berbeda - itu sudah membedakan orang untuk usia mereka. Katakan itu memberi peringkat 3 untuk anak usia 50 tahun dan peringkat 4 untuk anak usia 40 tahun. Pada kenyataannya akan ada banyak orang berusia 50 tahun yang lebih baik dalam apa yang mereka lakukan daripada 40 tahun. Dan mereka akan didiskriminasi.

1. Haruskah saya menggunakan jenis kelamin (atau data apa pun yang terkait dengannya) sebagai masukan dan mencoba memperbaiki pengaruhnya, atau menghindari menggunakan data ini?

Jika Anda ingin model mengembalikan hasil yang sama untuk pria dan wanita yang sama maka Anda tidak harus memasukkan gender dalam model. Data apa pun yang berkorelasi dengan gender mungkin harus dimasukkan. Dengan mengecualikan kovariat seperti itu, Anda dapat membuat setidaknya 2 jenis kesalahan: 1) dengan asumsi semua pria dan wanita didistribusikan secara merata di semua kovariat; 2) jika beberapa kovariat berkorelasi gender tersebut relevan dengan peringkat dan berkorelasi dengan gender pada saat yang sama - Anda mungkin sangat mengurangi kinerja model Anda dengan mengecualikan mereka.

2. Bagaimana saya memeriksa tidak adanya diskriminasi terhadap gender?

Jalankan model pada data yang persis sama dua kali - satu kali menggunakan "pria" dan lain kali menggunakan "wanita". Jika ini berasal dari dokumen teks, mungkin beberapa kata dapat diganti.

3. Bagaimana cara memperbaiki model saya untuk data yang secara statistik diskriminatif tetapi saya tidak ingin karena alasan etis?

Tergantung pada apa yang ingin Anda lakukan. Salah satu cara brutal untuk memaksakan kesetaraan antara gender adalah dengan menjalankan model pada pelamar pria dan pelamar wanita secara terpisah. Dan kemudian pilih 50% dari satu grup dan 50% dari grup lain.

Prediksi Anda kemungkinan besar akan menderita - karena tidak mungkin set pelamar terbaik akan mencakup tepat setengah pria dan setengah wanita. Tetapi Anda mungkin akan baik-baik saja secara etis? - sekali lagi ini tergantung pada etika. Saya bisa melihat deklarasi etis di mana praktik semacam ini akan ilegal karena juga akan mendiskriminasi berdasarkan gender tetapi dengan cara lain.

Apa yang ditunjukkan kisah Amazon adalah sangat sulit untuk menghindari bias. Saya ragu bahwa Amazon mempekerjakan orang bodoh untuk masalah ini, atau bahwa mereka kurang keterampilan, atau bahwa mereka tidak memiliki cukup data, atau bahwa mereka tidak memiliki cukup kredit AWS untuk melatih model yang lebih baik. Masalahnya adalah bahwa algoritma pembelajaran mesin yang rumit sangat baik dalam pola pembelajaran dalam data, bias gender persis seperti pola itu. Ada bias dalam data, karena perekrut (secara sadar atau tidak), lebih menyukai kandidat laki-laki. Saya tidak mengatakan di sini bahwa Amazon adalah perusahaan yang mendiskriminasi kandidat pekerjaan, saya yakin mereka memiliki ribuan kebijakan anti-diskriminasi dan juga merekrut perekrut yang cukup baik. Masalah dengan prasangka dan prasangka semacam ini adalah yang ada tidak peduli seberapa keras Anda berusaha untuk melawannya. Ada banyak eksperimen psikologi yang menunjukkan bahwa orang mungkin menyatakan tidak bias (misalnya rasis), tetapi tetap membuat tindakan yang bias, tanpa menyadarinya. Tetapi menjawab pertanyaan Anda, untuk memiliki algoritma yang tidak bias, Anda harus mulai dengan data yang bebas dari bias semacam ini. Algoritma pembelajaran mesin belajar mengenali dan mengulangi pola yang mereka lihat dalam data, jadi jika data Anda mencatat keputusan yang bias, algoritma tersebut kemungkinan akan mempelajari dan memperkuat bias tersebut.

Hal kedua adalah mengelola data. Jika Anda ingin melarang algoritme Anda dari belajar membuat keputusan yang bias, Anda harus menghapus semua informasi yang akan membantu jika membedakan antara kelompok-kelompok kepentingan (gender di sini). Ini tidak berarti hanya menghapus informasi tentang gender, tetapi juga semua informasi yang dapat mengarah pada pengidentifikasian gender, dan ini bisa menjadi banyak hal. Ada yang jelas seperti nama dan foto, tetapi juga yang tidak langsung, misalnya cuti ibu dalam resume, tetapi juga pendidikan (bagaimana jika seseorang pergi ke sekolah khusus perempuan?), Atau bahkan riwayat pekerjaan (katakanlah bahwa perekrut di perusahaan Anda tidak bias , tetapi bagaimana jika setiap perekrut lain sebelumnya bias, sehingga riwayat pekerjaan mencerminkan semua keputusan yang bias itu?), dll. Seperti yang Anda lihat,

Tentang pertanyaan 2. dan 3., tidak ada jawaban yang mudah dan saya tidak merasa cukup kompeten untuk mencoba menjawabnya secara detail. Ada banyak literatur tentang prasangka dan bias dalam masyarakat, dan tentang bias algoritmik. Ini selalu rumit dan, sayangnya, tidak ada resep sederhana untuk ini. Perusahaan, seperti Google, mempekerjakan ahli yang perannya mengidentifikasi dan mencegah bias semacam ini dalam algoritma.

1. Haruskah saya menggunakan jenis kelamin (atau data apa pun yang terkait dengannya) sebagai masukan dan mencoba memperbaiki pengaruhnya, atau menghindari menggunakan data ini?

Ada beberapa implikasi dari pertanyaan ini yang bermuara pada berikut ini, Apakah saya ingin menjadi insinyur sosial; seorang aktivis yang perannya mengubah status quo karena saya telah memutuskan bahwa masyarakat sakit dan memerlukan terapi?Jawaban yang jelas untuk ini tergantung pada apakah perubahan seperti itu bermanfaat atau berbahaya. Misalnya, jawaban untuk "Apa yang akan kita dapatkan dari kesetaraan gender untuk staf perawat?" mungkin bahwa memiliki setidaknya satu perawat pria yang tersedia untuk memasukkan kateter urin pada pria tidak akan mengharuskan sebanyak 50% perawat adalah pria. Jadi, pendekatan rekayasa sosial meneliti budaya yang berbeda, konteks dan masalah dengan bias gender yang diketahui, dan menempatkan manfaat fungsional yang bisa didapat dari perubahan akar penyebab (s) dari bias itu. Ini adalah langkah penting dalam proses pengambilan keputusan. Sekarang, jawaban untuk pertanyaan 1. adalah tidak, yaitu, sekali seseorang telah memutuskan bahwa masyarakat perlu diperbaiki, orang hanya menambahkan bintang, atau sebagian dari (lihat di bawah), untuk pelamar wanita, tetapi berhati-hatilah dengan apa yang Anda inginkan karena ini adalah tindakan afirmatif, yang dengan sendirinya bersifat diskriminatif. Setiap hasil AI akan berubah untuk mencerminkan norma perekrutan baru, setelah itu ditetapkan sebagai norma fungsional baru.

2. Bagaimana saya memeriksa tidak adanya diskriminasi terhadap gender?

Cukup sederhana, setelah peringkat diberikan, orang melakukan analisis post hoc untuk melihat apa distribusi peringkat untuk pria dan wanita dan membandingkannya.

3. Bagaimana cara memperbaiki model saya untuk data yang secara statistik diskriminatif tetapi saya tidak ingin karena alasan etis?

Ini tidak dapat dihindari dilakukan setelah fakta, yaitu, post hoc . Pemikiran ke depan juga diperlukan, tetapi jenis pemikiran ke depan yang paling dibutuhkan adalah upaya bersama untuk memeriksa secara kritis apa asumsi insinyur sosial itu. Yaitu, dengan asumsi (demi argumen, lihat di bawah) secara sosiologis dibenarkan untuk menghilangkan semua bias gender, seseorang hanya menyesuaikan peringkat perempuan untuk mengikuti distribusi empiris yang sama dengan laki-laki. Dalam bisnis pengajaran ini akan disebut penilaian pada kurva. Lebih jauh, mari kita anggap bahwa mungkin tidak diinginkan untuk melakukan penghapusan penuh bias gender (mungkin terlalu mengganggu untuk melakukannya), maka seseorang dapat melakukan penghapusan sebagian bias, misalnya, rata-rata tertimbang berpasangan dari masing-masing perempuan asli peringkat dan peringkat sepenuhnya dikoreksi, dengan bobot apa pun yang ingin ditetapkan orang yang dianggap (atau diuji) paling tidak berbahaya dan / atau paling menguntungkan.

Kesenjangan gender tidak dapat diubah dengan baik dengan mempekerjakan kebijakan sendiri karena di beberapa bidang ada kelangkaan relatif kandidat perempuan. Sebagai contoh, di Polandia, 14,3% siswa IT adalah perempuan pada tahun 2018, dan di Australia 17% . Setelah dipekerjakan, retensi wanita di industri padat teknologi bermasalah (Wanita dalam peran bisnis di industri padat teknologi berangkat ke industri lain dengan laju tinggi — 53% wanita, dibandingkan dengan 31% pria.) Dengan demikian, kepuasan kerja wanita mungkin lebih penting daripada mempekerjakan kebijakan saja. Yang pertama perlu mengidentifikasi manfaat nyata untuk memiliki persentase tertentu perempuan di tempat kerja, dan ada beberapa petunjuk tentang ini, misalnya, pada 2016, wanita di dewan perusahaan (16%) hampir dua kali lebih mungkin dibandingkan rekan pria mereka (9%) untuk memiliki pengalaman teknologi profesional di antara 518 perusahaan Forbes Global 2000. Dengan demikian, kecakapan teknologi tampaknya berkontribusi lebih banyak pada kekayaan perempuan daripada laki-laki. Dari diskusi ini, harus jelas bahwa sebelum membuat asumsi spesifik gender, upaya substansial harus diarahkan untuk mengidentifikasi manfaat konkret yang lebih global dari kebijakan spesifik yang kebijakan perekrutan hanya sebagian kecil, meskipun penting, sebagian, dan mungkin bukan yang paling penting titik pangkal. Yang terakhir ini secara masuk akal merupakan retensi karyawan karena omset buruk bagi moral dan mungkin menjadi akar penyebab bias gender dalam perekrutan.

Pengalaman manajemen saya telah mengajarkan kepada saya bahwa bahkan perubahan kecil dalam hasil kerja (misalnya 10-20%) cukup efektif pada akhirnya menghilangkan daftar tunggu, yaitu, tidak perlu untuk segera meningkatkan output 100% dengan menggandakan jumlah staf sebagai efek dari yang akan mempersingkat daftar tunggu hanya sedikit lebih cepat daripada perubahan yang lebih kecil, tetapi kemudian akan mengganggu karena staf kemudian akan berdiri di sekitar berharap pekerjaan akan berjalan di pintu. Artinya, jika seseorang memutuskan untuk melakukan rekayasa sosial, bisa berbahaya untuk mencoba koreksi penuh; tidak bekerja seperti itu. Cobalah itu dengan koreksi yang tiba-tiba saja di perahu layar, dan seseorang mungkin berakhir dengan melatih pelajaran berenang seseorang. Setara dengan mengobati bias gender (jika resepnya pas), akan hanya mempekerjakan perempuan. Itu akan menyelesaikan masalah (dan membuat yang lain). Begitu,

Singkatnya, rekayasa sosial yang efektif membutuhkan pendekatan holistik untuk situasi yang rumit, dan hanya mengidentifikasi bahwa mungkin ada masalah tidak memberi tahu kami ada satu, tidak memberi tahu kami apa penyebabnya, tidak memberi tahu kami bagaimana cara memperbaikinya, dan memang semua itu memberitahu kita bahwa kita harus memakai topi berpikir kita.