Kasus diskriminasi Asia Palantir: bagaimana probabilitas dihitung?

Saya membaca artikel ini tentang kasus Palantir di mana Deparment of Labor menuduh mereka melakukan diskriminasi terhadap orang Asia. Adakah yang tahu dari mana mereka mendapatkan estimasi probabilitas ini?

Saya tidak mendapatkan 1/741 dalam item (a).

(a) Untuk posisi QA Engineer, dari lebih dari 730 pelamar yang memenuhi syarat - sekitar 77% di antaranya adalah orang Asia - Palantir mempekerjakan enam pelamar non-Asia dan hanya satu pelamar Asia. Dampak buruk yang dihitung oleh OFCCP melebihi tiga standar deviasi. Kemungkinan hasil ini terjadi berdasarkan kebetulan adalah sekitar satu dari 741.

(B) Untuk posisi Software Engineer, dari lebih dari 1.160 pelamar yang memenuhi syarat - sekitar 85% di antaranya adalah orang Asia - Palantir mempekerjakan 14 pelamar non-Asia dan hanya 11 pelamar Asia. Dampak buruk yang dihitung oleh OFCCP melebihi lima standar deviasi. Kemungkinan hasil ini terjadi secara kebetulan adalah sekitar satu dalam 3,4 juta.

(c) Untuk posisi Intern Engineer QA, dari lebih dari 130 pelamar yang memenuhi syarat - sekitar 73% di antaranya adalah orang Asia - Palantir mempekerjakan 17 pelamar bukan-Asia dan hanya empat pelamar Asia. Dampak buruk yang dihitung oleh OFCCP melebihi enam standar deviasi. Kemungkinan hasil ini terjadi berdasarkan kebetulan adalah sekitar satu dalam satu miliar.

Saya akan merekayasa balik ini dari pengalaman dengan kasus-kasus diskriminasi. Saya pasti bisa menentukan dari mana nilai "satu dalam 741," dll , berasal. Namun, begitu banyak informasi yang hilang dalam terjemahan sehingga sisa rekonstruksi saya bergantung pada bagaimana orang melakukan statistik dalam pengaturan ruang sidang. Saya hanya bisa menebak beberapa detail.

---

Sejak undang-undang anti-diskriminasi disahkan pada 1960-an (Judul VI), pengadilan di Amerika Serikat telah belajar untuk melihat nilai-p dan membandingkannya dengan ambang batas dan 0,01 . Mereka juga telah belajar untuk melihat efek standar, biasanya disebut sebagai "standar deviasi," dan membandingkannya dengan ambang batas "dua hingga tiga standar deviasi." Untuk membuat kasus prima facie untuk gugatan diskriminasi, penggugat biasanya mencoba perhitungan statistik yang menunjukkan "dampak berbeda" yang melebihi ambang batas ini. Jika perhitungan seperti itu tidak dapat didukung, kasing biasanya tidak bisa maju.$0.05$$0.01$

Pakar statistik untuk penggugat sering berupaya untuk mengutarakan hasil mereka dalam istilah yang sudah lazim ini. Beberapa ahli melakukan tes statistik di mana hipotesis nol menyatakan "tidak ada dampak buruk," dengan asumsi keputusan kerja adalah murni acak dan tidak diatur oleh karakteristik karyawan lainnya. (Apakah itu alternatif satu-ekor atau dua-ekor mungkin tergantung pada ahli dan keadaannya.) Mereka kemudian mengubah nilai-p tes ini menjadi sejumlah "standar deviasi" dengan merujuknya ke distribusi Normal standar- - bahkan ketika standar Normal tidak relevan dengan tes asli. Dengan cara bundaran ini mereka berharap untuk mengomunikasikan kesimpulan mereka dengan jelas kepada hakim.

Tes yang disukai untuk data yang dapat diringkas dalam tabel kontingensi adalah Uji Exact Fisher. Terjadinya "Tepat" dalam namanya sangat menyenangkan bagi penggugat, karena berkonotasi penentuan statistik yang telah dibuat tanpa kesalahan (apa pun itu!).

Jadi, inilah perhitungan saya (rekonstruksi spekulatif) dari Departemen Tenaga Kerja.

1. Mereka menjalankan Fisher's Exact Test, atau semacamnya (seperti tes dengan nilai-p yang ditentukan melalui pengacakan). Tes ini mengasumsikan distribusi hypergeometric seperti yang dijelaskan dalam jawaban Matthew Gunn. (Untuk sejumlah kecil orang yang terlibat dalam keluhan ini, distribusi hipergeometrik tidak diperkirakan dengan baik oleh distribusi Normal.)$\chi^2$

2. Mereka mengonversi nilai p-nya ke skor Z normal ("jumlah standar deviasi").

3. Mereka membulatkan skor Z ke bilangan bulat terdekat: "melebihi tiga standar deviasi," "melebihi lima standar deviasi," dan "melebihi enam standar deviasi." (Karena beberapa dari Z-skor mengitari up penyimpangan lebih standar, saya tidak bisa membenarkan "melebihi", semua bisa saya lakukan adalah mengutipnya.)

4. Dalam keluhan, skor Z integral ini dikonversi kembali ke nilai-p! Sekali lagi standar distribusi normal digunakan.

5. Nilai-p ini digambarkan (bisa dibilang dengan cara yang menyesatkan) sebagai "kemungkinan bahwa hasil ini terjadi sesuai dengan kebetulan."

$1/1280$$1/565000$$1/58000000$$730$$1160$$130$$730$$1160$$130$$-3.16$$-4.64$$-5.52$$1/741$$1/3500000$$1/1000000000$

---

Berikut adalah beberapa Rkode yang digunakan untuk melakukan perhitungan ini.

f <- function(total, percent.asian, hired.asian, hired.non.asian) {
  asian <- round(percent.asian/100 * total)
  non.asian <- total-asian
  x <- matrix(c(asian-hired.asian, non.asian-hired.non.asian, hired.asian, hired.non.asian),
              nrow = 2,
              dimnames=list(Race=c("Asian", "non-Asian"),
                            Status=c("Not hired", "Hired")))
  s <- fisher.test(x)
  s$p.value
}
1/pnorm(round(qnorm(f(730, 77, 1, 6))))
1/pnorm(round(qnorm(f(1160, 85, 11, 14))))
1/pnorm(round(qnorm(f(130, 73, 4, 17))))

Cara menghitung interval dengan benar menggunakan distribusi hypergeometric:

$k$$n$$K$$N$

Untuk pengujian satu sisi, di MATLAB, Anda dapat memanggil pval = hygecdf(k, N, K, n);atau dalam hal pval = hygecdf(1, 730, 562, 7)ini sekitar 0,0007839.

Mean dan standar deviasi diberikan oleh:

$$\mu = n \frac{K}{N} \quad \quad \quad s = \sqrt{n \frac{K}{N} \frac{N - K}{N} \frac{N - n}{N-1}}$$

$\chi^2$

Mencari rumus yang mungkin digunakan OFCCP, situs ini yang saya lihat mungkin dapat membantu: http://www.hr-software.net/EmploymentStatistics/DisparateImpact.htm

Ringkasan beberapa perhitungan:

$$\begin{array}{rrrr} \text{Number and method} & \text{Part A} & \text{Part B} & \text{Part C} \\ \text{PVal from hypergeometric CDF} & \text{7.839e-04} & \text{1.77e-06} & \text{1.72e-08}\\ \chi^2 \text{ stat} & 15.68 & 33.68 & 37.16\\ \chi^2 \text{ pval} & \text{7.49e-05} & \text{6.47e-09} & \text{1.09e-09} \\ \text{Pval from above document} & .00135 & \text{2.94e-07} & \text{1.00e-09} \end{array}$$

$\chi^2$$\sum \frac{(\text{expected} - \text{actual})^2}{\text{expected}}$