Apa cara terbaik untuk mengidentifikasi pencilan dalam data multivarian?

Misalkan saya memiliki satu set besar data multivarian dengan setidaknya tiga variabel. Bagaimana saya bisa menemukan outlier? Scatterplots berpasangan tidak akan berfungsi karena dimungkinkan untuk pencilan yang ada dalam 3 dimensi yang bukan pencilan di salah satu dari subruang 2 dimensi.

Saya tidak memikirkan masalah regresi, tetapi data multivariat yang sebenarnya. Jadi jawaban yang melibatkan regresi yang kuat atau leverage komputasi tidak membantu.

Salah satu kemungkinan adalah menghitung skor komponen utama dan mencari pencilan di sebar bivariat dari dua skor pertama. Apakah itu dijamin berhasil? Apakah ada pendekatan yang lebih baik?

Silahkan lihat di mvoutlier paket yang mengandalkan memerintahkan jarak mahalanobis kuat, seperti yang disarankan oleh @drknexus.

Saya pikir jawaban Robin Girard akan bekerja cukup baik untuk 3 dan mungkin 4 dimensi, tetapi kutukan dimensi akan mencegahnya bekerja lebih dari itu. Namun, sarannya membawa saya ke pendekatan terkait yaitu menerapkan estimasi kepadatan kernel yang divalidasi silang ke tiga skor komponen utama pertama. Kemudian set data yang sangat tinggi masih dapat ditangani dengan baik.

Singkatnya, untuk i = 1 ke n

1. Hitung estimasi kepadatan dari tiga skor komponen utama pertama yang diperoleh dari kumpulan data tanpa Xi.
2. Hitung kemungkinan Xi untuk kepadatan yang diperkirakan pada langkah 1. sebut saja Li.

berakhir untuk

Sortir Li (untuk i = 1, .., n) dan outlier adalah yang memiliki kemungkinan di bawah ambang tertentu. Saya tidak yakin apa yang akan menjadi ambang batas yang baik - saya akan meninggalkan itu untuk siapa pun yang menulis makalah tentang ini! Salah satu kemungkinan adalah dengan melakukan boxplot dari nilai-nilai log (Li) dan melihat outlier apa yang terdeteksi pada ujung negatif.

Anda dapat menemukan ringkasan pedagogis dari berbagai metode yang tersedia di (1)

Untuk beberapa --recent-- perbandingan numerik dari berbagai metode yang tercantum di sana, Anda dapat memeriksa (2) dan (3) .

ada banyak perbandingan numerik yang lebih lama (dan kurang lengkap), biasanya ditemukan dalam buku. Anda akan menemukan satu di halaman 142-143 dari (4), misalnya.

Perhatikan bahwa semua metode yang dibahas di sini memiliki implementasi open source R, terutama melalui paket rrcov .

• (1) P. Rousseeuw dan M. Hubert (2013) Estimator High-Breakdown dari Multivariate Location dan Scatter.
• (2) M. Hubert, P. Rousseeuw, K. Vakili (2013). Bentuk bias penaksir kovarian yang kuat: studi empiris. Makalah Statistik.
• (3) K. Vakili dan E. Schmitt (2014). Menemukan pencilan multivarian dengan FastPCS. Statistik Komputasi & Analisis Data.
• (4) Maronna RA, Martin RD dan Yohai VJ (2006). Statistik Kuat: Teori dan Metode. Wiley, New York.

Saya akan melakukan semacam "tinggalkan satu algoritma pengujian" (n adalah jumlah data):

untuk i = 1 hingga n

1. $X_i$
2. $X_i$$L_i$

berakhir untuk

$L_i$

Ini akan bekerja jika n cukup besar ... Anda juga dapat menggunakan "tinggalkan strategi" yang bisa lebih relevan ketika Anda memiliki "grup" outlier ...

Anda dapat menemukan kandidat untuk "pencilan" di antara titik-titik dukungan ellipsoid dengan volume minimum. ( Algoritme yang efisien untuk menemukan titik-titik ini dalam dimensi yang cukup tinggi, baik secara tepat maupun kira-kira, diciptakan dalam serentetan makalah pada tahun 1970-an karena masalah ini terkait erat dengan pertanyaan dalam desain eksperimental.)

Pendekatan baru yang saya lihat adalah dengan Analisis Komponen Utama IT Jolliffe . Anda menjalankan PCA pada data Anda (Catatan: PCA bisa menjadi alat penjelajahan data yang sangat berguna dengan caranya sendiri), tetapi alih-alih melihat beberapa Komponen Utama (PC) pertama, Anda membuat plot beberapa PC terakhir. PC ini adalah hubungan linier antara variabel Anda dengan varians sekecil mungkin. Dengan demikian mereka mendeteksi "tepat" atau dekat dengan hubungan multivarian yang tepat dalam data Anda.

Plot skor PC untuk PC terakhir akan menunjukkan outlier yang tidak mudah terdeteksi dengan melihat secara individual pada masing-masing variabel. Salah satu contoh adalah untuk tinggi dan berat badan - beberapa yang memiliki tinggi "di atas rata-rata" dan berat "di bawah rata-rata" akan terdeteksi oleh PC tinggi dan berat badan terakhir (dengan asumsi ini berkorelasi positif), bahkan jika tinggi dan beratnya tidak " ekstrim "secara individual (mis. seseorang yang 180cm dan 60kg).

Saya tidak melihat ada yang menyebutkan fungsi pengaruh . Saya pertama kali melihat ide ini dalam buku multivariat Gnanadesikan .

Dalam satu dimensi outlier adalah nilai yang sangat besar atau sangat kecil. Dalam analisis multivariat, ini adalah pengamatan yang dihapus dari sebagian besar data. Tetapi metrik apa yang harus kita gunakan untuk mendefinisikan ekstrim untuk pencilan? Ada banyak pilihan. Jarak Mahalanobis hanya satu. Saya pikir mencari setiap jenis pencilan itu sia-sia dan kontraproduktif. Saya akan bertanya mengapa Anda peduli dengan pencilan itu? Dalam mengestimasi mean, mereka dapat memiliki pengaruh besar pada estimasi tersebut. Penduga yang kuat menurunkan berat badan dan mengakomodasi pencilan tetapi mereka tidak secara resmi menguji mereka. Sekarang dalam regresi, outlier - seperti poin leverage - dapat memiliki efek besar pada parameter kemiringan dalam model. Dengan data bivariat mereka dapat terlalu mempengaruhi estimasi koefisien korelasi dan dalam tiga atau lebih dimensi koefisien korelasi berganda.

Fungsi pengaruh diperkenalkan oleh Hampel sebagai alat dalam estimasi yang kuat dan Mallows menulis makalah yang tidak dipublikasikan yang menganjurkan penggunaannya. Fungsi pengaruh adalah fungsi dari titik Anda berada dalam ruang n-dimensi dan parameter. Ini pada dasarnya mengukur perbedaan antara estimasi parameter dengan titik dalam perhitungan dan dengan titik yang ditinggalkan. Daripada bersusah payah melakukan perhitungan dari dua perkiraan dan mengambil perbedaan, seringkali Anda dapat memperoleh formula untuk itu. Kemudian kontur pengaruh konstan memberi tahu Anda arah yang ekstrem sehubungan dengan perkiraan parameter ini dan karenanya memberi tahu Anda di mana di ruang n-dimensi untuk mencari pencilan.

Untuk lebih lanjut, Anda dapat melihat makalah saya tahun 1983 di American Journal of Matematika dan Ilmu Manajemen berjudul "Fungsi pengaruh dan aplikasinya untuk validasi data." Dalam validasi data kami ingin mencari outliers yang memengaruhi tujuan penggunaan data. Perasaan saya adalah bahwa Anda harus mengarahkan perhatian Anda ke pencilan yang sangat memengaruhi parameter yang ingin Anda perkirakan dan tidak terlalu peduli dengan orang lain yang tidak.

Ini mungkin overshoot, tetapi Anda dapat melatih Hutan Acak tanpa pengawasan pada data dan menggunakan ukuran kedekatan objek untuk mendeteksi outlier. Lebih detail di sini .

Untuk dimensi moderat, seperti 3, maka semacam teknik cross-validasi kernel seperti yang disarankan di tempat lain tampaknya masuk akal dan merupakan yang terbaik yang bisa saya lakukan.

Untuk dimensi yang lebih tinggi, saya tidak yakin bahwa masalahnya dapat dipecahkan; itu mendarat tepat di wilayah 'kutukan dimensi'. Masalahnya adalah bahwa fungsi jarak cenderung konvergen ke nilai yang sangat besar dengan sangat cepat saat Anda meningkatkan dimensi, termasuk jarak yang diperoleh dari distribusi. Jika Anda mendefinisikan outlier sebagai "titik dengan fungsi jarak yang relatif besar relatif terhadap yang lain", dan semua fungsi jarak Anda mulai menyatu karena Anda berada di ruang dimensi tinggi, well, Anda dalam kesulitan .

Tanpa semacam asumsi distribusi yang akan memungkinkan Anda mengubahnya menjadi masalah klasifikasi probabilistik, atau setidaknya beberapa rotasi yang memungkinkan Anda memisahkan ruang Anda menjadi "dimensi kebisingan" dan "dimensi informatif", saya berpikir bahwa geometri ruang dimensi tinggi akan melarang identifikasi outlier yang mudah - atau setidaknya kuat -.

Saya tidak yakin apa yang Anda maksudkan ketika Anda mengatakan bahwa Anda tidak memikirkan masalah regresi tetapi tentang "data multivariat sejati". Respons awal saya adalah menghitung jarak Mahalanobis karena tidak mengharuskan Anda menentukan IV atau DV tertentu, tetapi pada intinya (sejauh yang saya mengerti) itu terkait dengan statistik leverage.

Saya tidak sadar bahwa ada orang yang melakukan ini, tetapi saya biasanya suka mencoba pengurangan dimensionalitas ketika saya memiliki masalah seperti ini. Anda mungkin melihat ke dalam metode dari banyak pembelajaran atau pengurangan dimensi non-linear .

Contohnya adalah peta Kohonen . Referensi yang baik untuk R adalah "Peta Self-and Super-Organizing in R: The kohonen Package" .

Respons pertama saya adalah jika Anda dapat melakukan regresi multivariat pada data, maka untuk menggunakan residu dari regresi tersebut untuk mengenali outlier. (Saya tahu Anda mengatakan itu bukan masalah regresi, jadi ini mungkin tidak membantu Anda, maaf!)

Saya menyalin beberapa dari pertanyaan Stackoverflow yang sebelumnya saya jawab yang memiliki beberapa contoh kode R

Pertama, kita akan membuat beberapa data, dan menodainya dengan pencilan;

> testout<-data.frame(X1=rnorm(50,mean=50,sd=10),X2=rnorm(50,mean=5,sd=1.5),Y=rnorm(50,mean=200,sd=25)) 
> #Taint the Data 
> testout$X1[10]<-5 
> testout$X2[10]<-5 
> testout$Y[10]<-530 

> testout 
         X1         X2        Y 
1  44.20043  1.5259458 169.3296 
2  40.46721  5.8437076 200.9038 
3  48.20571  3.8243373 189.4652 
4  60.09808  4.6609190 177.5159 
5  50.23627  2.6193455 210.4360 
6  43.50972  5.8212863 203.8361 
7  44.95626  7.8368405 236.5821 
8  66.14391  3.6828843 171.9624 
9  45.53040  4.8311616 187.0553 
10  5.00000  5.0000000 530.0000 
11 64.71719  6.4007245 164.8052 
12 54.43665  7.8695891 192.8824 
13 45.78278  4.9921489 182.2957 
14 49.59998  4.7716099 146.3090 
<snip> 
48 26.55487  5.8082497 189.7901 
49 45.28317  5.0219647 208.1318 
50 44.84145  3.6252663 251.5620 

Sering kali paling berguna untuk memeriksa data secara grafis (otak Anda jauh lebih baik dalam melihat outlier daripada matematika)

> #Use Boxplot to Review the Data 
> boxplot(testout$X1, ylab="X1") 
> boxplot(testout$X2, ylab="X2") 
> boxplot(testout$Y, ylab="Y") 

Anda kemudian dapat menggunakan statistik untuk menghitung nilai cut off kritis, di sini menggunakan Lund Test (Lihat Lund, RE 1975, "Tabel untuk Sebuah Perkiraan Tes untuk Outliers dalam Model Linear", Technometrics, vol. 17, no. 4, hlm. 473 -476 dan Prescott, P. 1975, "Sebuah Perkiraan Tes untuk Pencilan dalam Model Linier", Technometrics, vol. 17, no. 1, hlm. 129-132.)

> #Alternative approach using Lund Test 
> lundcrit<-function(a, n, q) { 
+ # Calculates a Critical value for Outlier Test according to Lund 
+ # See Lund, R. E. 1975, "Tables for An Approximate Test for Outliers in Linear Models", Technometrics, vol. 17, no. 4, pp. 473-476. 
+ # and Prescott, P. 1975, "An Approximate Test for Outliers in Linear Models", Technometrics, vol. 17, no. 1, pp. 129-132. 
+ # a = alpha 
+ # n = Number of data elements 
+ # q = Number of independent Variables (including intercept) 
+ F<-qf(c(1-(a/n)),df1=1,df2=n-q-1,lower.tail=TRUE) 
+ crit<-((n-q)*F/(n-q-1+F))^0.5 
+ crit 
+ } 

> testoutlm<-lm(Y~X1+X2,data=testout) 

> testout$fitted<-fitted(testoutlm) 

> testout$residual<-residuals(testoutlm) 

> testout$standardresid<-rstandard(testoutlm) 

> n<-nrow(testout) 

> q<-length(testoutlm$coefficients) 

> crit<-lundcrit(0.1,n,q) 

> testout$Ynew<-ifelse(testout$standardresid>crit,NA,testout$Y) 

> testout 
         X1         X2        Y    newX1   fitted    residual standardresid 
1  44.20043  1.5259458 169.3296 44.20043 209.8467 -40.5171222  -1.009507695 
2  40.46721  5.8437076 200.9038 40.46721 231.9221 -31.0183107  -0.747624895 
3  48.20571  3.8243373 189.4652 48.20571 203.4786 -14.0134646  -0.335955648 
4  60.09808  4.6609190 177.5159 60.09808 169.6108   7.9050960   0.190908291 
5  50.23627  2.6193455 210.4360 50.23627 194.3285  16.1075799   0.391537883 
6  43.50972  5.8212863 203.8361 43.50972 222.6667 -18.8306252  -0.452070155 
7  44.95626  7.8368405 236.5821 44.95626 223.3287  13.2534226   0.326339981 
8  66.14391  3.6828843 171.9624 66.14391 148.8870  23.0754677   0.568829360 
9  45.53040  4.8311616 187.0553 45.53040 214.0832 -27.0279262  -0.646090667 
10  5.00000  5.0000000 530.0000       NA 337.0535 192.9465135   5.714275585 
11 64.71719  6.4007245 164.8052 64.71719 159.9911   4.8141018   0.118618011 
12 54.43665  7.8695891 192.8824 54.43665 194.7454  -1.8630426  -0.046004311 
13 45.78278  4.9921489 182.2957 45.78278 213.7223 -31.4266180  -0.751115595 
14 49.59998  4.7716099 146.3090 49.59998 201.6296 -55.3205552  -1.321042392 
15 45.07720  4.2355525 192.9041 45.07720 213.9655 -21.0613819  -0.504406009 
16 62.27717  7.1518606 186.6482 62.27717 169.2455  17.4027250   0.430262983 
17 48.50446  3.0712422 228.3253 48.50446 200.6938  27.6314695   0.667366651 
18 65.49983  5.4609713 184.8983 65.49983 155.2768  29.6214506   0.726319931 
19 44.38387  4.9305222 213.9378 44.38387 217.7981  -3.8603382  -0.092354925 
20 43.52883  8.3777627 203.5657 43.52883 228.9961 -25.4303732  -0.634725264 
<snip> 
49 45.28317  5.0219647 208.1318 45.28317 215.3075  -7.1756966  -0.171560291 
50 44.84145  3.6252663 251.5620 44.84145 213.1535  38.4084869   0.923804784 
       Ynew 
1  169.3296 
2  200.9038 
3  189.4652 
4  177.5159 
5  210.4360 
6  203.8361 
7  236.5821 
8  171.9624 
9  187.0553 
10       NA 
11 164.8052 
12 192.8824 
13 182.2957 
14 146.3090 
15 192.9041 
16 186.6482 
17 228.3253 
18 184.8983 
19 213.9378 
20 203.5657 
<snip> 
49 208.1318 
50 251.5620 

Jelas ada tes outlier lain selain tes Lund (Grubbs muncul dalam pikiran), tapi saya tidak yakin mana yang lebih cocok untuk data multivariat.

Salah satu jawaban di atas menyentuh jarak mahalanobis .... mungkin langkah lebih jauh dan menghitung interval kepercayaan simultan akan membantu mendeteksi outlier!