Metode penalti untuk data kategorikal: menggabungkan level dalam suatu faktor

Model yang dihukum dapat digunakan untuk memperkirakan model yang jumlah parameternya sama atau bahkan lebih besar dari ukuran sampel. Situasi ini dapat muncul dalam model log-linear dari tabel jarang besar dari data kategorikal atau jumlah. Dalam pengaturan ini, sering juga diinginkan atau membantu untuk merobohkan tabel dengan menggabungkan level faktor di mana level tersebut tidak dapat dibedakan dalam hal bagaimana mereka berinteraksi dengan faktor lain. Dua pertanyaan:

Apakah ada cara untuk menggunakan model yang dihukum seperti LASSO atau jaring elastis untuk menguji kolapsibilitas level dalam setiap faktor?
Jika jawaban untuk pertanyaan pertama adalah ya, dapat, dan harus, ini diatur sedemikian rupa sehingga jatuhnya level dan estimasi koefisien model terjadi dalam satu langkah?

— andrewH
sumber

Makalah ini, doi.org/10.1177/1471082X16642560 , memberikan tinjauan yang bagus tentang apa yang telah dilakukan di bidang ini selama dekade terakhir ini.

— Jorne Biccler

Catatan: penalti yang saya diskusikan di bawah ini adalah persamaan 3.4 di tautan @JorneBiccler. (Sangat menarik untuk melihat bahwa pertanyaan ini telah dipertimbangkan sebelumnya!)

— user795305

Kemungkinan duplikat variabel kategori Preproses dengan banyak nilai

— kjetil b halvorsen

Bagaimana kita bisa menyebut ini duplikat untuk pertanyaan yang mendahuluinya?

— Michael R. Chernick

Itu mungkin. Kita bisa menggunakan varian laso yang menyatu untuk mencapai ini.

Kita dapat menggunakan estimator

\hat{β} = \arg min_{β} \frac{- 1}{n} \sum_{i = 1}^{n} (y_{i} β^{T} x_{i} - e^{β^{T} x_{i}}) + \sum_{factors g} λ_{g} (\sum_{j \in g} | β_{j} | + \frac{1}{2} \sum_{j, k \in g} | β_{j} - β_{k} |) .

$\hat{\beta} = \arg\min_{\beta} \frac{-1}{n} \sum_{i=1}^n \left(y_i \beta^T x_i - e^{\beta^T x_i} \right) + \sum_{\textrm{factors g}} \lambda_g \left(\sum_{j \in g} |\beta_j| + \frac{1}{2} \sum_{j,k \in g} |\beta_j - \beta_k| \right).$

Perhatikan bahwa adalah fungsi kerugian untuk log-linear model. $\frac{-1}{n} \sum_{i=1}^n \left(y_i \beta^T x_i - e^{\beta^T x_i} \right)$

Ini mendorong koefisien dalam kelompok untuk menjadi sama. Kesetaraan koefisien ini setara dengan meruntuhkan level dan bersama-sama. Dalam kasus ketika , itu setara dengan mengecilkan level dengan level referensi. Parameter tuning dapat diperlakukan sebagai konstan, tetapi ini jika hanya ada beberapa faktor, bisa lebih baik memperlakukannya sebagai terpisah. $j^{th}$ $k^{th}$ $\hat{\beta}_j=0$ $j^{th}$ $\lambda_g$

Estimator adalah minimizer dari fungsi cembung, sehingga dapat dihitung secara efisien melalui pemecah yang arbitrer. Mungkin saja jika suatu faktor memiliki banyak, banyak level, perbedaan berpasangan ini akan lepas kendali --- dalam hal ini, mengetahui lebih banyak struktur tentang kemungkinan pola keruntuhan akan diperlukan.

Perhatikan bahwa ini semua dicapai dalam satu langkah! Ini adalah bagian dari apa yang membuat penduga tipe laso begitu keren!

Pendekatan lain yang menarik adalah dengan menggunakan estimator OSCAR, yang seperti di atas kecuali hukuman digantikan oleh . $\|[-1 \, 1] \cdot [\beta_i \, \beta_j]'\|_1$ $\|[\beta_i \, \beta_j]\|_\infty$

— pengguna795305
sumber