Bagaimana cara "regresi bertahap" bekerja?

Saya menggunakan kode R berikut agar sesuai dengan model probit:

p1 <- glm(natijeh ~ ., family=binomial(probit), data=data1)
stepwise(p1, direction='backward/forward', criterion='BIC')

Saya ingin tahu apa yang dilakukan stepwisedan backward/forwarddilakukan dengan tepat dan bagaimana memilih variabel?

Prinsip pemilihan bertahap

1. Anda cocok dengan model dengan semua variabel yang Anda inginkan. Ini adalah model terbaik Anda saat ini.
2. Anda menghapus satu variabel (atau menambahkan satu, di antara variabel yang tidak digunakan dalam model terbaik saat ini), dan untuk masing-masing, Anda cocok dengan model baru, dan Anda membandingkannya dengan masing-masing lebih dan dengan yang asli, menurut BIC (atau kriteria lain, seperti AIC ). Anda mendapatkan "model terbaik saat ini".

Anda ulangi 2. sampai tidak ada pengurangan BIC. Anda hanya memiliki BIC minimum lokal, yang berarti Anda mungkin tidak mendapatkan model terbaik di antara semua pilihan subset variabel yang mungkin. Tapi bagaimanapun, biasanya ada terlalu banyak dari mereka, jadi ini adalah cara untuk mengoptimalkan sedikit, tanpa terlalu banyak bekerja.

Lihat juga Regresi bertahap dan pemilihan Model di Wikipedia.

Regresi bertahap pada dasarnya sesuai dengan model regresi dengan menambahkan / menjatuhkan kovariat satu per satu berdasarkan kriteria yang ditentukan (dalam contoh Anda di atas kriteria akan didasarkan pada BIC).

Dengan menentukan ke depan Anda memberi tahu Rbahwa Anda ingin memulai dengan model paling sederhana (yaitu, satu kovariat) dan kemudian menambahkan satu kovariat satu per satu dengan hanya menjaga yang menghasilkan peningkatan pada model BIC.

Dengan menentukan mundur Anda mengatakan Rbahwa Anda ingin memulai dengan model lengkap (yaitu, model dengan semua kovariat) dan kemudian menjatuhkan kovariat, sekali waktu, yang menghasilkan peningkatan dalam BIC.

Regresi bertahap dapat menjadi prosedur statistik yang sangat berbahaya karena ini bukan prosedur pemilihan model yang optimal. Metode ini dapat menyebabkan pemilihan model yang sangat buruk karena dan tidak melindungi Anda terhadap masalah seperti beberapa perbandingan.