Apa korelasi antara variabel independen? Ini kurang penting untuk prediksi murni, tetapi jika Anda ingin mendapatkan beberapa informasi inferensial, penting agar variabel independen tidak cukup berkorelasi. Biasanya, ketika Anda menggunakan regresi logistik dalam lingkungan bisnis, informasi inferensial tentang variabel yang digunakan bersama dengan prediksi yang baik adalah yang dicari oleh para pemangku kepentingan.
Selain itu, alasan lain yang baik untuk menghapus variabel adalah karena kekikiran model. Beberapa alasan untuk ini adalah untuk keperluan tinjauan internal, peraturan hukum, dan kemudahan implementasi. Ini mengarah pada itu sangat diinginkan untuk menemukan set variabel terkecil yang memberikan informasi bisnis yang baik dan prediksi yang baik. Misalnya, jika Anda mengembangkan model kredit, setiap variabel harus ditinjau secara hukum, setiap variabel harus tersedia dan segera mengembalikan nilai ketika dipanggil untuk menilai pinjaman, dan para pemangku kepentingan (yang biasanya tidak berpengalaman dalam membangun model) cenderung untuk tidak ingin melihat model rumit yang sarat dengan variabel.
Mungkin juga bermanfaat untuk mencoba hutan acak untuk mendapatkan beberapa gagasan tentang variabel penting dan juga untuk memeriksa kekuatan prediksi dengan dan tanpa semua variabel.
Akhirnya, Anda harus memiliki alasan kuat untuk mentransformasikan variabel. Melemparkan setiap transformasi terhadap variabel hingga Anda menemukan satu yang memberi Anda hasil yang Anda inginkan adalah cara yang baik untuk mendapatkan model pakaian yang berkinerja buruk pada data baru.