Perbedaan antara memilih fitur berdasarkan “regresi F” dan berdasarkan nilai

Apakah membandingkan fitur menggunakan fitur F-regressionyang sama dengan yang berhubungan dengan label secara individual dan mengamati nilai ?$R^2$

Saya sering melihat rekan-rekan saya menggunakan pilihan F regressionuntuk fitur dalam pipa pembelajaran mesin mereka dari sklearn:

sklearn.feature_selection.SelectKBest(score_func=sklearn.feature_selection.f_regression...)`  

Beberapa tolong beri tahu saya - mengapa itu memberikan hasil yang sama seperti hanya menghubungkannya dengan label / variabel dependen?

Tidak jelas bagi saya keuntungan menggunakan F_regressionpemilihan fitur.

Ini kode saya: Saya menggunakan mtcarsdataset dari R:

import pandas as pd
import numpy as np
from sklearn import feature_selection
from sklearn.linear_model import LinearRegression

#....load mtcars dataset into a pandas dataframe called "df", not shown here for conciseness

# only using these numerical columns as features ['mpg', 'disp', 'drat', 'wt']
# using this column as the label:  ['qsec']

model = feature_selection.SelectKBest(score_func=feature_selection.f_regression,\
                                      k=4)

results = model.fit(df[columns], df['qsec'])

print results.scores_
print results.pvalues_

# Using just correlation coefficient:

columns = ['mpg', 'disp', 'drat', 'wt']
for col in columns:
    lm = LinearRegression(fit_intercept=True)
    lm.fit(df[[col]], df['qsec'])
    print lm.score(df[[col]], df['qsec'])

Seperti yang diduga, peringkat fitur-fiturnya persis sama:

scores using f_regression:

[ 6.376702    6.95008354  0.25164249  0.94460378]


 scores using coefficient of determination:

0.175296320261  
0.18809385182
0.00831830818303
0.0305256382746

Seperti yang Anda lihat, fitur kedua berada di peringkat tertinggi, fitur pertama adalah kedua, fitur keempat adalah ketiga, dan fitur ketiga terakhir, dalam kedua kasus.

Apakah pernah ada kasus di mana F_regressionakan memberikan hasil yang berbeda, atau akan memberi peringkat fitur yang berbeda dalam beberapa cara?

EDIT: Untuk meringkas, saya ingin tahu apakah kedua peringkat fitur ini pernah memberikan hasil yang berbeda:

1) peringkat fitur oleh F-statistik mereka ketika regresi mereka dengan hasilnya secara individual (inilah yang sklearn lakukan) DAN

2) memeringkat fitur berdasarkan nilai R-kuadratnya ketika melakukan regresi dengan hasilnya, sekali lagi secara individual.

TL: DR

Tidak akan ada perbedaan jika F-regressionhanya menghitung statistik F dan memilih fitur terbaik. Mungkin ada perbedaan dalam peringkat, dengan asumsi F-regressionmelakukan hal berikut:

• $M_0$
• $M_1$
• $M_2$$M_1$

Karena korelasinya tidak akan sama pada setiap iterasi. Tetapi Anda masih bisa mendapatkan peringkat ini hanya dengan menghitung korelasi pada setiap langkah, jadi mengapa F-regressionperlu langkah tambahan? Ia melakukan dua hal:

• $k$
• $p$F-regression

---

Apa itu uji-F

$M_0$$M_1$$M_0$$M_1$$M_0$$p$

Untuk melakukannya, ia menggunakan jumlah sisa kuadrat sebagai ukuran kesalahan, dan membandingkan pengurangan kesalahan dengan jumlah variabel yang ditambahkan, dan jumlah pengamatan (lebih detail di Wikipedia ). Menambahkan variabel, bahkan jika mereka benar-benar acak, diharapkan selalu membantu model mencapai kesalahan yang lebih rendah dengan menambahkan dimensi lain. Tujuannya adalah untuk mengetahui apakah fitur-fitur baru benar - benar bermanfaat atau jika mereka adalah angka acak tetapi masih membantu model karena mereka menambahkan dimensi.

---

Apa yang f_regressiondilakukan

Perhatikan bahwa saya tidak terbiasa dengan implementasi Scikit belajar, tetapi mari kita coba mencari tahu apa yang f_regressionsedang dilakukan. The dokumentasi menyatakan bahwa prosedur yang berurutan. Jika kata sekuensial berarti sama dengan dalam paket statistik lainnya, seperti Seleksi Fitur Sekuensial Matlab , berikut adalah cara saya mengharapkannya untuk melanjutkan:

• $M_0$
• $M_1$
• $M_2$$M_1$

Untuk saat ini, saya pikir ini perkiraan yang cukup dekat untuk menjawab pertanyaan Anda; apakah ada perbedaan antara peringkat f_regressiondan peringkat berdasarkan korelasi.

$M_0$$M_1$f_regression$M_0$$M_1$$M_2$

$x_1, x_2, x_3$$x_1$$x_2$$y$$x_3$$y$$x_1$$x_2$$x_1$$M_1$$x_2$$x_3$$M_2$$x_2$$x_3$$y$$x_1$$x_2$

$M_0$f_regression

---

$p$$k$

---

Materi tambahan: Berikut ini adalah pengantar untuk uji-F yang mungkin bermanfaat bagi Anda

Saya menghabiskan waktu mencari kode sumber Scikit untuk memahami apa yang f_regressionterjadi, dan saya ingin memposting pengamatan saya di sini.

Pertanyaan aslinya adalah:

T : Apakah SelectKBest(f_regression, k = 4)menghasilkan hasil yang sama dengan menggunakan LinearRegression(fit_intercept=True)dan memilih 4 fitur pertama dengan skor tertinggi?

Jawabannya adalah ya . Selain itu, pemesanan relatif yang diberikan oleh skor adalah sama.

f_regression$X$$y$$X[:, i]$$y$

$$\rho_i = \frac{(X[:, i] - mean(X[:, i])) * (y - mean(y))}{std(X[:, i]) * std(y)}.$$ $$F_i = \frac{\rho_i^2}{1 - \rho_i^2}*(n-2),$$ $n = len(y)$centerFalse$n-1$SelectKBest$k$$X$dengan skor tertinggi. Tidak ada aplikasi berurutan atau apa pun, dan nilai-p juga tidak digunakan.

$R_i^2$LinearRegression$X[:, i]$$y$$R_i^2 = \rho_i^2$

$$R_i^2 < R_j^2 \Leftrightarrow \frac{\rho_i^2}{1 - \rho_i^2} < \frac{\rho_j^2}{1 - \rho_j^2} \Leftrightarrow F_i < F_j.$$ f_regressionLinearRegressionSelectKBest