Apa distribusi dalam regresi linier di bawah hipotesis nol? Mengapa modenya tidak nol ketika ?

Apa distribusi koefisien determinasi, atau R kuadrat, , dalam regresi berganda univariat linier di bawah hipotesis nol ?$R^2$$H_0:\beta=0$

Bagaimana hal itu tergantung pada jumlah prediktor dan jumlah sampel ? Apakah ada ekspresi bentuk tertutup untuk mode distribusi ini?$k$$n>k$

Secara khusus, saya merasa bahwa untuk regresi sederhana (dengan satu prediktor ) distribusi ini memiliki mode nol, tetapi untuk regresi berganda mode berada pada nilai positif bukan nol. Jika ini memang benar, adakah penjelasan intuitif tentang "transisi fase" ini?$x$

---

Memperbarui

Seperti yang ditunjukkan oleh @Alecos di bawah ini, distribusi memang memuncak pada nol ketika dan dan tidak pada nol ketika . Saya merasa bahwa harus ada pandangan geometris pada transisi fase ini. Pertimbangkan tampilan geometris OLS: adalah vektor dalam , mendefinisikan subruang -dimensi di sana. OLS sama dengan memproyeksikan ke subruang ini, dan dikuadratkan dengan cosinus sudut antara dan projeksi \ hat {\ mathbf y} .$k=2$$k=3$$k>3$$\mathbf y$$\mathbb R^n$$\mathbf X$$k$$\mathbf y$$R^2$$\mathbf y$$\hat{\mathbf y}$

Sekarang, dari jawaban @ Alecos dapat disimpulkan bahwa jika semua vektor adalah acak, maka distribusi probabilitas sudut ini akan memuncak pada $90^\circ$ untuk $k=2$ dan $k=3$ , tetapi akan memiliki mode pada beberapa nilai lain $<90^\circ$ untuk $k>3$ . Mengapa?!

---

Pembaruan 2: Saya menerima jawaban @ Alecos, tetapi masih merasa bahwa saya kehilangan beberapa wawasan penting di sini. Jika ada yang menyarankan pandangan lain (geometris atau tidak) tentang fenomena ini yang akan membuatnya "jelas", saya akan dengan senang hati menawarkan hadiah.

Untuk hipotesis spesifik (bahwa semua koefisien regresi adalah nol, tidak termasuk istilah konstan, yang tidak diperiksa dalam tes ini) dan di bawah normalitas, kita tahu (lihat misalnya Maddala 2001, hal. 155, tetapi perhatikan bahwa ada, menghitung regressor tanpa suku konstanta, sehingga ekspresi terlihat sedikit berbeda) dengan statistik$k$

F(k-1,n-k

$$F = \frac {n-k}{k-1}\frac {R^2}{1-R^2}$$ didistribusikan sebagai variabel acak pusat .$F(k-1, n-k)$

Perhatikan bahwa meskipun kita tidak menguji istilah konstan, juga menghitungnya.$k$

Memindahkan segalanya,

$$(k-1)F - (k-1)FR^2 = (n-k)R^2 \Rightarrow (k-1)F = R^2\big[(n-k) + (k-1)F\big]$$

$$\Rightarrow R^2 = \frac {(k-1)F}{(n-k) + (k-1)F}$$

Tetapi sisi kanan didistribusikan sebagai distribusi Beta , khususnya

$$R^2 \sim Beta\left (\frac {k-1}{2}, \frac {n-k}{2}\right)$$

The modus distribusi ini

$$\text{mode}R^2 = \frac {\frac {k-1}{2}-1}{\frac {k-1}{2}+ \frac {n-k}{2}-2} =\frac {k-3}{n-5}$$

FINITE & MODE UNIK
Dari hubungan di atas kita dapat menyimpulkan bahwa untuk distribusi memiliki mode yang unik dan terbatas kita harus memiliki

$$k\geq 3, n >5$$

Ini konsisten dengan persyaratan umum untuk distribusi Beta, yaitu

$$\{\alpha >1 , \beta \geq 1\},\;\; \text {OR}\;\; \{\alpha \geq1 , \beta > 1\}$$

seperti yang dapat disimpulkan dari utas CV ini atau baca di sini .
Perhatikan bahwa jika , kami memperoleh distribusi Uniform, jadi semua titik kerapatan adalah mode (terbatas tetapi tidak unik). Yang menciptakan pertanyaan: Mengapa, jika , didistribusikan sebagai ?k = 3 , n = 5 R 2 U ( 0 , 1 )$\{\alpha =1 , \beta = 1\}$$k=3, n=5$$R^2$$U(0,1)$

IMPLIKASI
Asumsikan bahwa Anda memiliki regresi (termasuk konstanta), dan pengamatan. Regresi yang cukup bagus, tidak ada overfitting. Kemudiann = $k=5$$n=99$

$$R^2\Big|_{\beta=0} \sim Beta\left (2, 47\right), \text{mode}R^2 = \frac 1{47} \approx 0.021$$

dan plot kepadatan

Tolong intuisi: ini adalah distribusi bawah hipotesis bahwa sebenarnya tidak ada regresi yang termasuk dalam regresi. Jadi a) distribusinya tidak tergantung pada regressor, b) karena ukuran sampel meningkat distribusinya terkonsentrasi ke nol ketika informasi meningkat rawa variabilitas sampel kecil yang dapat menghasilkan beberapa "cocok" tetapi juga c) karena jumlah regressor yang tidak relevan meningkat untuk ukuran sampel yang diberikan, distribusi terkonsentrasi ke , dan kami memiliki fenomena "spurious fit". $R^2$$1$

Tetapi juga, perhatikan betapa "mudahnya" untuk menolak hipotesis nol: dalam contoh khusus, untuk probabilitas kumulatif telah mencapai , sehingga diperoleh akan menolak nol dari "regresi tidak signifikan" "pada level signifikansi %.$R^2=0.13$$0.99$$R^2>0.13$$1$

ADDENDUM
Untuk menanggapi masalah baru mengenai mode distribusi , saya dapat menawarkan garis pemikiran berikut (bukan geometris), yang menghubungkannya dengan fenomena "spurious fit": ketika kami menjalankan kuadrat-terkecil pada data set, kita pada dasarnya menyelesaikan sistem persamaan linear dengan tidak diketahui (satu-satunya perbedaan dari matematika SMA adalah bahwa saat itu kita disebut "koefisien dikenal" apa yang dalam regresi linier kita sebut "variabel / regresi", "tidak diketahui x" apa sekarang kita sebut "koefisien tidak diketahui", dan "istilah konstan" yang kita kenal sebagai "variabel dependen"). Asalkan$R^2$$n$$k$$k<n$sistem ini terlalu-diidentifikasi dan tidak ada solusi yang tepat, hanya perkiraan-dan perbedaan muncul sebagai "varians yang tidak dijelaskan dari variabel dependen", yang ditangkap oleh . Jika sistem memiliki satu solusi yang tepat (dengan asumsi independensi linear). Di antaranya, saat kami meningkatkan jumlah , kami mengurangi "tingkat overidentification" dari sistem dan kami "bergerak menuju" solusi tunggal yang tepat. Di bawah pandangan ini, masuk akal mengapa meningkat secara palsu dengan penambahan regresi yang tidak relevan, dan akibatnya, mengapa modenya bergerak secara bertahap menuju , karena meningkat untuk diberikan .$1-R^2$$k=n$$k$$R^2$$1$$k$$n$

Aku tidak akan rederive yang distribusi jawaban yang sangat bagus dari @ Alecos (ini adalah hasil standar, lihat disiniuntuk diskusi yang bagus) tetapi saya ingin mengisi lebih banyak detail tentang konsekuensinya! Pertama, seperti apa distribusi nullR2untuk rentang nilaindank? Grafik dalam jawaban Alecos cukup representatif dari apa yang terjadi dalam regresi berganda praktis, tetapi terkadang wawasan diperoleh dengan lebih mudah dari kasus yang lebih kecil. Saya sudah memasukkan mean, mode (di mana ada) dan standar deviasi. Grafik / tabel layak mendapatkan bola mata yang bagus:paling baik dilihat pada ukuran penuh. Saya bisa memasukkan lebih sedikit segi tetapi polanya akan kurang jelas; Saya telah menambahkan$\mathrm{Beta}(\frac{k-1}{2}, \, \frac{n-k}{2})$$R^2$$n$$k$Rkode sehingga pembaca dapat bereksperimen dengan himpunan bagian yang berbeda dari dan k .$n$$k$

Nilai parameter bentuk

Skema warna grafik menunjukkan apakah setiap parameter bentuk kurang dari satu (merah), sama dengan satu (biru), atau lebih dari satu (hijau). Sisi kiri menunjukkan nilai sementara β di kanan. Karena α = k - $\alpha$$\beta$ , nilainya meningkat dalam perkembangan aritmatika dengan perbedaan umum$\alpha = \frac{k-1}{2}$ ketika kita bergerak langsung dari kolom ke kolom (tambahkan regressor ke model kita) sedangkan, untukntetap,β=n-$\frac{1}{2}$$n$ berkurang sebanyak$\beta = \frac{n-k}{2}$ . Totalα+β=n-$\frac{1}{2}$ ditetapkan untuk setiap baris (untuk ukuran sampel tertentu). Jika sebaliknya kita memperbaikikdan menurunkan kolom (menambah ukuran sampel sebesar 1), makaαtetap konstan danβmeningkat sebesar$\alpha + \beta = \frac{n-1}{2}$$k$$\alpha$$\beta$ . Dalam istilah regresi,αadalah setengah dari jumlah regressor yang termasuk dalam model, danβadalah setengah dari derajat kebebasan yang tersisa. Untuk menentukan bentuk distribusi kami terutama tertarik di manaαatauβsama dengan.$\frac{1}{2}$$\alpha$$\beta$$\alpha$$\beta$

Aljabar mudah untuk : kami memiliki k - $\alpha$jadik=3. Ini memang satu-satunya kolom plot segi yang berwarna biru di sebelah kiri. Demikian pulaα<1untukk<3(kolomk=2berwarna merah di sebelah kiri) danα>1untukk>3(dari kolomk=4dan seterusnya, sisi kiri berwarna hijau).$\frac{k-1}{2}=1$$k=3$$\alpha < 1$$k<3$$k=2$$\alpha > 1$$k>3$$k=4$

Untuk kita memiliki n - $\beta=1$makak=n-2. Perhatikan bagaimana kasing ini (ditandai dengan sisi kanan berwarna biru) memotong garis diagonal di seluruh sisi bidang. Untukβ>1kita memperolehk<n-2(grafik dengan sisi kiri hijau terletak di sebelah kiri garis diagonal). Untukβ<1kita perluk>n-2, yang hanya melibatkan sebagian besar kasus pada grafik saya: padan=kkita memilikiβ=0dan distribusinya mengalami degenerasi, tetapi$\frac{n-k}{2}=1$$k=n-2$$\beta > 1$$k < n - 2$$\beta < 1$$k > n - 2$$n=k$$\beta=0$ di mana β = $n=k-1$ diplot (sisi kanan berwarna merah).$\beta = \frac{1}{2}$

Karena PDF adalah , jelas bahwa jika (dan hanya jika) α < 1 maka f ( x ) → ∞ sebagai x → 0 . Kita bisa melihat ini dalam grafik: ketika sisi kiri berbayang merah, amati perilaku di 0. Demikian pula ketika β < 1 lalu f ( x ) → ∞ sebagai x → 1 . Lihat di mana sisi kanan berwarna merah!$f(x;\,\alpha,\,\beta) \propto x^{\alpha-1} (1-x)^{\beta-1}$$\alpha<1$$f(x) \to \infty$$x \to 0$$\beta<1$$f(x) \to \infty$$x \to 1$

Simetri

Salah satu fitur grafik yang paling menarik perhatian adalah tingkat simetri, tetapi ketika distribusi Beta terlibat, ini seharusnya tidak mengejutkan!

Distribusi Beta itu sendiri simetris jika . Bagi kami ini terjadi jika n = 2 k - 1 yang mengidentifikasi panel dengan benar ( k = 2 , n = 3 ) , ( k = 3 , n = 5 ) , ( k = 4 , n = 7 ) dan ( k = 5 , n = 9 $\alpha = \beta$$n = 2k-1$$(k=2, n=3)$$(k=3, n=5)$$(k=4, n=7)$$(k=5, n=9)$. Sejauh mana distribusi simetris di tergantung pada berapa banyak variabel regresi yang kami sertakan dalam model untuk ukuran sampel itu. Jika k = n + $R^2 = 0.5$ distribusiR2adalah simetris sempurna sekitar 0,5; jika kita memasukkan lebih sedikit variabel daripada itu menjadi semakin asimetris dan sebagian besar massa kemungkinan bergeser lebih dekat keR2=0; jika kita memasukkan lebih banyak variabel maka itu bergeser lebih dekat keR2=1. Ingatlah bahwakmenyertakan intersep dalam hitungannya, dan kami bekerja di bawah nol, sehingga variabel regressor harus memiliki koefisien nol dalam model yang ditentukan dengan benar.$k = \frac{n+1}{2}$$R^2$$R^2 = 0$$R^2 = 1$$k$

Ada juga simetri yang jelas antara distribusi untuk setiap diberikan , yaitu setiap baris dalam facet grid. Misalnya, bandingkan ( k = 3 , n = 9 ) dengan ( k = 7 , n = 9 ) . Apa yang menyebabkan ini? Ingatlah bahwa distribusi B e t a ( α , β ) adalah gambar cermin dari B e t a ( β , α ) di seluruh $n$$(k=3, n=9)$$(k=7, n=9)$$\mathrm{Beta}(\alpha, \beta)$$\mathrm{Beta}(\beta, \alpha)$ . Sekarang kami memiliki α k , n = k - $x=0.5$ danβk,n=n-$\alpha_{k,n} = \frac{k-1}{2}$ . Pertimbangkank'=n-k+1dan kita menemukan:$\beta_{k,n} = \frac{n-k}{2}$$k'=n-k+1$

βk′,n=n-(n-k+1

$$\alpha_{k',n} = \frac{(n-k+1)-1}{2} = \frac{n-k}{2} = \beta_{k,n}$$ $$\beta_{k',n} = \frac{n-(n-k+1)}{2} = \frac{k-1}{2} = \alpha_{k,n}$$

Jadi ini menjelaskan simetri saat kita memvariasikan jumlah regresi dalam model untuk ukuran sampel tetap. Ini juga menjelaskan distribusi yang sendiri simetris sebagai kasus khusus: bagi mereka, sehingga mereka wajib simetris dengan diri mereka sendiri!$k' = k$

Ini memberitahu kita sesuatu yang kita mungkin tidak menduga tentang regresi berganda: untuk ukuran sampel yang diberikan , dan dengan asumsi tidak ada regressors memiliki hubungan asli dengan Y , yang R 2 untuk model menggunakan k - 1 regressors ditambah intercept memiliki distribusi yang sama seperti 1 - R 2 tidak untuk model dengan k - 1 derajat sisa kebebasan yang tersisa .$n$$Y$$R^2$$k-1$$1 - R^2$$k-1$

Distribusi khusus

Ketika kita memiliki β = 0 , yang bukan merupakan parameter yang valid. Namun, seperti β → 0 distribusi menjadi berdegenerasi dengan lonjakan sedemikian rupa sehingga P ( R 2 = 1 ) = 1 . Ini konsisten dengan apa yang kita ketahui tentang model dengan parameter sebanyak poin data - itu mencapai sangat cocok. Saya belum menggambar distribusi degenerasi pada grafik saya tetapi sudah memasukkan mean, mode dan standar deviasi.$k=n$$\beta=0$$\beta \to 0$$\mathsf{P}(R^2 = 1)=1$

Ketika dan n = 3 kita memperoleh B e t a ( $k=2$$n=3$yang merupakandistribusi arcsine. Ini simetris (karenaα=β) dan bimodal (0 dan 1). Karena ini adalah satu-satunya kasus di mana keduaα<1danβ<1(ditandai merah di kedua sisi), itu adalah satu-satunya distribusi kami yang pergi hingga tak terbatas di kedua ujung dukungan.$\mathrm{Beta}(\frac{1}{2}, \, \frac{1}{2})$$\alpha = \beta$$\alpha < 1$$\beta < 1$

The distribusi adalah satu-satunya distribusi Beta yangberbentuk persegi panjang (seragam). Semua nilai R 2 dari 0 hingga 1 kemungkinan sama besar. Satu-satunya kombinasi k dan n dimana α = β = 1 terjadi adalah k = 3 dan n = 5 (ditandai biru di kedua sisi).$\mathrm{Beta}(1, \, 1)$$R^2$$k$$n$$\alpha = \beta =1$$k=3$$n=5$

Kasing khusus sebelumnya terbatas penerapannya, tetapi dan β = 1 (hijau di kiri, biru di kanan) penting. Sekarang f ( x $\alpha > 1$$\beta=1$ sehingga kami memilikidistribusi kuasa-hukumpada [0, 1]. Tentu saja tidak mungkin kami melakukan regresi dengan k = n - 2 dan k > 3 , saat itulah situasi ini terjadi. Tetapi dengan argumen simetri sebelumnya, atau aljabar sepele pada PDF,ketika k = 3 dan n > 5$f(x;\,\alpha,\,\beta) \propto x^{\alpha-1} (1-x)^{\beta-1} = x^{\alpha-1}$$k=n-2$$k>3$$k=3$$n > 5$, yang merupakan prosedur berulang dari beberapa regresi dengan dua regresi dan mencegat pada ukuran sampel non-sepele, akan mengikuti distribusi kekuatan hukum yang tercermin pada [0, 1] di bawah H 0 . $R^2$$H_0$Ini sesuai dengan dan β > 1 sehingga ditandai biru di kiri, hijau di kanan.$\alpha=1$$\beta>1$

Anda mungkin juga memperhatikan distribusi segitiga di dan refleksinya ( k = 3 , n = 7 ) . Kita dapat mengenali dari α dan β mereka bahwa ini hanyalah kasus khusus dari hukum-kekuasaan dan distribusi hukum-hukum yang direfleksikan di mana kekuatannya 2 - 1 = 1 .$(k=5,n=7)$$(k=3,n=7)$$\alpha$$\beta$$2-1=1$

Mode

Jika dan β > 1 , semuanya berwarna hijau di plot, f ( x $\alpha>1$$\beta>1$ cekung dengan f ( 0 ) = f ( 1 ) = 0 , dan distribusi Beta memiliki mode unik α - $f(x; \, \alpha, \, \beta)$$f(0)=f(1)=0$ . Menempatkan ini dalam bentukkdann, kondisinya menjadik>3dann>k+2saat mode adalahk-$\frac{\alpha-1}{\alpha+\beta-2}$$k$$n$$k>3$$n>k+2$ .$\frac{k-3}{n-5}$

Semua kasus lain telah ditangani di atas. Jika kita mengendurkan ketidaksetaraan untuk memungkinkan , maka kita menyertakan distribusi hukum-kekuatan (hijau-biru) dengan k = n - 2 dan k > 3 (setara, n > 5 ). Kasus-kasus ini jelas memiliki mode 1, yang sebenarnya setuju dengan rumus sebelumnya sejak ( n - 2 ) - $\beta=1$$k=n-2$$k>3$$n>5$. Jika sebaliknya kita membiarkanα=1tetapi masih menuntutβ>1, kita akan menemukan distribusi hukum-daya yang dipantulkan (biru-hijau) dengank=3dann>5. Mode mereka adalah 0, yang setuju dengan3-$\frac{(n-2)-3}{n-5}=1$$\alpha=1$$\beta>1$$k=3$$n>5$. Namun, jika kita mengendurkan kedua ketidaksetaraan secara bersamaan untuk memungkinkanα=β=1, kita akan menemukan distribusi seragam (semua biru) dengank=3dann=5, yang tidak memiliki mode unik. Selain itu rumus sebelumnya tidak dapat diterapkan dalam kasus ini, karena akan mengembalikan bentuk tak tentu3-$\frac{3-3}{n-5}=0$$\alpha=\beta=1$$k=3$$n=5$ .$\frac{3-3}{5-5}=\frac{0}{0}$

Ketika kita mendapatkan distribusi yang berdegenerasi dengan mode 1. Ketika β < 1 (dalam istilah regresi, n = k - 1 sehingga hanya ada satu derajat residual kebebasan) maka f ( x ) → ∞ sebagai x → 1 , dan ketika α < 1 (dalam istilah regresi, k = 2 jadi model linier sederhana dengan intersep dan satu regresi) maka f ( x ) → ∞ sebagai x → $n=k$$\beta < 1$$n=k-1$$f(x) \to \infty$$x \to 1$$\alpha < 1$$k=2$$f(x) \to \infty$$x \to 0$. Ini akan menjadi mode unik kecuali dalam kasus yang tidak biasa di mana dan n = 3 (pas model linier sederhana ke tiga titik) yang merupakan bimodal pada 0 dan 1. $k=2$$n=3$

Berarti

Pertanyaan yang diajukan tentang mode, tetapi rata-rata bawah nol juga menarik - ia memiliki bentuk sangat sederhana k - $R^2$ . Untuk ukuran sampel tetap, ini meningkatkan progres aritmatika karena lebih banyak regressor ditambahkan ke model, hingga nilai rata-rata adalah 1 ketikak=n. Mean dari distribusi Beta adalah$\frac{k-1}{n-1}$$k=n$ sehingga perkembangan aritmatika seperti itu tidak dapat dihindari dari pengamatan kami sebelumnya bahwa, untukntetap, jumlahα+βadalah konstan tetapiαmeningkat sebesar 0,5 untuk setiap regressor yang ditambahkan ke model.$\frac{\alpha}{\alpha+\beta}$$n$$\alpha+\beta$$\alpha$

$$\frac{\alpha}{\alpha+\beta} = \frac{(k-1)/2}{(k-1)/2 + (n-k)/2} = \frac{k-1}{n-1}$$

Kode untuk plot

require(grid)
require(dplyr)

nlist <- 3:9 #change here which n to plot
klist <- 2:8 #change here which k to plot

totaln <- length(nlist)
totalk <- length(klist)

df <- data.frame(
    x = rep(seq(0, 1, length.out = 100), times = totaln * totalk),
    k = rep(klist, times = totaln, each = 100),
    n = rep(nlist, each = totalk * 100)
)

df <- mutate(df,
    kname = paste("k =", k),
    nname = paste("n =", n),
    a = (k-1)/2,
    b = (n-k)/2,
    density = dbeta(x, (k-1)/2, (n-k)/2),
    groupcol = ifelse(x < 0.5, 
        ifelse(a < 1, "below 1", ifelse(a ==1, "equals 1", "more than 1")),
        ifelse(b < 1, "below 1", ifelse(b ==1, "equals 1", "more than 1")))
)

g <- ggplot(df, aes(x, density)) +
    geom_line(size=0.8) + geom_area(aes(group=groupcol, fill=groupcol)) +
    scale_fill_brewer(palette="Set1") +
    facet_grid(nname ~ kname)  + 
    ylab("probability density") + theme_bw() + 
    labs(x = expression(R^{2}), fill = expression(alpha~(left)~beta~(right))) +
    theme(panel.margin = unit(0.6, "lines"), 
        legend.title=element_text(size=20),
        legend.text=element_text(size=20), 
        legend.background = element_rect(colour = "black"),
        legend.position = c(1, 1), legend.justification = c(1, 1))


df2 <- data.frame(
    k = rep(klist, times = totaln),
    n = rep(nlist, each = totalk),
    x = 0.5,
    ymean = 7.5,
    ymode = 5,
    ysd = 2.5
)

df2 <- mutate(df2,
    kname = paste("k =", k),
    nname = paste("n =", n),
    a = (k-1)/2,
    b = (n-k)/2,
    meanR2 = ifelse(k > n, NaN, a/(a+b)),
    modeR2 = ifelse((a>1 & b>=1) | (a>=1 & b>1), (a-1)/(a+b-2), 
        ifelse(a<1 & b>=1 & n>=k, 0, ifelse(a>=1 & b<1 & n>=k, 1, NaN))),
    sdR2 = ifelse(k > n, NaN, sqrt(a*b/((a+b)^2 * (a+b+1)))),
    meantext = ifelse(is.nan(meanR2), "", paste("Mean =", round(meanR2,3))),
    modetext = ifelse(is.nan(modeR2), "", paste("Mode =", round(modeR2,3))),
    sdtext = ifelse(is.nan(sdR2), "", paste("SD =", round(sdR2,3)))
)

g <- g + geom_text(data=df2, aes(x, ymean, label=meantext)) +
    geom_text(data=df2, aes(x, ymode, label=modetext)) +
    geom_text(data=df2, aes(x, ysd, label=sdtext))
print(g)