Apa kekuatan uji F regresi?

11

Uji-F klasik untuk subset variabel dalam regresi multilinear memiliki bentuk di manaadalah jumlah kesalahan kuadrat di bawah 'berkurang' model, yang sarang di dalam 'besar' model, danadalah derajat kebebasan dari dua model. Di bawah hipotesis nol bahwa variabel tambahan dalam model 'besar' tidak memiliki kekuatan penjelas linear, statistik didistribusikan sebagai F dengandanderajat kebebasan.

F = \frac{(SSE (R) - SSE (B)) / (d f_{R} - d f_{B})}{SSE (B) / d f_{B}},

$F = \frac{(\mbox{SSE}(R) - \mbox{SSE}(B))/(df_R - df_B)}{\mbox{SSE}(B)/df_B},$

SSE (R)

$\mbox{SSE}(R)$

B

$B$

d f

$df$

d f_{R} - d f_{B}

$df_R - df_B$

d f_{B}

$df_B$

Apa distribusi, di bawah alternatif? Saya menganggap itu adalah F non-sentral (saya harap tidak ganda non-sentral), tetapi saya tidak dapat menemukan referensi tentang apa sebenarnya parameter non-sentralitas. Saya akan menebak itu tergantung pada koefisien regresi , dan mungkin pada desain matriks , tetapi di luar itu saya tidak begitu yakin. $\beta$ $X$

— shabbychef
sumber

9

Parameter noncentrality adalah , proyeksi untuk model terbatas adalah , adalah vektor dari parameter true, adalah matriks desain untuk model (true) tidak terbatas, adalah normanya: $\delta^{2}$ $P_{r}$ $\beta$ $X$ $|| x ||$

δ^{2} = \frac{| | X β - P_{r} X β | |^{2}}{σ^{2}}

$\delta^{2} = \frac{|| X \beta - P_{r} X \beta ||^{2}}{\sigma^{2}}$

$E(y | X) = X \beta$ $X$ $X \beta$ $y$ $P_{r} X \beta$ $\hat{y}$ $X \beta - P_{r} X \beta$ $y - \hat{y}$ $|| X \beta - P_{r} X \beta ||^{2}$ $X \beta$ $X_{r}$ $P_{r} X \beta = X \beta$ $0$

Anda harus menemukannya di Mardia, Kent & Bibby. (1980). Analisis Multivariat.

— caracal
sumber

Bagus! haruskah norma itu dikuadratkan? Kalau tidak, sepertinya unit itu penting? Anda menyatakan itu adalah 'jumlah kuadrat', jadi saya pikir itu adalah norma kuadrat ..

— shabbychef

@shabbychef Tentu saja Anda benar, terima kasih sudah menangkapnya!

— caracal

7

δ^{2} = \frac{| | X β_{1} - X β_{2} | |^{2}}{σ^{2}},

$\delta^2 = \frac{||X\beta_1 - X\beta_2||^2}{\sigma^2},$

CDF empiris dari apa yang seharusnya normal

Berikut adalah kode R (maafkan gaya, saya masih belajar):

#sum of squares
sum2 <- function(x) { return(sum(x * x)) }
#random integer between n and 2n
rint <- function(n) { return(ceiling(runif(1,min=n,max=2*n))) }
#generate random instance from linear model plus noise.
#n observations of p2 vector
#regress against all variables and against a subset of p1 of them
#compute the F-statistic for the test of the p2-p1 marginal variables
#compute the p-value under the putative non-centrality parameter
gend <- function(n,p1,p2,sig = 1) {
 beta2 <- matrix(rnorm(p2,sd=0.1),nrow=p2)
 beta1 <- matrix(beta2[1:p1],nrow=p1)
 X <- matrix(rnorm(n*p2),nrow=n,ncol=p2)
 yt1 <- X[,1:p1] %*% beta1
 yt2 <- X %*% beta2
 y <- yt2 + matrix(rnorm(n,mean=0,sd=sig),nrow=n)
 ncp <- (sum2(yt2 - yt1)) / (sig ** 2)
 bhat2 <- lm(y ~ X - 1)
 bhat1 <- lm(y ~ X[,1:p1] - 1)
 SSE1 <- sum2(bhat1$residual)
 SSE2 <- sum2(bhat2$residual)
 df1 <- bhat1$df.residual
 df2 <- bhat2$df.residual
 Fstat <- ((SSE1 - SSE2) / (df1 - df2)) / (SSE2 / bhat2$df.residual)
 pval <- pf(Fstat,df=df1-df2,df2=df2,ncp=ncp)
 return(pval)
}
#call the above function, but randomize the problem size (within reason)
genr <- function(n,p1,p2,sig=1) {
 use.p1 <- rint(p1)
 use.p2 <- use.p1 + rint(p2 - p1)
 return(gend(n=rint(n),p1=use.p1,p2=use.p2,sig=sig+runif(1)))
}
ntrial <- 4096
ssize <- 256
z <- replicate(ntrial,genr(ssize,p1=4,p2=10))
plot(ecdf(z))

— shabbychef
sumber

2

+1 untuk tindak lanjut dengan kode. Selalu senang melihatnya.

— mpiktas