Bagaimana cara memahami derajat kebebasan?

Dari Wikipedia , ada tiga interpretasi tentang derajat kebebasan suatu statistik:

Dalam statistik, jumlah derajat kebebasan adalah jumlah nilai dalam penghitungan akhir suatu statistik yang bebas bervariasi .

Perkiraan parameter statistik dapat didasarkan pada jumlah informasi atau data yang berbeda. Jumlah potongan informasi independen yang masuk ke dalam estimasi parameter disebut derajat kebebasan (df). Secara umum, derajat kebebasan estimasi parameter sama dengan jumlah skor independen yang masuk ke estimasi minus jumlah parameter yang digunakan sebagai langkah perantara dalam estimasi parameter itu sendiri (yang, dalam varian sampel, adalah satu, karena rata-rata sampel adalah satu-satunya langkah perantara).

Secara matematis, derajat kebebasan adalah dimensi domain dari vektor acak , atau pada dasarnya jumlah komponen 'bebas': berapa banyak komponen yang perlu diketahui sebelum vektor sepenuhnya ditentukan .

Kata-kata yang berani adalah apa yang saya tidak mengerti. Jika memungkinkan, beberapa formulasi matematika akan membantu memperjelas konsep tersebut.

Juga apakah ketiga interpretasi tersebut saling bersesuaian?

Ini pertanyaan halus. Dibutuhkan orang yang bijaksana untuk tidak memahami kutipan itu! Meskipun mereka sugestif, ternyata tidak satupun dari mereka yang tepat atau umumnya benar. Saya tidak punya waktu (dan tidak ada ruang di sini) untuk memberikan penjelasan lengkap, tetapi saya ingin berbagi satu pendekatan dan wawasan yang disarankan.

Di mana konsep derajat kebebasan (DF) muncul? Konteks yang ditemukan dalam perawatan dasar adalah:

• The Student t-test dan variannya seperti Welch atau Satterthwaite solusi untuk masalah Behrens-Fisher (di mana dua populasi memiliki varians yang berbeda).

• Distribusi Chi-squared (didefinisikan sebagai jumlah kuadrat dari Normals standar independen), yang terlibat dalam distribusi sampling varians.

• Uji -F (rasio estimasi varian).

• Uji Chi-squared , yang terdiri dari penggunaannya dalam (a) pengujian untuk independensi dalam tabel kontingensi dan (b) pengujian untuk kebaikan kesesuaian estimasi distribusi.

Dalam semangat, tes-tes ini menjalankan gamut dari yang eksak (uji-t Student dan uji-F untuk varian Normal) hingga menjadi perkiraan yang baik (uji-t Student dan tes Welch / Satterthwaite untuk data yang tidak terlalu miring) ) didasarkan pada perkiraan asimptotik (uji Chi-squared). Aspek yang menarik dari beberapa di antaranya adalah munculnya "derajat kebebasan" yang tidak integral (tes Welch / Satterthwaite dan, seperti yang akan kita lihat, tes Chi-squared). Ini adalah kepentingan utama karena ini adalah petunjuk pertama bahwa DF bukan salah satu dari hal-hal yang diklaimnya.

Kami dapat segera membuang beberapa klaim dalam pertanyaan. Karena "perhitungan akhir suatu statistik" tidak terdefinisi dengan baik (tampaknya tergantung pada algoritma apa yang digunakan seseorang untuk perhitungan), itu bisa tidak lebih dari saran yang tidak jelas dan tidak layak dikritik lebih lanjut. Demikian pula, baik "jumlah skor independen yang masuk ke dalam estimasi" maupun "jumlah parameter yang digunakan sebagai langkah perantara" tidak didefinisikan dengan baik.

"Potongan informasi independen yang masuk ke dalam [perkiraan]" sulit untuk dihadapi, karena ada dua indera "independen" yang berbeda tetapi saling terkait yang dapat relevan di sini. Salah satunya adalah independensi variabel acak; yang lainnya adalah independensi fungsional. Sebagai contoh dari yang terakhir, misalkan kita mengumpulkan pengukuran morfometrik subjek - katakanlah, untuk kesederhanaan, tiga panjang sisi , Y , Z , luas permukaan S = 2 ( X Y + Y Z + Z X ) , dan volume V = X Y $X$$Y$$Z$$S=2(XY+YZ+ZX)$$V=XYZ$dari satu set balok kayu. Tiga panjang sisi dapat dianggap sebagai variabel acak independen, tetapi kelima variabel tersebut adalah RV bergantung. Kelima juga fungsional tergantung karena kodomain ( tidak "domain"!) Dari variabel random vektor-dihargai jejak keluar manifold tiga dimensi di R 5 . (Dengan demikian, secara lokal di titik mana pun ω ∈ R 5 , ada dua fungsi f ω dan g ω untuk mana f $(X,Y,Z,S,V)$$\mathbb{R}^5$$\omega\in\mathbb{R}^5$$f_\omega$$g_\omega$ dan g ω ( X ( ψ ) , ... , V ( ψ ) ) = 0 untuk poin ψ "dekat" ω dan turunan dari f dan g dievaluasi pada ω adalah bebas linear.) Namun - inilah kicker - untuk banyak ukuran probabilitas pada blok, himpunan bagian dari variabel seperti ( X $f_\omega(X(\psi),\ldots,V(\psi))=0$$g_\omega(X(\psi),\ldots,V(\psi))=0$$\psi$$\omega$$f$$g$$\omega$ adalahbergantungsebagai variabel acak tetapi secara fungsionalindependen.$(X,S,V)$

Setelah diperingatkan oleh ambiguitas potensial ini, mari kita tahan uji good-fit Chi-squared untuk pemeriksaan , karena (a) sederhana, (b) itu adalah salah satu situasi umum di mana orang benar-benar perlu tahu tentang DF untuk mendapatkan p-value right dan (c) sering digunakan secara salah. Berikut adalah sinopsis singkat dari aplikasi paling tidak kontroversial dari tes ini:

• Anda memiliki koleksi nilai data , yang dianggap sebagai sampel populasi.$(x_1, \ldots, x_n)$

• Anda telah memperkirakan beberapa parameter dari suatu distribusi. Misalnya, Anda diperkirakan mean θ 1 dan standar deviasi θ 2 = θ p dari distribusi normal, hipotesa bahwa populasi terdistribusi secara normal tetapi tidak mengetahui (sebelum memperoleh data) apa θ 1 atau θ 2 mungkin.$\theta_1, \ldots, \theta_p$$\theta_1$$\theta_2 = \theta_p$$\theta_1$$\theta_2$

• Di muka, Anda membuat satu set "sampah" untuk data. (Mungkin bermasalah ketika nampan ditentukan oleh data, meskipun ini sering dilakukan.) Dengan menggunakan nampan ini, data dikurangi menjadi himpunan jumlah dalam setiap nampan. Mengantisipasi apa nilai sebenarnya dari ( θ ) , Anda telah mengaturnya sehingga (semoga) setiap bin akan menerima kira-kira jumlah yang sama. (Binning dengan probabilitas sama memastikan distribusi chi-square benar-benar merupakan perkiraan yang baik untuk distribusi sebenarnya dari statistik chi-squared yang akan dijelaskan.)$k$$(\theta)$

• Anda memiliki banyak data - cukup untuk memastikan bahwa hampir semua kotak harus memiliki jumlah 5 atau lebih besar. (Kami harap, ini akan memungkinkan distribusi sampling dari statistik dapat diperkirakan secara memadai oleh beberapa distribusi χ 2. )$\chi^2$$\chi^2$

Dengan menggunakan estimasi parameter, Anda dapat menghitung jumlah yang diharapkan di setiap nampan. Statistik Chi-squared adalah jumlah dari rasio

$$\frac{(\text{observed}-\text{expected})^2}{\text{expected}}.$$

Ini, banyak pihak berwenang memberi tahu kami, seharusnya (dengan perkiraan sangat dekat) distribusi Chi-squared. Tapi ada seluruh keluarga distribusi seperti itu. Mereka dibedakan oleh parameter sering disebut sebagai "derajat kebebasan." Alasan standar tentang bagaimana menentukan ν berjalan seperti ini$\nu$$\nu$

Saya punya jumlah . Itu k potongan data. Tetapi ada hubungan ( fungsional ) di antara mereka. Untuk memulainya, saya tahu sebelumnya bahwa jumlah hitungan harus sama dengan n . Itu satu hubungan. Saya memperkirakan dua (atau p , umumnya) parameter dari data. Itu dua (atau p ) hubungan tambahan, memberikan p + 1 total hubungan. Menganggap mereka (parameter) semuanya (secara fungsional ) independen, yang hanya menyisakan "derajat kebebasan" k - p - 1 (secara fungsional ) independen: itulah nilai yang akan digunakan untuk$k$$k$$n$$p$$p$$p+1$$k-p-1$ .$\nu$

Masalah dengan alasan ini (yang merupakan jenis perhitungan yang dikutip dalam pertanyaan) adalah bahwa itu salah kecuali ketika beberapa kondisi tambahan khusus berlaku. Selain itu, kondisi tersebut tidak ada hubungannya dengan independensi (fungsional atau statistik), dengan jumlah "komponen" data, dengan jumlah parameter, atau dengan apa pun yang disebutkan dalam pertanyaan asli.

Izinkan saya menunjukkan kepada Anda sebuah contoh. (Untuk membuatnya sejelas mungkin, saya menggunakan sejumlah kecil tempat sampah, tapi itu tidak penting.) Mari kita menghasilkan 20 varian normal dan terdistribusi secara identik (iid) dan memperkirakan rata-rata dan standar deviasi mereka dengan formula biasa ( mean = jumlah / hitung, dll .). Untuk menguji goodness of fit, buat empat nampan dengan titik potong pada kuartil standar normal: -0,675, 0, +0,657, dan gunakan jumlah bin untuk menghasilkan statistik Chi-squared. Ulangi sesuai kesabaran; Saya punya waktu untuk melakukan 10.000 pengulangan.

Kearifan standar tentang DF mengatakan kami memiliki 4 nampan dan 1 + 2 = 3 kendala, menyiratkan distribusi 10.000 statistik Chi-kuadrat ini harus mengikuti distribusi Chi-kuadrat dengan 1 DF. Inilah histogramnya:

Garis biru gelap membuat grafik distribusi PDF - yang kami pikir akan berfungsi - sedangkan garis merah gelap membuat grafik distribusi χ 2 ( 2 ) (yang akan menjadi tebakan bagus jika seseorang untuk memberi tahu Anda bahwa ν = 1 salah). Tidak cocok dengan data.$\chi^2(1)$$\chi^2(2)$$\nu=1$

Anda mungkin mengharapkan masalah karena ukuran kecil dari kumpulan data ( = 20) atau mungkin ukuran kecil dari jumlah bin. Namun, masalah tetap ada bahkan dengan dataset yang sangat besar dan jumlah bin yang lebih besar: ini bukan hanya kegagalan untuk mencapai perkiraan asimptotik.$n$

Ada yang salah karena saya melanggar dua persyaratan tes Chi-squared:

1. Anda harus menggunakan estimasi Kemungkinan Maksimum dari parameter. (Persyaratan ini dapat, dalam praktiknya, sedikit dilanggar.)

2. Anda harus mendasarkan perkiraan itu pada hitungan, bukan pada data aktual! (Ini sangat penting .)

Histogram merah menggambarkan statistik chi-kuadrat untuk 10.000 iterasi terpisah, mengikuti persyaratan ini. Benar saja, itu terlihat mengikuti kurva (dengan jumlah kesalahan pengambilan sampel yang dapat diterima), seperti yang kami harapkan sebelumnya.$\chi^2(1)$

Titik perbandingan ini - yang saya harap Anda telah melihat datang - adalah bahwa DF benar digunakan untuk menghitung p-nilai tergantung pada banyak hal lain selain dimensi manifold, jumlah hubungan fungsional, atau geometri variates normal . Ada interaksi yang halus dan halus antara dependensi fungsional tertentu , seperti yang ditemukan dalam hubungan matematika antara kuantitas, dan distribusi data, statistik mereka, dan penduga yang terbentuk dari mereka. Dengan demikian, tidak dapat menjadi kasus bahwa DF cukup dijelaskan dalam hal geometri distribusi normal multivariat, atau dalam hal independensi fungsional, atau sebagai jumlah parameter, atau hal lain dari sifat ini.

Kita dituntun untuk melihat, kemudian, bahwa "derajat kebebasan" hanyalah heuristik yang menunjukkan apa yang seharusnya menjadi contoh distribusi statistik (t, Chi-squared, atau F), tetapi itu tidak dispositif. Percaya bahwa itu dispositif mengarah pada kesalahan mengerikan. (Misalnya, hit teratas di Google ketika mencari "chi squared goodness of fit" adalah halaman Web dari universitas Ivy League yang mendapatkan sebagian besar kesalahan ini! Khususnya, simulasi berdasarkan instruksi menunjukkan bahwa chi-squared nilai itu merekomendasikan memiliki 7 DF sebenarnya memiliki 9 DF.)

Dengan pemahaman yang lebih bernuansa ini, ada baiknya untuk membaca kembali artikel Wikipedia yang bersangkutan: dalam perinciannya hal itu menjadi benar, menunjukkan di mana heuristik DF cenderung bekerja dan di mana ia merupakan perkiraan atau tidak berlaku sama sekali.

---

Catatan bagus tentang fenomena yang digambarkan di sini (DF yang secara tak terduga tinggi dalam uji GO-kuadrat Chi) muncul di Volume II Kendall & Stuart, edisi ke-5 . Saya bersyukur atas kesempatan yang diberikan oleh pertanyaan ini untuk membawa saya kembali ke teks yang luar biasa ini, yang penuh dengan analisis yang bermanfaat.

---

Edit (Jan 2017)

Berikut adalah Rkode untuk menghasilkan gambar berikut "Kebijakan standar tentang DF ..."

#
# Simulate data, one iteration per column of `x`.
#
n <- 20
n.sim <- 1e4
bins <- qnorm(seq(0, 1, 1/4))
x <- matrix(rnorm(n*n.sim), nrow=n)
#
# Compute statistics.
#
m <- colMeans(x)
s <- apply(sweep(x, 2, m), 2, sd)
counts <- apply(matrix(as.numeric(cut(x, bins)), nrow=n), 2, tabulate, nbins=4)
expectations <- mapply(function(m,s) n*diff(pnorm(bins, m, s)), m, s)
chisquared <- colSums((counts - expectations)^2 / expectations)
#
# Plot histograms of means, variances, and chi-squared stats.  The first
# two confirm all is working as expected.
#
mfrow <- par("mfrow")
par(mfrow=c(1,3))
red <- "#a04040"  # Intended to show correct distributions
blue <- "#404090" # To show the putative chi-squared distribution
hist(m, freq=FALSE)
curve(dnorm(x, sd=1/sqrt(n)), add=TRUE, col=red, lwd=2)
hist(s^2, freq=FALSE)
curve(dchisq(x*(n-1), df=n-1)*(n-1), add=TRUE, col=red, lwd=2)
hist(chisquared, freq=FALSE, breaks=seq(0, ceiling(max(chisquared)), 1/4), 
     xlim=c(0, 13), ylim=c(0, 0.55), 
     col="#c0c0ff", border="#404040")
curve(ifelse(x <= 0, Inf, dchisq(x, df=2)), add=TRUE, col=red, lwd=2)
curve(ifelse(x <= 0, Inf, dchisq(x, df=1)), add=TRUE, col=blue, lwd=2)
par(mfrow=mfrow)

Atau sederhananya: jumlah elemen dalam array numerik yang Anda boleh ubah sehingga nilai statistik tetap tidak berubah.

# for instance if:
x + y + z = 10

Anda dapat mengubah, misalnya, x dan y secara acak, tetapi Anda tidak dapat mengubah z (Anda bisa, tetapi tidak secara acak, karena itu Anda tidak bebas untuk mengubahnya - lihat komentar Harvey), karena Anda akan mengubah nilainya dari statistik (Σ = 10). Jadi, dalam hal ini df = 2.

Konsep ini sama sekali tidak sulit untuk membuat matematika tepat diberikan sedikit pengetahuan umum tentang geometri Euclide dimensi, subruang dan proyeksi ortogonal.$n$

Jika adalah proyeksi ortogonal dari R n ke p berdimensi ruang bagian L dan x adalah sewenang-wenang n -vector maka P x adalah di L , x - P x dan P x adalah ortogonal dan x - P x ∈ L ⊥ adalah di komplemen ortogonal dari L . Dimensi komplemen ortogonal ini, L ⊥ , adalah n - p . Jika$P$$\mathbb{R}^n$$p$$L$$x$$n$$Px$$L$$x - Px$$Px$$x - Px \in L^{\perp}$$L$$L^{\perp}$$n-p$ bebas untuk bervariasi dalamruang dimensi- n maka x - P x bebas untuk bervariasi dalamruang dimensi n - p . Untuk alasan ini kita mengatakan bahwa x - P x memiliki n - p derajat kebebasan.$x$$n$$x - Px$$n-p$$x - Px$$n-p$

Pertimbangan ini penting untuk statistik karena jika adalah vektor acak n- dimensi dan L adalah model rata-rata, yaitu, vektor rata-rata E ( X ) adalah dalam L , maka kita menyebut X - P X vektor residual , dan kami menggunakan residu untuk memperkirakan varians. Vektor residual memiliki derajat kebebasan n - p , yaitu dibatasi pada subruang dimensi n - p .$X$$n$$L$$E(X)$$L$$X-PX$$n-p$$n-p$

Jika koordinat independen dan terdistribusi normal dengan varian yang sama σ 2 maka$X$$\sigma^2$

• Vektor dan X - P X bersifat independen.$PX$$X - PX$
• Jika distribusi norma kuadrat dari vektor residual | | X - P X | | 2 adalah distribusi χ 2 dengan parameter skala σ 2 dan parameter lain yang merupakan derajat kebebasan n - p .$E(X) \in L$$||X - PX||^2$$\chi^2$$\sigma^2$$n-p$

Sketsa bukti dari fakta-fakta ini diberikan di bawah ini. Kedua hasil ini penting untuk pengembangan lebih lanjut dari teori statistik berdasarkan distribusi normal. Perhatikan juga bahwa inilah sebabnya distribusi memiliki parametrization yang dimilikinya. Ini juga merupakan distribusi Γ dengan parameter skala 2 σ 2 dan parameter bentuk ( n - p ) / 2 , tetapi dalam konteks di atas wajar untuk menentukan dalam hal derajat kebebasan.$\chi^2$$\Gamma$$2\sigma^2$$(n-p)/2$

Saya harus mengakui bahwa saya tidak menemukan satu pun paragraf yang dikutip dari artikel Wikipedia yang mencerahkan, tetapi keduanya tidak benar-benar salah atau bertentangan juga. Mereka mengatakan dalam sebuah tepat, dan dalam arti longgar umum, bahwa ketika kita menghitung estimasi parameter varians, tapi jangan jadi berdasarkan residual, kita mendasarkan perhitungan pada vektor yang hanya gratis untuk bervariasi dalam ruang dimensi .$n-p$

Di luar teori model normal linier, penggunaan konsep derajat kebebasan dapat membingungkan. Ini, misalnya, digunakan dalam parametriisasi distribusi apakah ada referensi atau tidak terhadap sesuatu yang dapat memiliki derajat kebebasan apa pun. Ketika kami mempertimbangkan analisis statistik dari data kategorikal, akan ada beberapa kebingungan tentang apakah "potongan independen" harus dihitung sebelum atau setelah tabulasi. Lebih jauh, untuk kendala, bahkan untuk model normal, yang bukan kendala ruang bagian, tidak jelas bagaimana memperluas konsep derajat kebebasan. Berbagai saran ada biasanya atas nama derajat kebebasan efektif .$\chi^2$

Sebelum penggunaan dan makna derajat kebebasan lainnya dipertimbangkan, saya akan sangat merekomendasikan untuk menjadi percaya diri dalam konteks model normal linier. Referensi yang berurusan dengan kelas model ini adalah A First Course in Linear Model Theory , dan ada referensi tambahan di pengantar buku untuk buku-buku klasik lainnya pada model linier.

Bukti hasil di atas: Mari , diketahui bahwa matriks varians adalah σ 2 saya dan memilih ortonormal dasar z 1 , ... , z p dari L dan ortonormal dasar z p + 1 , ... , z n dari L ⊥ . Maka z 1 , … , z n adalah basis ortonormal dari R n . Biarkan ˜ $\xi = E(X)$$\sigma^2 I$$z_1, \ldots, z_p$$L$$z_{p+1}, \ldots, z_n$$L^{\perp}$$z_1, \ldots, z_n$$\mathbb{R}^n$$\tilde{X}$menyatakan -vector dari koefisien X di dasar ini, yaitu ~ X i = z T i X . Ini juga dapat ditulis sebagai ˜ X = Z T X di mana Z adalah matriks ortogonal dengan z i di kolom. Maka kita harus menggunakan bahwa ˜ X memiliki distribusi normal dengan rata-rata Z T ξ dan, karena Z adalah ortogonal, matriks varians σ 2$n$$X$

$$\tilde{X}_i = z_i^T X.$$ $\tilde{X} = Z^T X$$Z$$z_i$$\tilde{X}$$Z^T \xi$$Z$$\sigma^2 I$. Ini mengikuti dari hasil transformasi linear umum dari distribusi normal. Dasar dipilih sehingga koefisien adalah ~ X i untuk i = 1 , ... , p , dan koefisien X - P X adalah ~ X i untuk i = p + 1 , ... , n . Karena koefisien tidak berkorelasi dan bersama-sama normal, mereka independen, dan ini berarti bahwa P X = p Σ$PX$$\tilde{X}_i$$i= 1, \ldots, p$$X - PX$$\tilde{X}_i$$i= p+1, \ldots, n$ dan X-PX= n ∑ i = p + 1 ˜ X izi adalah independen. Apalagi, | | X-PX| | 2= n ∑ i = p + 1 ˜ X 2 i . Jikaξ∈LmakaE( ˜ X $$PX = \sum_{i=1}^p \tilde{X}_i z_i$$ $$X - PX = \sum_{i=p+1}^n \tilde{X}_i z_i$$ $$||X - PX||^2 = \sum_{i=p+1}^n \tilde{X}_i^2.$$ $\xi \in L$ untuk i = p + 1 , … , n karena z i ∈ L ⊥ dan karenanya z i ⊥ ξ . Dalam hal ini | | X - P X | | 2 adalah jumlah dari n - p independen N ( 0 , σ 2$E(\tilde{X}_i) = z_i^T \xi = 0$$i = p +1, \ldots, n$$z_i \in L^{\perp}$$z_i \perp \xi$$||X - PX||^2$$n-p$$N(0, \sigma^2)$variabel acak terdistribusi, yang distribusinya, menurut definisi, adalah distribusi dengan parameter skala σ 2 dan n - p derajat kebebasan.$\chi^2$$\sigma^2$$n-p$

Ini benar-benar tidak berbeda dari cara istilah "derajat kebebasan" bekerja di bidang lain. Misalnya, Anda memiliki empat variabel: panjang, lebar, luas, dan keliling persegi panjang. Apakah Anda benar-benar tahu empat hal? Tidak, karena hanya ada dua derajat kebebasan. Jika Anda tahu panjang dan lebarnya, Anda bisa mendapatkan area dan kelilingnya. Jika Anda tahu panjang dan luasnya, Anda bisa mendapatkan lebar dan kelilingnya. Jika Anda tahu luas dan kelilingnya, Anda bisa mendapatkan panjang dan lebarnya (hingga rotasi). Jika Anda memiliki keempatnya, Anda dapat mengatakan bahwa sistemnya konsisten (semua variabel saling setuju), atau tidak konsisten (tidak ada persegi panjang yang benar-benar dapat memenuhi semua kondisi). Kotak adalah persegi panjang dengan derajat kebebasan dihilangkan;

Dalam statistik, banyak hal menjadi lebih kabur, tetapi idenya masih sama. Jika semua data yang Anda gunakan sebagai input untuk suatu fungsi adalah variabel independen, maka Anda memiliki derajat kebebasan sebanyak Anda memiliki input. Tetapi jika mereka memiliki ketergantungan dalam beberapa cara, sehingga jika Anda memiliki input n - k Anda dapat mengetahui sisa k, maka Anda sebenarnya hanya mendapatkan derajat kebebasan n - k. Dan kadang-kadang Anda perlu memperhitungkannya, jangan sampai Anda meyakinkan diri sendiri bahwa data lebih dapat diandalkan atau memiliki daya prediksi lebih dari yang sebenarnya, dengan menghitung lebih banyak titik data daripada benar-benar memiliki bit data independen.

(Diambil dari pos di http://www.reddit.com/r/math/comments/9qbut/could_someone_explain_to_me_what_degrees_of/c0dxtbq?context=3 .)

Apalagi ketiga definisi tersebut hampir berusaha memberikan pesan yang sama.

Saya sangat suka kalimat pertama dari The Little Handbook of Statistical Practice. Bab Derajat Kebebasan

Salah satu pertanyaan yang paling ditakuti oleh instruktur dari audiens yang tidak canggih secara matematis adalah, "Apa sebenarnya derajat kebebasan?"

Saya pikir Anda bisa mendapatkan pemahaman yang sangat baik tentang derajat kebebasan dari membaca bab ini.

Wikipedia menegaskan bahwa derajat kebebasan dari vektor acak dapat diartikan sebagai dimensi dari ruang bagian vektor. Saya ingin melangkah selangkah demi selangkah, pada dasarnya melalui ini sebagai jawaban parsial dan elaborasi pada entri Wikipedia.

Contoh yang diajukan adalah vektor acak yang sesuai dengan pengukuran variabel kontinu untuk subjek yang berbeda, dinyatakan sebagai vektor yang berasal dari asal . Proyeksi ortogonal pada vektor [ $[a\,b\,c]^T$ menghasilkan vektor sama dengan proyeksi vektor sarana pengukuran ( ˉ x = 1 / 3 ( a + b + c ) ), yaitu [ ˉ $[1\,1\,1]^T$$\bar{x}=1/3(a+b+c)$, dihiasi denganvektor → 1 ,[$[\bar x \, \bar x \, \bar x]^T$$\vec{1}$ Proyeksi ini ke subruang yang direntang oleh vektor yang memiliki$[1\,1\,1]^T$ . Theresidualvektor (jarak dari mean) adalah kuadrat-terkecil proyeksi ke ( n - 1 ) komplemen ortogonal berdimensi dari ruang bagian ini, dan memiliki n - $1\,\text{degree of freedom}$$(n − 1)$ , n menjadi jumlah total komponen vektor (dalam kasus kami 3 karena kita berada dalam R 3 dalam contoh). Hal ini dapat dibuktikan hanya dengan mendapatkan produk titik [ ˉ $n − 1\,\text{degrees of freedom}$$n$$3$$\mathbb{R}^3$dengan perbedaan antara[$[\bar{x}\,\bar{x}\,\bar{x}]^T$ dan [ ˉ $[a\,b\,c]^T$:$[\bar{x}\,\bar{x}\,\bar{x}]^T$

$$[\bar{x}\, \bar{x}\,\bar{x}]\, \begin{bmatrix} a-\bar{x}\\b-\bar{x}\\c-\bar{x}\end{bmatrix}=$$

$$= \bigg[\tiny\frac{(a+b+c)}{3}\, \bigg(a-\frac{(a+b+c)}{3}\bigg)\bigg]+ \bigg[\tiny\frac{(a+b+c)}{3} \,\bigg(b-\frac{(a+b+c)}{3}\bigg)\bigg]+ \bigg[\tiny\frac{(a+b+c)}{3} \,\bigg(c-\frac{(a+b+c)}{3}\bigg)\bigg]$$

$$=\tiny \frac{(a+b+c)}{3}\bigg[ \bigg(\tiny a-\frac{(a+b+c)}{3}\bigg)+ \bigg(b-\frac{(a+b+c)}{3}\bigg)+ \bigg(c-\frac{(a+b+c)}{3}\bigg)\bigg]$$

$$= \tiny \frac{(a+b+c)}{3}\bigg[\tiny \frac{1}{3} \bigg(\tiny 3a-(a+b+c)+ 3b-(a+b+c)+3c-(a+b+c)\bigg)\bigg]$$

.

$$=\tiny\frac{(a+b+c)}{3}\bigg[\tiny\frac{1}{3} (3a-3a+ 3b-3b+3c-3c)\bigg]\large= 0$$

Dan hubungan ini meluas ke titik mana pun dalam bidang ortogonal ke . Konsep ini penting untuk memahami mengapa$[\bar{x}\,\bar{x}\,\bar{x}]^T$ , sebuah langkah dalam derivasi dari distribusi-t (disinidan disini).$\frac 1 {\sigma^2} \Big((X_1-\bar X)^2 + \cdots + (X_n - \bar X)^2 \Big) \sim \chi^2_{n-1}$

Mari kita ambil intinya , sesuai dengan tiga pengamatan. Mean adalah 55 , dan vektor [ $[35\,50\,80]^T$$55$ adalah normal (ortogonal) untuk pesawat, 55 x + 55 y + 55 $[55\,\,55\,\,55]^T$ . Memasukkan titik koordinat ke persamaan bidang, D = - 9075 .$55x + 55y + 55z = D$$D = -9075$

Sekarang kita dapat memilih titik lain di bidang ini, dan rata-rata koordinatnya akan menjadi , secara geometris sesuai dengan proyeksi ke vektor [ $55$ . Karenanya untuk setiap nilai rata-rata (dalam contoh kita, 55 ) kita dapat memilih jumlahpasangantanpa batas$[1\,\,1\,\,1]^T$$55$ koordinat di tanpa pembatasan ( $\mathbb{R}^2$ ); belum, karena pesawat itu masuk $2\,\text{degrees of freedom}$ , ketiga koordinat akan datang ditentukan oleh persamaan dari pesawat (atau, geometris proyeksi ortogonal titik ke[$\mathbb{R}^3$ .$[55\,\,55\,\,55]^T$

Berikut adalah representasi dari tiga titik (putih) berbaring di pesawat (biru langit) ortogonal ke $[55\,\,55\,\,55]^T$ (panah): $[35\,\,50\,\,80]^T$ , $[80\,\,80\,\,5]$ dan $[90\,\,15\,\,60]$ mereka semua di pesawat (subruang dengan ), dan kemudian dengan rata-rata komponennya$2\,\text{df}$$55$ , dan proyeksi ortogonal ke $[1\,\,1\,\,1]^T$ (subruang dengan ) sama dengan$1\,\text{df}$ :$[55\,\,55\,\,55]^T$

Di kelas saya, saya menggunakan satu situasi "sederhana" yang mungkin dapat membantu Anda bertanya-tanya dan mungkin mengembangkan firasat untuk apa derajat kebebasan mungkin berarti.

Ini semacam pendekatan "Forrest Gump" pada subjek, tetapi patut dicoba.

Pertimbangkan Anda memiliki 10 pengamatan independen yang datang langsung dari populasi normal yang rata-rata μ dan varians$X_1, X_2, \ldots, X_{10}\sim N(\mu,\sigma^2)$$\mu$ tidak diketahui.$\sigma^2$

Pengamatan Anda membawa kepada Anda secara kolektif informasi baik tentang dan σ 2 . Setelah semua, pengamatan Anda cenderung tersebar di sekitar satu nilai pusat, yang seharusnya dekat dengan nilai aktual dan tidak diketahui μ dan, juga, jika μ sangat tinggi atau sangat rendah, maka Anda dapat berharap untuk melihat pengamatan Anda berkumpul di sekitar nilai yang sangat tinggi atau sangat rendah. Satu "pengganti" yang baik untuk μ (tanpa adanya pengetahuan tentang nilai aktualnya) adalah ˉ X , rata-rata pengamatan Anda. $\mu$$\sigma^2$$\mu$$\mu$$\mu$$\bar X$

Juga, jika pengamatan Anda sangat dekat satu sama lain, itu adalah indikasi bahwa Anda dapat berharap bahwa harus kecil dan, juga, jika σ 2 sangat besar, maka Anda dapat berharap untuk melihat nilai yang sangat berbeda untuk X 1 hingga X 10 . $\sigma^2$$\sigma^2$$X_1$$X_{10}$

Jika Anda bertaruh upah minggu Anda yang merupakan nilai aktual dan σ 2 , Anda harus memilih sepasang nilai di mana Anda akan bertaruh dengan uang Anda. Mari kita tidak memikirkan sesuatu yang dramatis seperti kehilangan gaji Anda kecuali Anda menebak μ dengan benar sampai posisi desimal ke-200. Nggak. Mari kita pikirkan semacam sistem pemberian hadiah yang semakin dekat Anda menebak μ dan$\mu$$\sigma^2$$\mu$$\mu$$\sigma^2$ hadiah semakin Anda mendapatkan imbalan.

Dalam hal tertentu, lebih baik, lebih banyak informasi, dan menebak lebih sopan untuk nilai 's bisa ˉ X . Dalam hal ini, Anda memperkirakan bahwa μ harus ada beberapa nilai sekitar ˉ X . Demikian pula, satu "pengganti" yang baik untuk σ 2 (tidak diperlukan untuk saat ini) adalah S 2 , varians sampel Anda, yang membuat perkiraan yang baik untuk $\mu$$\bar X$$\mu$$\bar X$$\sigma^2$$S^2$$\sigma$ .

Jika Anda percaya bahwa pengganti itu adalah nilai aktual dan σ 2 , Anda mungkin salah, karena sangat kecil kemungkinannya bahwa Anda sangat beruntung sehingga pengamatan Anda mengoordinasikan diri untuk memberi Anda hadiah ˉ X yang sama. ke μ dan S 2 sama dengan σ $\mu$$\sigma 2$$\bar X$$\mu$$S^2$$\sigma^2$ . Nah, mungkin itu tidak terjadi.

Tetapi Anda bisa berada pada tingkat kesalahan yang berbeda, bervariasi dari yang sedikit salah hingga yang benar-benar, sangat, sangat salah (alias, "Sampai jumpa, gaji; sampai jumpa minggu depan!").

$\bar X$$\mu$$S^2=2$$S^2=20,000,000$$\sigma^2$$\sigma^2$$\bar X$ untuk variasi.

$\mu$$\sigma^2$$\mu$$\sigma^2$ .

Bagaimana Anda bisa melihatnya?

$\mu$$\sigma$ .

Dan di sini adalah alur cerita yang menjengkelkan dari kisah lysergic ini: Dia memberi tahu Anda setelah itu Anda memasang taruhan Anda. Mungkin untuk mencerahkan Anda, mungkin untuk mempersiapkan Anda, mungkin untuk mengejek Anda. Bagaimana kamu bisa tahu?

$\mu$$\sigma^2$$\bar X$$S^2$$\mu$$\sigma^2$

$\mu$$\bar X$$(\bar X - \mu)$

$X_i\sim N(\mu,\sigma^2)$$\bar X\sim N(\mu,\sigma^2/10)$$(\bar X - \mu)\sim N(0,\sigma^2/10)$

$$\frac{\bar X - \mu}{\sigma/\sqrt{10}} \sim N(0,1)$$ $\mu$$\sigma^2$ .

$\mu$$(X_i-\mu)$$N(0,\sigma^2)$$\mu$$\bar X$$X_i$$\bar X$$Var(\bar X) = \sigma^2/10 < \sigma^2 = Var(X_i)$$\bar X$$\mu$$X_i$

$(X_i-\mu)/\sigma\sim N(0,1)$$\mu$$\sigma^2$ .

$\mu$$\sigma^2$ ?".

[Aku lebih suka berpikir kalau kamu memikirkan yang terakhir.]

Ya ada!

$\mu$$X_i$$\sigma$

$$\frac{(X_i-\mu)^2}{\sigma^2} = \left(\frac{X_i-\mu}{\sigma}\right)^2 \sim \chi^2$$ $Z^2$$Z\sim N(0,1)$$\mu$$\sigma^2$ , tetapi menyampaikan informasi tentang variabilitas yang harus Anda hadapi.

$$\frac{(\bar X-\mu)^2}{\sigma^2/10} = \left(\frac{\bar X-\mu}{\sigma/\sqrt{10}}\right)^2 = \left(N(0,1)\right)^2 \sim\chi^2$$ $$\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2/10} =\sum_{i=1}^{10} \left(\frac{X_i-\mu}{\sigma/\sqrt{10}}\right)^2 =\sum_{i=1}^{10} \left(N(0,1)\right)^2 =\sum_{i=1}^{10} \chi^2.$$ $X_1, \ldots, X_{10}$). Masing-masing dari distribusi Chi-kuadrat tunggal adalah satu kontribusi terhadap jumlah variabilitas acak yang harus Anda hadapi, dengan jumlah kontribusi yang kira-kira sama dengan jumlah.

Nilai kontribusi masing-masing tidak secara matematis sama dengan sembilan lainnya, tetapi semuanya memiliki perilaku yang diharapkan dalam distribusi yang sama. Dalam arti itu, mereka entah bagaimana simetris.

Masing-masing dari Chi-square adalah satu kontribusi terhadap jumlah murni, variabilitas acak yang harus Anda harapkan dalam jumlah itu.

Jika Anda memiliki 100 pengamatan, jumlah di atas akan diharapkan menjadi lebih besar hanya karena memiliki lebih banyak sumber kontibusi .

Masing-masing "sumber kontribusi" dengan perilaku yang sama dapat disebut tingkat kebebasan .

Sekarang ambil satu atau dua langkah mundur, baca kembali paragraf sebelumnya jika diperlukan untuk mengakomodasi kedatangan tiba-tiba Anda untuk tingkat kebebasan .

$\mu$$\sigma^2$ .

Masalahnya adalah, Anda mulai mengandalkan perilaku dari 10 sumber variabilitas yang setara itu. Jika Anda memiliki 100 pengamatan, Anda akan memiliki 100 sumber independen yang sama-sama berperilaku fluktuasi acak ke jumlah itu.

Jumlah 10 Chi-kuadrat disebut distribusi Chi-kuadrat dengan$\chi^2_{10}$$\chi^2_1$

$\mu$$\sigma^2$

$\mu$$\sigma^2$

Hal-hal mulai menjadi aneh (Hahahaha; hanya sekarang!) Ketika Anda memberontak melawan Tuhan dan mencoba dan rukun sendirian, tanpa mengharapkan Dia untuk melindungi Anda.

$\bar X$$S^2$$\mu$$\sigma^2$ . Anda bisa menemukan jalan menuju taruhan yang lebih aman.

$\bar X$$S^2$$\mu$$\sigma^2$

$$\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{S^2/10} =\sum_{i=1}^{10} \left(\frac{X_i-\bar X}{S/\sqrt{10}}\right)^2,$$

$\mu$$(X_i-\mu) > 0$$\sum_{i=1}^{10}(X_i-\mu) > 0$$\sum_{i=1}^{10}(X_i-\bar X) = 0$$\sum_{i=1}^{10}X_i-10 \bar X =10 \bar X - 10 \bar X = 0$

$\sum_{i=1}^{10}(X_i-\bar X)^2 \le \sum_{i=1}^{10}(X_i-\mu)^2$

$$\frac{X_i-\bar X}{S/\sqrt{10}}$$ $$\frac{(X_i-\bar X)^2}{S^2/10}$$ $$\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{S^2/10}$$ $$\frac{\bar X-\mu}{S/\sqrt{10}}$$ tidak memiliki distribusi normal standar.

"Apakah itu semua sia-sia?"

$$\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{[X_i-\mu+\mu-\bar X]^2}{\sigma^2} =\sum_{i=1}^{10} \frac{[(X_i-\mu)-(\bar X-\mu)]^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2-2(X_i-\mu)(\bar X-\mu)+(\bar X-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2-(\bar X-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2}-\sum_{i=1}^{10} \frac{(\bar X-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2}-10\frac{(\bar X-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2}-\frac{(\bar X-\mu)^2}{\sigma^2/10}$$ or, equivalently, $$\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{\sigma^2} +\frac{(\bar X-\mu)^2}{\sigma^2/10}.$$ Now we get back to those known faces.

The first term has Chi-squared distribution with 10 degrees of freedom and the last term has Chi-squared distribution with one degree of freedom(!).

We simply split a Chi-square with 10 independent equally-behaved sources of variability in two parts, both positive: one part is a Chi-square with one source of variability and the other we can prove (leap of faith? win by W.O.?) to be also a Chi-square with 9 (= 10-1) independent equally-behaved sources of variability, with both parts independent from one another.

This is already a good news, since now we have its distribution.

Alas, it uses $\sigma^2$, to which we have no access (recall that God is amusing Himself on watching our struggle).

Well,

$$S^2=\frac{1}{10-1}\sum_{i=1}^{10} (X_i-\bar X)^2,$$ so $$\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{\sigma^2} =\frac{\sum_{i=1}^{10} (X_i-\bar X)^2}{\sigma^2} =\frac{(10-1)S^2}{\sigma^2} \sim\chi^2_{(10-1)}$$ therefore $$\frac{\bar X-\mu}{S/\sqrt{10}} =\frac{\frac{\bar X-\mu}{\sigma/\sqrt{10}}}{\frac{S}{\sigma}} =\frac{\frac{\bar X-\mu}{\sigma/\sqrt{10}}}{\sqrt{\frac{S^2}{\sigma^2}}} =\frac{\frac{\bar X-\mu}{\sigma/\sqrt{10}}}{\sqrt{\frac{\frac{(10-1)S^2}{\sigma^2}}{(10-1)}}} =\frac{N(0,1)}{\sqrt{\frac{\chi^2_{(10-1)}}{(10-1)}}},$$ which is a distribution that is not the standard normal, but whose density can be derived from the densities of the standard normal and the Chi-squared with $(10-1)$ degrees of freedom.

One very, very smart guy did that math[^1] in the beginning of 20th century and, as an unintended consequence, he made his boss the absolute world leader in the industry of Stout beer. I am talking about William Sealy Gosset (a.k.a. Student; yes, that Student, from the $t$ distribution) and Saint James's Gate Brewery (a.k.a. Guinness Brewery), of which I am a devout.

[^1]: @whuber told in the comments below that Gosset did not do the math, but guessed instead! I really don't know which feat is more surprising for that time.

That, my dear friend, is the origin of the $t$ distribution with $(10-1)$ degrees of freedom. The ratio of a standard normal and the squared root of an independent Chi-square divided by its degrees of freedom, which, in an unpredictable turn of tides, wind up describing the expected behavior of the estimation error you undergo when using the sample average $\bar X$ to estimate $\mu$ and using $S^2$ to estimate the variability of $\bar X$.

There you go. With an awful lot of technical details grossly swept behind the rug, but not depending solely on God's intervention to dangerously bet your whole paycheck.

Penjelasan intuitif tentang derajat kebebasan adalah bahwa mereka mewakili jumlah informasi independen yang tersedia dalam data untuk memperkirakan parameter (yaitu, jumlah yang tidak diketahui) yang menarik .

Sebagai contoh, dalam model regresi linier sederhana dalam bentuk:

$$Y_i=\beta_0 + \beta_1\cdot X_i + \epsilon_i,\quad i=1,\ldots, n$$

Dimana $\epsilon_i$Merupakan istilah kesalahan yang berdistribusi normal yang independen dengan mean 0 dan standar deviasi $\sigma$, kami menggunakan 1 derajat kebebasan untuk memperkirakan intersep $\beta_0$ dan 1 derajat kebebasan untuk memperkirakan kemiringan $\beta_1$. Sejak kami mulai dengan$n$ pengamatan dan menggunakan 2 derajat kebebasan (yaitu, dua informasi independen), kita dibiarkan $n-2$ derajat kebebasan (yaitu, $n-2$ informasi independen) tersedia untuk memperkirakan standar deviasi kesalahan $\sigma$.

You can see the degree of freedom as the number of observations minus the number of necessary relations among these observations. By exemple if you have $n$ sample of independant normal distribution observations $X_1,\dots,X_n$. The random variable $\sum_{i=1}^n (X_i-\overline{X}_n)^2\sim \mathcal{X}^2_{n-1}$, where $\overline{X}_n = \frac{1}{n}\sum_{i=1}^n X_i$. The degree of freedom here is $n-1$ because, their is one necessary relation between theses observations $(\overline{X}_n = \frac{1}{n}\sum_{i=1}^n X_i)$.

For more information see this

For me the first explanation I understood was:

If you know some statistical value like mean or variation, how many variables of data you need to know before you can know the value of every variable?

This is the same as aL3xa said, but without giving any data point a special role and close to the third case given in the answer. In this way the same example would be:

If you know the mean of data, you need to know the values for all but one data point, to know the value to all data points.

Pikirkan seperti ini. Varian adalah zat tambahan saat independen. Sebagai contoh, misalkan kita melempar anak panah ke papan dan kita mengukur standar deviasi$x$ dan $y$perpindahan dari pusat papan yang tepat. Kemudian$V_{x,y}=V_x+V_y$. Tapi,$V_x=SD_x^2$ jika kita mengambil akar kuadrat dari $V_{x,y}$ rumus, kita mendapatkan rumus jarak untuk koordinat ortogonal, $SD_{x,y}=\sqrt{SD_x^2+SD_y^2}$. Sekarang yang harus kita tunjukkan adalah bahwa standar deviasi adalah ukuran perpindahan yang representatif dari pusat papan panah. Sejak$SD_x=\sqrt{\dfrac{\sum_{i=1}^n(x_i-\bar{x})^2}{n-1}}$, kami memiliki sarana yang siap untuk membahas df. Perhatikan kapan$n=1$, kemudian $x_1-\bar{x}=0$ dan rasionya $\dfrac{\sum_{i=1}^n(x_i-\bar{x})^2}{n-1}\rightarrow \dfrac{0}{0}$. Dengan kata lain, tidak ada penyimpangan yang bisa didapat antara satu anak panah$x$-Koordinasi dan dirinya sendiri. Pertama kali kita memiliki penyimpangan adalah untuk$n=2$dan hanya ada satu, duplikat. Deviasi duplikat adalah jarak kuadrat antara$x_1$ atau $x_2$ dan $\bar{x}=\dfrac{x_1+x_2}{2}$ karena $\bar{x}$ adalah titik tengah antara atau rata - rata $x_1$ dan $x_2$. Secara umum, untuk$n$ jarak kami hapus 1 karena $\bar{x}$ tergantung pada semua $n$dari jarak itu. Sekarang,$n-1$mewakili derajat kebebasan karena menormalkan jumlah hasil unik untuk membuat jarak kuadrat yang diharapkan. ketika dibagi menjadi jumlah dari jarak kuadrat tersebut.