Apakah residu "diprediksi dikurangi aktual" atau "diprediksi dikurangi aktual"

46

Saya telah melihat "residual" didefinisikan dengan beragam sebagai "prediksi minus nilai aktual" atau "aktual dikurangi nilai prediksi". Untuk tujuan ilustrasi, untuk menunjukkan bahwa kedua formula digunakan secara luas, bandingkan pencarian Web berikut:

Dalam praktiknya, hampir tidak pernah ada bedanya, karena tanda residu invidividual biasanya tidak penting (misalnya jika kuadrat atau nilai absolut diambil). Namun, pertanyaan saya adalah: apakah salah satu dari dua versi ini (prediksi pertama vs aktual pertama) dianggap "standar"? Saya ingin konsisten dalam penggunaan saya, jadi jika ada standar konvensional yang mapan, saya lebih suka mengikutinya. Namun, jika tidak ada standar, saya senang menerimanya sebagai jawaban, jika dapat dibuktikan secara meyakinkan bahwa tidak ada konvensi standar.

residuals terminology error

— Tripartio
sumber

8

Karena residu terhubung ke kesalahan model, ketika kita menulis itu membuat kita berpikir adalah "bagian tetap" ditambah "bagian acak" sehingga residu adalah minus .

y = a + b x + ϵ

$y = a + bx + \epsilon$

y

$y$

y

$y$

a + b x

$a + bx$

— AdamO

Diprediksi dikurangi aktual atau minus aktual diprediksi akan menjadi kesalahan prediksi (atau negatifnya), sedangkan pas minus aktual atau aktual dikurangi pas akan menjadi sisa (atau negatifnya). Jawaban Stephen Kolassa menyebutkan kesalahan ramalan karena suatu alasan.

— Richard Hardy

Saya menemukan (diprediksi-aktual) lebih nyaman untuk bekerja dengan. Seringkali Anda perlu menghitung turunan dari residu sehubungan dengan beberapa parameter. Jika Anda menggunakan (prediksi aktual), maka tanda minus muncul bahwa Anda harus melacak seluruh perhitungan Anda, mengharuskan penggunaan lebih banyak tanda kurung, pastikan untuk membatalkan negatif ganda ketika itu terjadi, dan sebagainya. Dalam pengalaman saya, ini mengarah pada lebih banyak kesalahan

— Nick Alger

42

Residu selalu aktual dikurangi prediksi. Modelnya adalah: Oleh karena itu, residual , yang merupakan perkiraan kesalahan :

y = f (x; β) + ε

$y=f(x;\beta)+\varepsilon$

\hat{ε}

$\hat\varepsilon$

ε

$\varepsilon$

\hat{ε} = y - \hat{y} \hat{y} = f (x; \hat{β})

$\hat\varepsilon=y-\hat y\\\hat y=f(x;\hat\beta)$

Saya setuju dengan @whuber bahwa tandanya tidak terlalu penting secara matematis. Tapi ada baiknya mengadakan konvensi. Dan konvensi saat ini seperti dalam jawaban saya.

Karena OP menantang otoritas saya tentang hal ini, saya menambahkan beberapa referensi:

" (2008) Sisa. Dalam: Ensiklopedia Statistik Ringkas. Springer, New York, NY , yang memberikan definisi yang sama.
"Metode Statistik untuk Pekerja Penelitian" Fisher 1925, memiliki definisi yang sama juga, lihat Bagian 26 dalam versi 1934 ini . Meskipun judulnya sederhana, ini adalah karya penting dalam konteks sejarah

— Aksakal
sumber

3

Saya mengedit pertanyaan saya untuk menambahkan beberapa pencarian web sampel yang dengan jelas menunjukkan bahwa residual BUKAN SELALU aktual dikurangi prediksi; alternatifnya juga cukup sering - maka kebingungan saya. Pertanyaan saya adalah apakah ada dokumentasi resmi dari konvensi yang benar, yang, sayangnya, jawaban Anda tidak memberikan.

— Tripartio

5

Dalam bacaan saya diamati diprediksi adalah konvensi modern mayoritas dalam statistik. Akan tetapi, perlu dicatat bahwa Gauss menggunakan konvensi yang berlawanan: residu kuadrat alami adalah sama dalam konteks kuadrat terkecil, jumlah kuadrat, atau kuadrat rata-rata. Meskipun ada abad ke-19 dan preseden sebelumnya untuk melihat residu individu, peduli dan terutama merencanakan residu tidak mulai menjadi luas dan rutin sampai awal 1960-an. Yaitu, hanya ketika tanda residu sudah di depan mata siapa pun perlu peduli apa itu.

-

$-$

— Nick Cox

18

+1. Konsep residu berasal dari "sisa; apa yang tertinggal" : dengan kata lain, apa yang tersisa dalam data setelah prediksi telah diperhitungkan. Ini menunjukkan bahwa siapa pun yang menyebut jumlah ini sebagai "residual" memiliki definisi "nilai data dikurangi nilai pas" dalam pikiran.

— whuber

3

@NickCox, bisakah Anda memformalkan komentar Anda sebagai jawaban, dengan kutipan? Pertanyaan saya sebenarnya tidak terlalu banyak tentang statistik tetapi tentang konvensi ilmiah, jadi jenis wawasan historis dan penggunaan yang ditunjukkan dalam komentar Anda adalah jenis jawaban yang saya cari.

— Tripartio

6

Kata residual long, long mendahului Salsburg. Saya harus mengatakan bahwa bukunya, meskipun terkadang menghibur, jauh dari otoritatif. Jika tertarik, Anda dapat mencari ulasan saya di Biometrics jstor.org/stable/3068274

— Nick Cox

22

Saya baru saja menemukan alasan kuat untuk satu jawaban menjadi yang benar.

Regresi (dan sebagian besar model statistik dalam bentuk apa pun) menyangkut bagaimana distribusi kondisional dari respons bergantung pada variabel penjelas. Elemen penting dari karakterisasi distribusi-distribusi tersebut adalah ukuran yang biasanya disebut "skewness" (walaupun berbagai formula berbeda telah ditawarkan): merujuk pada cara paling mendasar di mana bentuk distribusi berangkat dari simetri. Berikut adalah contoh data bivariat (respons dan variabel penjelas tunggal ) dengan respons kondisional condong positif: $y$ $x$

Kurva biru adalah yang paling cocok kotak kuadrat. Itu plot nilai-nilai yang dipasang.

Ketika kita menghitung selisih antara respons dan nilai pasnya , kami menggeser lokasi distribusi bersyarat, tetapi sebaliknya tidak mengubah bentuknya. Secara khusus, kemiringannya tidak akan berubah. $y$ $\hat y$

Ini adalah plot diagnostik standar yang menunjukkan bagaimana distribusi bersyarat yang bergeser berbeda dengan nilai yang diprediksi. Secara geometris, ini hampir sama dengan "sampai" scatterplot sebelumnya.

Jika sebaliknya kita menghitung selisih dalam urutan lain, ini akan bergeser dan kemudian membalikkan bentuk distribusi kondisional. Kemiringannya akan menjadi negatif dari distribusi bersyarat asli. $\hat y - y,$

Ini menunjukkan jumlah yang sama dengan gambar sebelumnya, tetapi residu telah dihitung dengan mengurangi data dari kecocokannya - yang tentu saja sama dengan meniadakan residu sebelumnya.

Meskipun kedua angka sebelumnya secara matematis setara dalam segala hal - satu diubah menjadi yang lain hanya dengan membalikkan titik-titik melintasi cakrawala biru - salah satunya memiliki hubungan visual yang jauh lebih langsung ke plot asli.

Akibatnya, jika tujuan kami adalah untuk menghubungkan karakteristik distribusi residu dengan karakteristik data asli - dan yang hampir selalu demikian - maka lebih baik hanya menggeser respons daripada menggeser dan membalikkannya.

Jawaban yang benar jelas: hitung residu Anda sebagai $y - \hat y.$

— whuber
sumber

1

Saya tidak berpikir saya mengikuti apa yang istimewa tentang kemiringan di sini - bukankah argumen Anda tentang residu yang cocok dengan plot asli langsung berdiri sendiri?

— MichaelChirico

2

@Michael Anda benar sekali. Namun, kemiringan berguna untuk menggambarkan titik karena ia dengan jelas membedakan bentuk distribusi dari bentuk negatifnya.

— whuber

10

Green & Tashman (2008, Foresight ) melaporkan survei kecil tentang pertanyaan analog untuk kesalahan perkiraan. Saya akan meringkas argumen untuk kedua konvensi sebagaimana dilaporkan oleh mereka:

Argumen untuk "prediksi aktual"

Konvensi statistik adalah . $y=\hat{y}+\epsilon$
Setidaknya satu responden dari seismologi menulis bahwa ini juga merupakan konvensi untuk memodelkan waktu tempuh gelombang seismik. "Ketika gelombang seismik aktual tiba sebelum waktu yang diprediksi oleh model, kami memiliki sisa waktu perjalanan negatif (kesalahan)." ( sic )
Konvensi ini masuk akal jika kita menafsirkan sebagai anggaran, rencana, atau target. Di sini, kesalahan positif berarti bahwa anggaran / rencana / target telah terlampaui. $\hat{y}$
Konvensi ini membuat rumus untuk pemulusan eksponensial agak lebih intuitif. Kita bisa menggunakan tanda . Dengan konvensi lain, kita perlu menggunakan tanda . $+$ $-$

Argumen untuk "diprediksi-aktual"

Jika , maka kesalahan positif menunjukkan bahwa ramalan itu terlalu tinggi. Ini lebih intuitif daripada yang sebaliknya. $y=\hat{y}-\epsilon$

Terkait, jika bias positif didefinisikan sebagai kesalahan yang diharapkan positif , itu berarti bahwa perkiraan rata-rata terlalu tinggi dengan konvensi ini.

Dan ini adalah satu-satunya argumen yang diberikan untuk konvensi ini. Kemudian lagi, mengingat kesalahpahaman yang dapat ditimbulkan oleh konvensi lain (kesalahan positif = ramalan terlalu rendah), ini adalah yang kuat.

Pada akhirnya, saya berpendapat bahwa itu tergantung pada siapa Anda perlu mengomunikasikan residu Anda. Dan mengingat bahwa pasti ada dua sisi dalam diskusi ini, masuk akal untuk secara eksplisit mencatat konvensi mana yang Anda ikuti.

— S. Kolassa - Reinstate Monica
sumber

7

Poin yang menarik, tetapi setiap kali ada yang mengatakan "intuitif" saya menerjemahkannya sebagai "akrab bagi saya" dan terjemahannya seringkali lebih meyakinkan dan tidak pernah kurang. Coba ini: konvensi penjumlahan Einstein adalah intuitif. Hanya ketika Anda terbiasa. Mengukur sudut dari sumbu berlawanan arah jarum jam adalah intuitif. Tidak untuk ahli geografi atau siapa pun yang belajar menggunakan kompas sebelum mereka belajar koordinat geometri.

x

$x$

— Nick Cox

3

@NickCox: secara abstrak, Anda benar. Namun, ambil sejumlah besar orang dan tanyakan kepada mereka: "Prakiraan cuaca untuk suhu hari ini memiliki kesalahan positif yang besar . Apakah Anda percaya bahwa ramalan itu (A) terlalu tinggi atau (B) terlalu rendah ?" Saya pikir saya dapat memprediksi yang mana dari (A) atau (B) mayoritas yang akan memilih.

— S. Kolassa - Reinstate Monica

6

Ya - dan jika Anda mengucapkan pertanyaan itu sebagai "Apakah Anda yakin suhunya (A) lebih tinggi atau (B) lebih rendah dari perkiraan," Anda mungkin mendapat jawaban yang sebaliknya ! Mengacu pada "kesalahan positif" hanya menimbulkan pertanyaan "apa kesalahannya," dan itu membawa kita - secara melingkar sempurna - kembali ke pertanyaan semula.

— whuber

2

@whuber itu ungkapan yang agak tidak wajar dari pertanyaan itu. Mengingat bahwa "diamati" adalah "tetap", hubungan model itu tampaknya lebih alami daripada sebaliknya. Saya mendapat tiket ngebut karena terlalu cepat, daripada "batas kecepatan di bawah kecepatan saya". Argumen bahasa alami pasti memiliki aplikasi terbatas pada istilah / bahasa teknis meskipun /

— mbrig

2

@whuber Apa yang saya katakan adalah bahwa salah satu cara mengungkapkan pertanyaan itu jelas lebih alami (setidaknya dalam bahasa Inggris).

— mbrig

4

Terminologi yang berbeda menunjukkan konvensi yang berbeda. Istilah "residual" menyiratkan bahwa itu adalah apa yang tersisa setelah semua variabel penjelas telah diperhitungkan, yaitu prediksi aktual. "Prediction error" menyiratkan bahwa seberapa jauh prediksi menyimpang dari aktual, yaitu prediksi-aktual.

Konsepsi pemodelan seseorang juga memengaruhi konvensi mana yang lebih alami. Misalkan Anda memiliki kerangka data dengan satu atau beberapa kolom fitur , kolom respons , dan kolom prediksi . $X = x_1,x_2...$ $y$ $\hat y$

Satu konsepsi adalah bahwa adalah nilai "nyata", dan hanyalah sebuah versi ditransformasikan . Dalam konsepsi ini, dan adalah variabel acak ( sebagai yang diturunkan). Meskipun adalah yang benar-benar menarik bagi kita, adalah yang dapat kita amati, jadi digunakan sebagai proksi untuk . "Kesalahan" adalah berapa banyak menyimpang dari nilai "benar" ini . Ini menyarankan mendefinisikan kesalahan sebagai mengikuti arah deviasi ini, yaitu . $y$ $\hat y$ $X$ $y$ $\hat y$ $\hat y$ $y$ $\hat y$ $\hat y$ $y$ $\hat y$ $y$ $e = \hat y -y$

Namun, ada konsepsi lain yang menganggap sebagai nilai "nyata". Yaitu, y tergantung pada melalui beberapa proses deterministik; keadaan menimbulkan nilai deterministik tertentu. Nilai ini kemudian terganggu oleh beberapa proses acak. Jadi kita memiliki . Dalam konsepsi ini, adalah nilai "nyata" dari y. Misalnya, Anda mencoba menghitung nilai g, akselerasi karena gravitasi. Anda menjatuhkan banyak objek, Anda mengukur seberapa jauh mereka jatuh ( ) dan berapa lama mereka jatuh ( ). Anda kemudian menganalisis data dengan model y = $\hat y$ $X$ $X$ $x \rightarrow f(X)\rightarrow f(X)+error()$ $\hat y$ $X$ $y$ $\sqrt{\frac{2x}{g}}$ . Anda menemukan bahwa tidak ada nilai g yang membuat persamaan ini bekerja dengan tepat. Jadi Anda kemudian memodelkan ini sebagai

$\hat y = \sqrt{\frac{2x}{g}}$
$y = \hat y +error$

$\hat y$ $y$ $\hat y$ $X$

$\sqrt{\frac{2x}{g}}$ $y = \hat y +error$

$X$

$\hat y = f(X)$
$y = \hat y+g(?)$
$g = y-\hat y$

— Akumulasi
sumber

4

Jawaban oleh @Aksakal sepenuhnya benar, tetapi saya hanya akan menambahkan satu elemen tambahan yang saya temukan membantu saya (dan murid-murid saya).

Moto: Statistik itu "sempurna". Seperti, saya selalu dapat memberikan prediksi yang sempurna (saya tahu beberapa alis mata sedang naik sekarang ... jadi dengarkan saya).

$y_i$ $\hat{y}_i$

y_{i} \neq {\hat{y}}_{i}

$y_i \ne \hat{y}_i$

ϵ_{i}

$\epsilon_i$

y_{i} = {\hat{y}}_{i} + ϵ_{i}

$y_i = \hat{y}_i + \epsilon_i$ Sekarang, kami memiliki prediksi "sempurna" ... nilai "akhir" kami cocok dengan nilai yang kami amati.

$\epsilon_i$

— Gregg H
sumber

2

{\hat{y}}_{i} - y_{i}

$\hat{y}_i - y_i$

6

Mengapa "sebaiknya menambahkannya ke nilai prediksi kami"? Mengapa tidak "melihat seberapa banyak datum perlu disesuaikan agar sesuai dengan prediksi kami"? Tidak ada pendekatan yang tampaknya memiliki klaim lebih jelas, bermakna, atau "intuitif" daripada yang lain.

— Whuber

2

@whuber satu item adalah "nyata" (diamati, konkret), yang lainnya adalah konstruk (hipotetis); jika kita memodelkan tinggi berdasarkan berat, ¿apakah masuk akal untuk "menyusutkan" seseorang sebesar 3 inci hanya untuk mencocokkan ketinggian aktual / yang diamati dengan beberapa nilai prediksi (imajiner)?

— Gregg H

2

Ya - itu adalah cara berpikir yang umum tentang data. Saya hanya mencoba menunjukkan kemungkinan bahwa asumsi Anda tentang bagaimana orang akan memahami pertanyaan ini dan memahami arti "terbaik" mungkin spekulatif dan subyektif.

— whuber

titik adil ... akan diperbarui dengan komentar singkat

— Gregg H

2

$\newcommand{\e}{\varepsilon}$ Saya akan menggunakan kasus khusus dari regresi linier kuadrat. Jika kita mengambil model kita untuk menjadi kemudian sebagai @Aksakal poin kita alami berakhir dengan sehingga . Jika bukan kita mengambil sebagai model kami, yang kami tentu bebas untuk melakukan, maka kita mendapatkan . Pada titik ini benar-benar tidak ada alasan untuk memilih satu daripada yang lain selain dari preferensi yang samar untuk lebih dari . $Y = X\beta + \e$ $\e = Y - X\beta$ $\hat \e = Y - \hat Y$ $Y = X\beta - \e$ $\e = X\beta - Y \implies \hat \e = \hat Y - Y$ $1$ $-1$

Tetapi jika maka kita memperoleh residual kami melalui , di mana adalah matriks idempoten memproyeksikan ke dalam ruang orthogonal untuk ruang kolom dari desain matriks . Jika kita malah menggunakan maka kita berakhir dengan . Tapi itu sendiri tidak idempoten sebagai . Jadi benar-benar adalah negatif dari matriks proyeksi, yaitu . Jadi saya melihat ini sebagai membatalkan negatif yang diperkenalkan dengan menggunakan , jadi demi kekikiran lebih baik hanya menggunakan $\hat \e = Y - \hat Y$ $(I - P_X)Y$ $I - P_X$ $X$ $Y = X\beta - \e$ $\hat \e = (P_X - I)Y$ $P_X - I$ $(P_X - I)^2 = P_X^2 - 2P_X + I = -(P_X - I)$ $P_X - I$ $I - P_X$ $Y = X\beta - \e$ $Y = X\beta + \e$ yang pada gilirannya memberi kita sebagai residual. $Y - \hat Y$

Seperti disebutkan di tempat lain itu tidak seperti apa istirahat jika kita menggunakan , tapi kami berakhir dengan situasi negatif ganda ini yang saya pikir adalah alasan yang cukup baik untuk hanya menggunakan . $\hat Y - Y$ $Y - \hat Y$

— jld
sumber

Tetapi menulis apa pun tidak ada hubungannya dengan tanda-tanda nilai-nilai tertentu dari , seperti menulis adalah komitmen atau asumsi bahwa atau dalam praktiknya positif. Bisa jadi persamaan yang sama tetapi dengan tanda terbalik.

+ e

$+ e$

e

$e$

y = β_{0} + β_{1} x

$y = \beta_0 + \beta_1 x$

β_{0}

$\beta_0$

β_{1}

$\beta_1$

e

$e$

— Nick Cox

@NickCox terima kasih atas komentar Anda, saya menyadari bahwa saya telah memprediksikan jawaban saya dengan asumsi bahwa kami ingin menulis model kami . Aku sudah menulis ulang ke alamat ini

Y = X β + ε

$Y = X\beta + \varepsilon$

— JLD