Definisi dan pembatasan model regresi

Sebuah pertanyaan sederhana yang memalukan - tetapi sepertinya belum ditanyakan pada Cross divalidasi sebelumnya:

Apa definisi model regresi?

Juga pertanyaan dukungan,

Apa yang bukan model regresi?

Sehubungan dengan yang terakhir, saya tertarik pada contoh rumit di mana jawabannya tidak segera jelas, misalnya ARIMA atau GARCH.

— Richard Hardy
sumber

Jawaban:

Saya akan mengatakan bahwa "model regresi" adalah semacam meta-konsep, dalam arti bahwa Anda tidak akan menemukan definisi "model regresi", tetapi konsep yang lebih konkret seperti "regresi linier", "regresi non-linear", "Regresi yang kuat" dan seterusnya. Ini dengan cara yang sama seperti dalam matematika kita biasanya tidak mendefinisikan "angka", tetapi "bilangan alami", "bilangan bulat", "bilangan real", "angka p-adic" dan seterusnya, dan jika seseorang ingin memasukkan angka empat di antara angka jadi itu! tidak masalah, yang penting adalah definisi apa yang digunakan oleh buku / makalah yang sedang Anda baca saat ini.

Definisi yang alat , dan esensialisme, yang membahas apa adalah esensi dari ..., apa kata benar-benar berarti , jarang berharga.

Jadi, apa yang membedakan "model regresi" dari jenis model statistik lainnya? Sebagian besar, bahwa ada variabel respons , yang ingin Anda model sebagai dipengaruhi oleh (atau ditentukan oleh) beberapa set variabel prediktor . Kami tidak tertarik untuk mempengaruhi arah lain, dan kami tidak tertarik pada hubungan antara variabel prediktor. Sebagian besar, kami mengambil variabel prediktor seperti yang diberikan, dan memperlakukannya sebagai konstanta dalam model, bukan sebagai variabel acak.

Hubungan yang disebutkan di atas dapat linear atau nonlinier, ditentukan secara parametrik atau nonparametrik, dan seterusnya.

Untuk menggambarkan dari model lain lebih baik kita melihat beberapa kata lain yang sering diambil untuk menunjukkan sesuatu yang berbeda untuk "model regresi", seperti "kesalahan dalam variabel", ketika kita menerima kemungkinan kesalahan pengukuran dalam variabel prediktor. Itu bisa dimasukkan dalam deskripsi saya tentang "model regresi" di atas, tetapi sering diambil sebagai model alternatif.

Juga, apa yang dimaksud dapat bervariasi di antara bidang, lihat Apa perbedaan antara pengondisian pada regressor dan memperlakukan mereka sebagai tetap?

Untuk mengulang: yang penting adalah definisi yang digunakan oleh penulis yang Anda baca sekarang, dan bukan beberapa metafisika tentang apa itu "sebenarnya".

— kjetil b halvorsen
sumber

Saya setuju dengan esensi dari jawaban Anda. Pertanyaan saya termotivasi oleh pernyataan tentang model regresi yang membuat saya bertanya-tanya apa sebenarnya pernyataan itu berlaku (dan apa yang tidak berlaku untuk). Tentu saja, sekarang Anda dapat mengatakan, "gunakan penilaian terbaik Anda dan periksa detailnya dengan cermat", tetapi kadang-kadang saya mungkin ingin langsung menolak pernyataan yang dihipotesiskan dengan mengatakan bahwa itu tidak benar secara umum (mungkin benar hanya dalam kasus yang sangat spesifik) . Maka saya perlu definisi untuk merujuk. Tentu saja ada lebih banyak situasi di mana memiliki definisi yang tepat berguna.

— Richard Hardy

Kemudian Anda harus mengajukan pertanyaan spesifik tentang penggunaan yang Anda temui, dengan referensi.

— kjetil b halvorsen

Saya tidak bermaksud pilih-pilih, tetapi pikirkan: seseorang bertanya kepada Anda apa yang Anda lakukan, Anda berkata, "Saya menganalisis / meramalkan / menguji [sesuatu] menggunakan model regresi." - "Apa itu model regresi?" - (Diam). Atau situasi dalam kelas ekonometrika pengantar: "Profesor, apa itu model regresi?" -- (Tidak ada Jawaban). Saya pikir ini adalah pertanyaan yang sangat alami, jadi akan menyenangkan jika memiliki jawaban.

— Richard Hardy

Ya, akan menyenangkan untuk memiliki jawaban, tetapi saya tidak yakin ada satu jawaban kanonik yang dapat disepakati semua. Saya mendapat ide yang sangat berbeda dari regresi dari buku statistik seperti Seber: "Analisis Regresi Linier" seperti dari teks dalam ekonometrik. Tetapi beberapa ide semua bisa setuju. Saya kira itu benar-benar keluarga model. Lalu kita bisa bertanya apa inti umum dari semua model ini.

— kjetil b halvorsen

Mungkin Anda akan tertarik pada pertanyaan terkait saya: Definisi model regresi linier sederhana .

— Richard Hardy

Dua jawaban yang bagus sudah diberikan, tetapi saya ingin menambahkan dua sen saya.

$Y$ $X_1,\dots,X_k$ $Y$

μ = E (y | x_{1}, \dots, x_{k}) = f (x_{1}, \dots, x_{k})

$\mu = E(y|x_1,\dots,x_k) = f(x_1,\dots,x_k)$

$f$ $\mu$ $\mu$ $L_1$ $\mu$

Jadi alih-alih melihat distribusi gabungan penuh, kami fokus pada distribusi bersyarat $Y$

— Tim
sumber

Terima kasih. Intuisi tidak ada salahnya, walaupun saya mencari definisi yang lebih formal yang bisa saya berikan kepada seseorang yang bertanya kepada saya, jadi apa model regresi itu? dan kemudian mencoba memilih detail.

— Richard Hardy

@RichardHardy Saya berpikir bahwa ini adalah yang fitur kunci dari model regresi yang dimiliki oleh semua dari mereka.

— Tim

y

$y$

Beberapa pemikiran berdasarkan literatur:

F. Hayashi dalam Bab 1 dari buku teks pascasarjana klasiknya "Econometrics" (2000) menyatakan bahwa asumsi berikut terdiri dari model regresi linier klasik:

Linearitas
Eksogenitas yang ketat
Tidak ada multikolinieritas
Varians kesalahan bola
"Koreksi" diperbaiki

Wooldridge dalam Bab 2 dari buku teks pengantar ekonometrik klasiknya "Introductory Econometrics: A Modern Approach" (2012) menyatakan bahwa persamaan berikut mendefinisikan model regresi linier sederhana:

y = β_{0} + β_{1} x + u .

$y=\beta_0+\beta_1 x+u.$

Greene dalam Bab 2 dari buku teks ekonometriknya yang populer "Analisis Ekonometrik" (2011) menyatakan

Model regresi linier klasik terdiri dari seperangkat asumsi tentang bagaimana set data akan diproduksi oleh "proses penghasil data" yang mendasarinya.

dan kemudian memberikan daftar asumsi yang mirip dengan Hayashi.

Mengenai minat OP pada model GARCH, Bollerslev "Generalized autoregressive conditional heterosedasticity" (1986) memasukkan frasa "model regresi GARCH" dalam judul bagian 5 dan juga dalam kalimat pertama bagian itu. Jadi bapak model GARCH tidak keberatan menyebut GARCH model regresi.

— Richard Hardy
sumber

Y \approx f (X, β)

$Y\approx f(X, \beta)$

Benar, contoh saya adalah untuk model regresi linier ; itulah yang saya dapat temukan di sumber yang dapat dipercaya seperti buku teks ini yang banyak digunakan dan telah menjadi klasik. Saya tidak terlalu mempercayai Wikipedia untuk pertanyaan statistik dan ekonometrik. Lagi pula, bahkan di Wikipedia ada bab "Asumsi yang mendasari" yang mirip dengan apa yang telah saya kutip dari buku teks. Mengenai pos lainnya, dapatkah Anda memposting bagian yang relevan dari komentar Anda di sana sehingga saya dapat menanggapi di sana? Dalam posting ini saya tidak mengatakan apa-apa tentang model variabel laten, tapi senang mendengar pendapat Anda.

— Richard Hardy

Mengapa poin 3, "tidak ada multikolinearitas"? Saya belum pernah melihat yang digunakan sebagai asumsi dalam bukti beberapa hasil!

— kjetil b halvorsen

@kjetilbhalvorsen, tolong jangan menganggap saya bertanggung jawab atas apa yang tertulis dalam buku teks yang saya bukan penulisnya. Tapi terima kasih atas komentarnya, tentu saja, dan bahkan lebih untuk jawabannya!

— Richard Hardy