Bagaimana cara membedakan antara model regresi linier dan non-linear?

27

Saya membaca tautan berikut tentang regresi non linear SAS Non Linear . Pemahaman saya dari membaca bagian pertama "Regresi Nonlinear vs Regresi Linier" adalah bahwa persamaan di bawah ini sebenarnya adalah regresi linier, apakah itu benar? Jika demikian mengapa?

y = b_{1} x^{3} + b_{2} x^{2} + b_{3} x + c

$y = b_1x^3 + b_2x^2 + b_3x + c$

Apakah saya juga memahami bahwa dalam multikolinearitas regresi nonlinier bukan merupakan masalah? Saya tahu bahwa multikolinieritas dapat menjadi masalah dalam regresi linier jadi tentu saja jika model di atas sebenarnya adalah regresi linier akan ada multikolinieritas?

— mHelpMe
sumber

Terkait erat: stats.stackexchange.com/questions/33876 .

— whuber

Juga terkait: Apa arti "lengkung"?

— gung - Reinstate Monica

35

Ada (setidaknya) tiga pengertian di mana regresi dapat dianggap "linier." Untuk membedakannya, mari kita mulai dengan model regresi yang sangat umum

Y = f (X, θ, ε) .

$Y = f(X,\theta,\varepsilon).$

Agar diskusi tetap sederhana, gunakan variabel independen untuk diperbaiki dan diukur secara akurat (bukan variabel acak). Mereka memodelkan pengamatan dari atribut masing-masing, sehingga menimbulkan -vector tanggapan . Secara konvensional, direpresentasikan sebagai matriks dan sebagai kolom vektor. The (terbatas vektor) terdiri dari parameter . adalah variabel acak bernilai vektor. Biasanya memiliki $X$ $n$ $p$ $n$ $Y$ $X$ $n\times p$ $Y$ $n$ $q$ $\theta$ $\varepsilon$ $n$ komponen, tetapi kadang-kadang memiliki lebih sedikit. Fungsi bernilai vektor (dengan komponen yang cocok dengan ) dan biasanya diasumsikan kontinu dalam dua argumen terakhirnya ( dan ). $f$ $n$ $Y$ $\theta$ $\varepsilon$

Contoh pola dasar , dari pemasangan garis ke data, adalah kasus di mana adalah vektor angka - nilai-x; adalah vektor paralel angka ; memberikan intersepsi dan slope ; dan adalah vektor "kesalahan acak" yang komponen-komponennya independen (dan biasanya diasumsikan memiliki distribusi yang sama tetapi tidak diketahui rata-rata nol). Dalam notasi sebelumnya, $(x,y)$ $X$ $(x_i,\,i=1,2,\ldots,n)$ $Y$ $n$ $(y_i)$ $\theta = (\alpha,\beta)$ $\alpha$ $\beta$ $\varepsilon = (\varepsilon_1,\varepsilon_2,\ldots,\varepsilon_n)$

y_{i} = α + β x_{i} + ε_{i} = f (X, θ, ε)_{i}

$y_i = \alpha + \beta x_i +\varepsilon_i = f(X,\theta,\varepsilon)_i$

dengan . $\theta = (\alpha,\beta)$

Fungsi regresi dapat linier dalam salah satu (atau semua) dari tiga argumennya:

"Regresi linier, atau" model linear, "biasanya berarti bahwa adalah linier sebagai fungsi dari parameter . Arti SAS dari" regresi nonlinear " adalah dalam pengertian ini, dengan asumsi tambahan bahwa dapat dibedakan dalam kedua argumen (parameter). Asumsi ini memudahkan untuk menemukan solusi. $f$ $\theta$ $f$
A "linear hubungan antara dan " berarti adalah linier sebagai fungsi dari . $X$ $Y$ $f$ $X$
Model memiliki kesalahan aditif ketika linier di . Dalam kasus seperti itu selalu diasumsikan bahwa . (Kalau tidak, tidak akan benar untuk menganggap sebagai "kesalahan" atau "penyimpangan" dari nilai "benar".) $f$ $\varepsilon$ $\mathbb{E}(\varepsilon) = 0$ $\varepsilon$

Setiap kombinasi yang mungkin dari karakteristik ini dapat terjadi dan bermanfaat. Mari kita survei kemungkinannya.

Model linier dari hubungan linier dengan kesalahan aditif. Ini adalah regresi biasa (berganda), sudah dipamerkan di atas dan lebih umum ditulis sebagai

$Y = X θ + ε .$ $Y = X\theta + \varepsilon.$
$X$ telah ditambah, jika perlu, dengan berdampingan dengan kolom konstanta, dan adalah vektor- . $\theta$ $p$
Model linier dari hubungan nonlinear dengan kesalahan aditif. Ini dapat ditulis sebagai regresi berganda dengan menambah kolom dengan fungsi nonlinear dari itu sendiri. Contohnya, $X$ $X$

$y_{i} = α + β x_{i}^{2} + ε$ $y_i = \alpha + \beta x_i^2 + \varepsilon$
adalah dari bentuk ini. Itu linear dalam ; itu memiliki kesalahan aditif; dan itu adalah linear dalam nilai-nilai meskipun adalah fungsi nonlinear dari . $\theta=(\alpha,\beta)$ $(1,x_i^2)$ $x_i^2$ $x_i$
Model linier dari hubungan linier dengan kesalahan yang tidak ditambahkan. Contohnya adalah kesalahan multiplikasi,

$y_{i} = (α + β x_{i}) ε_{i} .$ $y_i = (\alpha + \beta x_i)\varepsilon_i.$
(Dalam kasus seperti itu dapat diartikan sebagai "kesalahan multiplikasi" ketika lokasi adalah Namun, pengertian lokasi yang tepat tidak harus sesuai dengan harapan lagi: mungkin saja median atau rata-rata geometrik, misalnya. Komentar serupa tentang asumsi lokasi berlaku, mutatis mutandis , dalam semua konteks non-aditif-kesalahan lainnya juga.) $\varepsilon_i$ $\varepsilon_i$ $1$ $\mathbb{E}(\varepsilon_i)$
Model linear hubungan nonlinear dengan kesalahan yang tidak ditambahkan. misalnya ,

$y_{i} = (α + β x_{i}^{2}) ε_{i} .$ $y_i = (\alpha + \beta x_i^2)\varepsilon_i.$
Model nonlinear dari hubungan linier dengan kesalahan aditif. Model nonlinier melibatkan kombinasi parameternya yang tidak hanya nonlinier, mereka bahkan tidak dapat dilinearisasi dengan menyatakan kembali parameter.
- Sebagai contoh, pertimbangkan
  
  $y_{i} = α β + β^{2} x_{i} + ε_{i} .$ $y_i = \alpha\beta + \beta^2 x_i + \varepsilon_i.$
  $\alpha^\prime = \alpha\beta$ $\beta^\prime=\beta^2$ $\beta^\prime \ge 0$
  
  $y_{i} = α^{'} + β^{'} x_{i} + ε_{i},$ $y_i = \alpha^\prime + \beta^\prime x_i + \varepsilon_i,$
  menunjukkannya sebagai model linier (dari hubungan linier dengan kesalahan aditif).
- Sebagai contoh, pertimbangkan
  
  $y_{i} = α + α^{2} x_{i} + ε_{i} .$ $y_i = \alpha + \alpha^2 x_i + \varepsilon_i.$
  $\alpha^\prime$ $\alpha$ $\alpha^\prime$ $x_i$
Model nonlinear dari hubungan nonlinear dengan kesalahan aditif.

$y_{i} = α + α^{2} x_{i}^{2} + ε_{i} .$ $y_i = \alpha + \alpha^2 x_i^2 + \varepsilon_i.$
Model nonlinear dari hubungan linier dengan kesalahan yang tidak ditambahkan.

$y_{i} = (α + α^{2} x_{i}) ε_{i} .$ $y_i = (\alpha + \alpha^2 x_i)\varepsilon_i.$
Model nonlinear dari hubungan nonlinear dengan kesalahan yang tidak ditambahkan.

$y_{i} = (α + α^{2} x_{i}^{2}) ε_{i} .$ $y_i = (\alpha + \alpha^2 x_i^2)\varepsilon_i.$

Meskipun ini menunjukkan delapan bentuk regresi yang berbeda, mereka tidak membentuk sistem klasifikasi karena beberapa bentuk dapat dikonversi menjadi yang lain. Contoh standar adalah konversi model linear dengan kesalahan yang tidak ditambahkan (diasumsikan memiliki dukungan positif)

y_{i} = (α + β x_{i}) ε_{i}

$y_i = (\alpha + \beta x_i)\varepsilon_i$

\log (y_{i}) = μ_{i} + \log (α + β x_{i}) + (\log (ε_{i}) - μ_{i})

$\log(y_i) = \mu_i + \log(\alpha + \beta x_i) + (\log(\varepsilon_i) - \mu_i)$

$\mu_i = \mathbb{E}\left(\log(\varepsilon_i)\right)$ $Y$ $Y$

Kolinearitas

$X$ $Y = f(X,\theta,\varepsilon)$ $Y=f(X^\prime,\theta,\varepsilon^\prime)$ $X^\prime$ $X$ $\hat\theta$ $\hat\theta^\prime$ $X$ $\theta$ $X$

Dari sudut pandang ini, harus jelas bahwa kolinearitas merupakan masalah potensial untuk model linier hubungan nonlinear (terlepas dari aditivitas kesalahan) dan bahwa konsep kolinearitas umum ini berpotensi menjadi masalah dalam setiap model regresi. Ketika Anda memiliki variabel berlebihan, Anda akan mengalami masalah mengidentifikasi beberapa parameter.

— whuber
sumber

dapatkah Anda merekomendasikan bacaan pendahuluan singkat dan ringkas yang akan membantu saya mendapatkan pemahaman yang lebih baik tentang linierisasi yang Anda sebutkan, yang merupakan inti perbedaan antara contoh Anda dan bukan contoh dalam poin 5. Terima kasih.

— ColorStatistics

@Warna Saya tidak terbiasa dengan apapun. Di bawah asumsi ringan tentang diferensiasi kemungkinan transformasi, ini dibahas oleh teori Persamaan Diferensial Parsial (PDE).

— Whuber

0

Anda harus mulai sekarang dengan membuat perbedaan antara kenyataan dan model yang Anda gunakan untuk menggambarkannya

Persamaan yang baru saja Anda sebutkan adalah persamaan polinomial (x ^ power) yaitu. non-linear ... tetapi Anda masih dapat memodelkannya menggunakan model linier umum (menggunakan fungsi tautan) atau regresi polinomail karena parameternya linear (b1, b2, b3, c)

harapan yang membantu, sebenarnya agak samar: kenyataan / model

— Po Stulat
sumber

3

Ini dapat diperkirakan melalui kuadrat terkecil biasa karena model memiliki parameter linier.

— Analis

jadi itu semua harus dilakukan dengan parameter? jika kita b3 ^ 2 * x masih akan linear?

— mHelpMe

0

Suatu model adalah linier jika parameternya linier atau dapat diubah menjadi parameter linier (dapat linierisasi). Model linear dapat memodelkan hubungan linear atau non-linear. Mari kita bahas masing-masingnya.

Model adalah parameter linier jika dapat ditulis sebagai jumlah suku, di mana setiap suku adalah konstanta atau parameter yang mengalikan prediktor (X _i ):

Perhatikan bahwa definisi ini sangat sempit. Hanya model yang memenuhi definisi ini yang linier. Setiap model lainnya, adalah non-linear.

Ada dua jenis model linier yang bingung untuk model non-linear:

1. Model linear dari hubungan non-linear

Sebagai contoh, model bawah model hubungan non-linear (karena turunan dari Y terhadap X ₁ adalah fungsi dari X ₁ ). Dengan membuat variabel baru W ₁ = X ₁² , dan menulis ulang persamaan dengan W ₁ menggantikan X ₁² , kita memiliki persamaan yang memenuhi definisi model linear.

2. Model yang tidak langsung linier tetapi bisa menjadi linier setelah transformasi (linierisasi). Di bawah ini adalah 2 contoh model linearizable:

Contoh 1:

Model ini mungkin tampak non-linier karena tidak memenuhi definisi model yang linier dalam parameter, namun dapat ditransformasikan menjadi model linier sehingga dapat linierisasi / transformable linear, dan karenanya dianggap linier model. Transformasi berikut akan membuat garis itu. Mulailah dengan mengambil logaritma natural dari kedua belah pihak untuk mendapatkan:

lalu buat penggantian berikut:

untuk mendapatkan model linier di bawah ini:

Contoh 2:

Model ini mungkin tampak non-linier karena tidak memenuhi definisi model yang linier dalam parameter, namun dapat ditransformasikan menjadi model linier sehingga dapat linierisasi / transformable linear, dan karenanya dianggap linier model. Transformasi berikut akan membuat garis itu. Mulailah dengan mengambil kebalikan dari kedua belah pihak untuk mendapatkan:

lalu buat penggantian berikut:

untuk mendapatkan model linier di bawah ini:

Model apa pun yang tidak linier (bahkan melalui linearisasi) adalah non-linear. Pikirkan seperti ini: Jika suatu model tidak memenuhi definisi model linier maka itu adalah model non-linier, kecuali jika dapat dibuktikan dapat linierisasi, pada titik mana ia mendapatkan hak untuk disebut model linier.

Jawaban Whuber di atas dan juga jawaban Glen_b di tautan ini akan menambah warna pada jawaban saya. Model linier nonlinear vs. umum: Bagaimana Anda merujuk pada regresi logistik, Poisson, dll.?

— Statistik Warna
sumber