Apa itu model "jenuh"?

Apa yang dimaksud ketika kita mengatakan kita memiliki model jenuh?

Model jenuh adalah salah satu di mana ada banyak parameter estimasi sebagai titik data. Menurut definisi, ini akan mengarah ke kesesuaian yang sempurna, tetapi akan sedikit berguna secara statistik, karena Anda tidak memiliki data yang tersisa untuk memperkirakan varians.

Misalnya, jika Anda memiliki 6 titik data dan menyesuaikan polinomial orde 5 dengan data, Anda akan memiliki model jenuh (satu parameter untuk masing-masing dari 5 kekuatan variabel independen Anda ditambah satu untuk istilah konstan).

Model jenuh adalah model yang overparameter ke titik yang pada dasarnya hanya menginterpolasi data. Dalam beberapa pengaturan, seperti kompresi dan rekonstruksi gambar, ini tidak selalu merupakan hal yang buruk, tetapi jika Anda mencoba membangun model prediksi itu sangat bermasalah.

Singkatnya, model jenuh menyebabkan prediktor varians sangat tinggi yang didorong oleh kebisingan lebih dari data aktual.

Sebagai eksperimen pemikiran, bayangkan Anda memiliki model jenuh, dan ada suara dalam data, lalu bayangkan pas model beberapa ratus kali, setiap kali dengan realisasi suara yang berbeda, dan kemudian memprediksi titik baru. Anda cenderung mendapatkan hasil yang sangat berbeda setiap kali, baik untuk kesesuaian Anda dan prediksi Anda (dan model polinomial sangat mengerikan dalam hal ini); dengan kata lain varians kecocokan dan prediktornya sangat tinggi.

Sebaliknya, sebuah model yang tidak jenuh akan (jika dibangun secara wajar) memberikan kecocokan yang lebih konsisten satu sama lain bahkan di bawah realisasi kebisingan yang berbeda, dan varian prediktor juga akan berkurang.

Sebuah model jenuh jika dan hanya jika memiliki parameter sebanyak yang memiliki titik data (pengamatan). Atau dengan kata lain, dalam model yang tidak jenuh, derajat kebebasannya lebih besar dari nol.

Ini pada dasarnya berarti bahwa model ini tidak berguna, karena tidak menggambarkan data lebih parsimoni daripada data mentah (dan menggambarkan data parsimoni secara umum adalah ide di balik penggunaan model). Selain itu, model jenuh dapat (tetapi tidak selalu) memberikan (tidak berguna) sangat cocok karena mereka hanya menginterpolasi atau iterate data.

Ambil contoh mean sebagai model untuk beberapa data. Jika Anda hanya memiliki satu titik data (misalnya, 5) menggunakan mean (yaitu, 5; perhatikan bahwa mean adalah model jenuh untuk hanya satu titik data) tidak membantu sama sekali. Namun jika Anda sudah memiliki dua titik data (misalnya, 5 dan 7) menggunakan mean (yaitu, 6) sebagai model memberi Anda deskripsi yang lebih pelit dari data asli.

Seperti orang lain katakan sebelumnya, itu berarti Anda memiliki banyak parameter yang Anda miliki titik data. Jadi, tidak ada pengujian yang baik. Tetapi ini tidak berarti bahwa "menurut definisi", model dapat dengan sempurna sesuai dengan titik data apa pun. Saya dapat memberitahu Anda berdasarkan pengalaman pribadi bekerja dengan beberapa model jenuh yang tidak dapat memprediksi titik data tertentu. Sangat jarang, tetapi mungkin.

Masalah penting lainnya adalah bahwa jenuh tidak berarti tidak berguna. Misalnya, dalam model matematika kognisi manusia, parameter model dikaitkan dengan proses kognitif spesifik yang memiliki latar belakang teoritis. Jika model sudah jenuh, Anda dapat menguji kecukupannya dengan melakukan eksperimen terfokus dengan manipulasi yang hanya memengaruhi parameter tertentu. Jika prediksi teoritis cocok dengan perbedaan yang diamati (atau kurangnya) dalam estimasi parameter, maka dapat dikatakan bahwa model tersebut valid.

Contoh: Bayangkan misalnya model yang memiliki dua set parameter, satu untuk pemrosesan kognitif, dan satu lagi untuk respons motorik. Bayangkan sekarang bahwa Anda memiliki percobaan dengan dua kondisi, satu di mana kemampuan peserta untuk merespons terganggu (mereka hanya dapat menggunakan satu tangan, bukan dua), dan di kondisi lain tidak ada penurunan nilai. Jika model ini valid, perbedaan estimasi parameter untuk kedua kondisi hanya akan terjadi untuk parameter respons motor.

Perlu diketahui juga bahwa meskipun satu model tidak jenuh, mungkin masih tidak dapat diidentifikasi, yang berarti bahwa kombinasi yang berbeda dari nilai parameter menghasilkan hasil yang sama, yang membahayakan kesesuaian model apa pun.

Jika Anda ingin mencari informasi lebih lanjut tentang masalah ini secara umum, Anda mungkin ingin melihat makalah ini:

Bamber, D., & van Santen, JPH (1985). Berapa banyak parameter yang bisa dimiliki model dan masih dapat diuji? Jurnal Psikologi Matematika, 29, 443-473.

Bamber, D., & van Santen, JPH (2000). Cara Menilai Testabilitas dan Identifikasi Model. Jurnal Psikologi Matematika, 44, 20-40.

tepuk tangan

Ini juga berguna jika Anda perlu menghitung AIC untuk model kuasi-kemungkinan. Perkiraan dispersi harus berasal dari model jenuh. Anda akan membagi LL yang Anda pas dengan estimasi dispersi dari model jenuh dalam perhitungan AIC.

Dalam konteks SEM (atau analisis jalur), model jenuh atau model just-Identified adalah model di mana jumlah parameter bebas persis sama dengan jumlah varian dan kovariansi unik. Sebagai contoh, model berikut adalah model jenuh karena ada 3 * 4/2 titik data (varian dan kovarian unik) dan juga 6 parameter bebas untuk diperkirakan: