Apa sebenarnya perbedaan antara model parametrik dan non-parametrik?

Saya bingung dengan definisi model non-parametrik setelah membaca tautan ini Model parametrik vs Nonparametrik dan Menjawab komentar dari pertanyaan saya yang lain .

Awalnya saya pikir "parametrik vs non-parametrik" berarti jika kita memiliki asumsi distribusi pada model (mirip dengan pengujian hipotesis parametrik atau non-parametrik). Tetapi kedua sumber daya mengklaim "parametrik vs non-parametrik" dapat ditentukan oleh jika jumlah parameter dalam model tergantung pada jumlah baris dalam matriks data.

Untuk estimasi kepadatan kernel (non-parametrik) definisi seperti itu dapat diterapkan. Tetapi di bawah definisi ini bagaimana jaringan saraf dapat menjadi model non-parametrik, karena jumlah parameter dalam model tergantung pada struktur jaringan saraf dan bukan pada jumlah baris dalam matriks data?

— Haitao Du
sumber

Perhatikan bahwa "nonparametrik" dalam kaitannya dengan model distribusi (seperti dalam referensi Anda terhadap tes hipotesis) berkaitan dengan jumlah parameter yang digunakan untuk menentukan distribusi ("parametrik '= ditentukan oleh sejumlah parameter tetap; metode nonparametrik tidak memiliki distribusi dengan jumlah parameter yang tetap - mereka cenderung memiliki asumsi yang lebih ringan, seperti kontinuitas atau simetri)

— Glen_b -Reinstate Monica

Pendapat saya: tetap pada definisi Anda. Ini adalah definisi yang sistematis, sebagaimana definisi seharusnya. Yang lain goyah: pertama-tama Anda perlu mendefinisikan "jumlah parameter efektif" suatu algoritma. Tetapi saya selalu melihat kuantitas ini didefinisikan berdasarkan kasus per kasus (yaitu Anda memiliki satu definisi untuk regresi linier, satu untuk tetangga terdekat, satu untuk jaringan saraf ..). Jadi, kecuali seseorang dapat menawarkan definisi umum dan sistematis tentang jumlah parameter yang efektif, saya tidak bisa menganggap serius definisi ini.

— Adrien

Ditemukan tautan di bawah ini yang memiliki penjelasan bagus tentang algoritma pembelajaran mesin parametrik dan algoritma pembelajaran mesin non-parametrik. machinelearningmastery.com/...

— Satya

Jawaban:

Dalam model parametrik, jumlah parameter ditetapkan sehubungan dengan ukuran sampel. Dalam model nonparametrik, jumlah (efektif) parameter dapat tumbuh dengan ukuran sampel.

Dalam regresi OLS, jumlah parameter akan selalu menjadi panjang , ditambah satu untuk varians. $\beta$

Jaring saraf dengan arsitektur tetap dan tidak ada pembusukan berat akan menjadi model parametrik.

Tetapi jika Anda memiliki pembusukan berat, maka nilai parameter peluruhan yang dipilih oleh validasi silang umumnya akan semakin kecil dengan lebih banyak data. Ini dapat diartikan sebagai peningkatan jumlah efektif parameter dengan peningkatan ukuran sampel.

— generic_user
sumber

Tentunya meskipun parameter peluruhan berat masih merupakan parameter tambahan tunggal dan tidak (kecuali saya salah) mengubah struktur jaringan. Bagaimana hal itu dapat ditafsirkan sebagai peningkatan jumlah parameter seiring dengan meningkatnya ukuran sampel?

— Morgan Ball

Pembusukan berat adalah hiperparameter. Baca di sini tentang derajat kebebasan efektif dalam regularisasi: statweb.stanford.edu/~tibs/sta305files/Rudyregularization.pdf. Sementara jaring saraf tidak linier, pembusukan berat melakukan fungsi yang sama dengan penalti kuadrat dalam model ini.

— generic_user

Saya (tentu saja) setuju dengan intuisi dari parameter yang efektif, tetapi saya tidak setuju dengan menggunakan gagasan ini untuk mendefinisikan parametrik / nonparametrik, lihat komentar saya untuk pertanyaan.

— Adrien

Ya saya mengerti maksud Anda. Tetapi saya kira orang yang berakal dapat tidak setuju tentang apakah kegoyahan suatu definisi menjadikannya definisi yang tidak membantu, ceteris paribus.

— generic_user

Saya telah melihat penjelasan ini sebelumnya dan tidak menyukainya. Dengan cara ini saya dapat memanggil kuadrat terkecil biasa dengan susut metode Nonparametrik karena parameter "efektif" bisa lebih kecil dari koefisien. Saya pikir ini bukan kategorisasi yang membantu karena mengaburkan Garis antara metode yang benar-benar Nonparametrik

— Aksakal

Saya pikir jika model didefinisikan sebagai seperangkat persamaan (dapat berupa sistem persamaan bersamaan atau satu), dan kita mempelajari parameternya, maka adalah parametrik. Itu termasuk persamaan diferensial, dan bahkan persamaan Navier-Stokes. Model didefinisikan secara deskriptif, terlepas dari bagaimana mereka dipecahkan, termasuk dalam kategori nonparametrik. Dengan demikian, OLS akan menjadi parametrik, dan bahkan regresi kuantil, meskipun termasuk dalam domain statistik nonparametrik, adalah model parametrik.

Di sisi lain, ketika kita menggunakan SEM (pemodelan persamaan struktural) untuk mengidentifikasi model, itu akan menjadi model nonparametrik - sampai kita menyelesaikan SEM. PCA akan menjadi parametrik, karena persamaannya didefinisikan dengan baik, tetapi CCA bisa nonparametrik, karena kami mencari korelasi di semua variabel, dan jika ini adalah korelasi Spearman, kami memiliki model nonparametrik. Dengan korelasi Pearson, kami menyiratkan model parametrik (linier). Saya pikir algoritma pengelompokan akan menjadi nonparametrik, kecuali jika kita mencari cluster dengan bentuk tertentu.

Dan kemudian kita memiliki regresi nonparametrik, yaitu nonparametrik, dan regresi LOESS, yang bersifat parametrik, tetapi memiliki tujuan yang sama: kita mendefinisikan persamaan dan jendela.

— AlexG
sumber

Deskripsi Anda agak kabur dan tampaknya bertentangan dengan arti statistik standar "parametrik" dan "nonparametrik." Secara khusus, Anda telah mengambil posisi yang tidak biasa mengenai beberapa teknik tertentu, seperti LOESS, yang umumnya dianggap nonparametrik: lihat en.wikipedia.org/wiki/Local_regress misalnya.

— whuber

@whuber, terima kasih atas tautannya! Anda benar: LOESS dianggap nonparametrik. Yang agak berlawanan dengan saya. Bagaimana dengan smoothing eksponensial? Apakah ini nonparametrik karena bobot setiap titik berbeda? Atau parametrik karena alfa sama untuk seluruh rangkaian waktu?

— AlexG

The parameter dalam situasi parametrik tidak selalu mengandalkan sekelompok angka. Mereka merujuk pada bagaimana seseorang harus menggambarkan keluarga model statistik. Misalnya, ketika suatu prosedur cocok dengan nilai tunggal untuk data (mungkin dengan validasi silang, mungkin dengan cara lain) tetapi hanya mengasumsikan bahwa data tersebut adalah sampel acak dari distribusi mana pun , prosedur itu non-parametrik.

— whuber

Model parametrik dapat dihasilkan menggunakan persamaan, seperti model regresi logistik, $logodds(G)=int + ax_1 + bx_2 + ...$ . Model non-parametrik adalah algoritma kotak hitam seperti hutan acak, pohon keputusan. Tidak ada persamaan yang dapat menggambarkan hubungan atribut di belakang model.

— Cali
sumber

Saya juga bisa menulis persamaan untuk metode estimasi kernel, yang non-parametrik.

— HelloWorld

salah - Anda dapat menulis persamaan eksplisit dan sederhana untuk mean prediktif dan varians prediktif Proses Gaussian, yang merupakan salah satu metode regresi nonparametrik yang paling umum, dan untuk banyak metode regresi nonparametrik lainnya.

— DeltaIV