Apakah model pembelajaran yang mendalam bersifat parametrik? Atau non-parametrik?

Saya tidak berpikir ada satu jawaban untuk semua model pembelajaran yang mendalam. Yang model pembelajarannya dalam adalah parametrik dan mana yang non-parametrik dan mengapa?

Model pembelajaran dalam umumnya parametrik - sebenarnya mereka memiliki sejumlah besar parameter, satu untuk setiap bobot yang disetel selama pelatihan.

Karena jumlah bobot umumnya tetap konstan, secara teknis mereka memiliki derajat kebebasan yang tetap. Namun, karena ada begitu banyak parameter, mereka mungkin terlihat meniru non-parametrik.

Proses Gaussian (misalnya) menggunakan masing-masing pengamatan sebagai bobot baru dan karena jumlah titik menuju tak terbatas demikian juga jumlah bobot (jangan dikacaukan dengan parameter hiper).

Saya katakan secara umum karena ada begitu banyak rasa yang berbeda dari masing-masing model. Misalnya dokter berpangkat rendah memiliki jumlah parameter terbatas yang disimpulkan oleh data dan saya yakin seseorang telah membuat beberapa jenis dnn non-parametrik di beberapa kelompok penelitian!

Standar jaringan saraf dalam (DNN), secara teknis, parametrik karena memiliki sejumlah parameter tetap. Namun, sebagian besar DNNs memiliki begitu banyak parameter yang mereka bisa ditafsirkan sebagai nonparametrik ; telah terbukti bahwa dalam batas lebar tak terbatas, jaringan saraf yang dalam dapat dilihat sebagai proses Gaussian (GP), yang merupakan model nonparametrik [Lee et al., 2018].

Namun demikian, mari kita secara ketat menafsirkan DNN sebagai parametrik untuk sisa jawaban ini.

Beberapa contoh model pembelajaran mendalam parametrik adalah:

• Jaringan autoregresif dalam (DARN)
• Jaringan kepercayaan Sigmoid (SBN)
• Jaringan saraf berulang (RNN), Pixel CNN / RNN
• Variational autoencoder (VAE), model Gaussian laten dalam lainnya misalnya DRAW

Beberapa contoh model pembelajaran nonparametrik adalah:

• Proses Deep Gaussian (GPs)
• GP berulang
• Negara ruang GP
• Proses Dirichlet hirarkis
• Proses Buffet India bertingkat

Gambar dari tutorial Shakir Mohamed tentang model generatif mendalam .

Referensi:

• "Deep Neural Networks sebagai Proses Gaussian" (Lee et al., 2018)

Deutsch and Journel (1997, hlm. 16-17) berpendapat tentang sifat menyesatkan dari istilah "non-parametrik". Mereka menyarankan bahwa ≪ ... model terminologi "kaya parameter" harus dipertahankan untuk model berbasis indikator alih-alih kualifikasi tradisional tetapi menyesatkan "non-parametrik" .≫

"Parameter kaya" mungkin deskripsi yang akurat, tetapi "kaya" memiliki muatan emosional yang memberikan pandangan positif yang mungkin tidak selalu dijamin (!).

Beberapa profesor mungkin masih bertahan yang merujuk secara kolektif ke jaring saraf, hutan acak, dan sejenisnya karena semuanya "non-parametrik". Meningkat opacity dan piecewise sifat jaring saraf (terutama dengan penyebaran fungsi aktivasi ReLU) membuat mereka non-parameteric- esque .

Model pembelajaran yang mendalam tidak harus dianggap parametrik. Model parametrik didefinisikan sebagai model yang didasarkan pada asumsi a priori tentang distribusi yang menghasilkan data. Jaring yang dalam tidak membuat asumsi tentang proses pembuatan data, melainkan menggunakan sejumlah besar data untuk mempelajari fungsi yang memetakan input ke output. Pembelajaran mendalam adalah non-parametrik dengan definisi yang masuk akal.