Apa yang tersembunyi dan apa yang diamati
Benda yang disembunyikan dalam model Markov tersembunyi sama dengan benda yang disembunyikan dalam model campuran diskrit, jadi untuk kejelasan, lupakan dinamika keadaan tersembunyi dan tempel dengan model campuran hingga sebagai contoh. 'Keadaan' dalam model ini adalah identitas komponen yang menyebabkan setiap pengamatan. Dalam kelas model ini penyebab seperti itu tidak pernah diamati, jadi 'penyebab tersembunyi' diterjemahkan secara statistik ke dalam klaim bahwa data yang diamati memiliki dependensi marginal yang dihapus ketika komponen sumber diketahui. Dan komponen sumber diperkirakan menjadi apa pun yang membuat hubungan statistik ini benar.
Hal yang disembunyikan dalam jaringan saraf multilayer feedforward dengan unit menengah sigmoid adalah keadaan unit-unit itu, bukan output yang menjadi target inferensi. Ketika output dari jaringan adalah klasifikasi, yaitu, distribusi probabilitas atas kategori output yang mungkin, nilai-nilai unit tersembunyi ini menentukan ruang di mana kategori dapat dipisahkan. Trik dalam mempelajari model seperti itu adalah membuat ruang tersembunyi (dengan menyesuaikan pemetaan dari unit input) di mana masalahnya linier. Akibatnya, batas keputusan non-linear dimungkinkan dari sistem secara keseluruhan.
Generatif versus diskriminatif
Model campuran (dan HMM) adalah model dari proses menghasilkan data, kadang-kadang disebut model kemungkinan atau 'forward model'. Ketika digabungkan dengan beberapa asumsi tentang probabilitas sebelumnya dari masing-masing negara, Anda dapat menyimpulkan distribusi atas nilai yang mungkin dari negara tersembunyi menggunakan teorema Bayes (pendekatan generatif). Perhatikan bahwa, ketika disebut 'prior', baik prior dan parameter dalam kemungkinan biasanya dipelajari dari data.
Berbeda dengan model campuran (dan HMM) jaringan saraf mempelajari distribusi posterior atas kategori output secara langsung (pendekatan diskriminatif). Ini dimungkinkan karena nilai output diamati selama estimasi. Dan karena mereka diamati, tidak perlu untuk membangun distribusi posterior dari model sebelumnya dan khusus untuk kemungkinan seperti campuran. Posterior dipelajari langsung dari data, yang lebih efisien dan tidak terlalu bergantung pada model.
Padu dan padu
Untuk membuat segalanya lebih membingungkan, pendekatan ini dapat dicampur bersama, misalnya ketika model campuran (atau HMM) kadang-kadang benar-benar diamati. Ketika itu benar, dan dalam beberapa keadaan lain yang tidak relevan di sini, dimungkinkan untuk melatih secara diskriminatif dalam model generatif yang sebaliknya. Demikian pula dimungkinkan untuk mengganti pemetaan model campuran HMM dengan model maju yang lebih fleksibel, misalnya, jaringan saraf.
Pertanyaan-pertanyaan
Jadi tidak sepenuhnya benar bahwa kedua model memprediksi kondisi tersembunyi. HMM dapat digunakan untuk memprediksi keadaan tersembunyi, meskipun hanya dari jenis yang diharapkan model maju. Jaringan saraf dapat digunakan untuk memprediksi keadaan yang belum teramati , misalnya keadaan di masa depan yang tersedia prediksi. Negara semacam ini pada prinsipnya tidak tersembunyi, hanya saja belum diamati.
Kapan Anda akan menggunakan yang satu daripada yang lain? Ya, jaringan saraf membuat model deret waktu yang agak aneh dalam pengalaman saya. Mereka juga menganggap Anda telah mengamati output. HMM tidak tetapi Anda tidak benar-benar memiliki kontrol apa sebenarnya negara tersembunyi itu. Namun demikian mereka adalah model deret waktu yang tepat.