Saya ingin tahu tentang sifat . Adakah yang bisa mengatakan sesuatu yang intuitif tentang "Apa yang dikatakan tentang data?"
Sunting:
Terima kasih atas balasannya
Setelah mengikuti beberapa kursus hebat, saya ingin menambahkan beberapa poin:
- Ini adalah ukuran informasi, yaitu, adalah jumlah info di sepanjang arah .
- Dualitas: Karena adalah pasti positif, demikian pula , jadi mereka adalah norma-norma produk-titik, lebih tepatnya mereka adalah norma ganda satu sama lain, sehingga kami dapat memperoleh Fenchel ganda untuk masalah kuadrat terkecil yang diatur, dan melakukan maksimalisasi wrt masalah ganda. Kita dapat memilih salah satu dari mereka, tergantung pada kondisi mereka.
- Ruang Hilbert: Kolom (dan baris) dan menjangkau ruang yang sama. Jadi tidak ada keuntungan (selain itu ketika salah satu dari matriks ini dikondisikan dengan buruk) antara representasi dengan atau
- Statistik Bayesian: norma memainkan peran penting dalam statistik Bayesian. Yaitu menentukan berapa banyak informasi yang kita miliki sebelumnya, misalnya, ketika kovarians dari kepadatan sebelumnya seperti kita memiliki non-informatif (atau mungkin Jeffreys sebelumnya)
- Statistik Frequentist: Ini terkait erat dengan informasi Fisher, menggunakan ikatan Cramér-Rao. Bahkan, matriks informasi fisher (produk luar dari gradien log-kemungkinan dengan dirinya sendiri) adalah Cramér-Rao terikat, yaitu (kerucut semi-pasti positif, konsentrasi baru), konsentrasi baru ellipsoid). Jadi ketika estimator kemungkinan maksimum efisien, yaitu informasi maksimum ada dalam data, sehingga rezim frequentist optimal. Dengan kata sederhana, untuk beberapa fungsi kemungkinan (perhatikan bahwa bentuk fungsional dari kemungkinan semata-mata tergantung pada model probablistik yang diduga menghasilkan data, alias model generatif), kemungkinan maksimum adalah penduga yang efisien dan konsisten, aturan seperti bos. (maaf karena menagih berlebihan)