Inferensi vs estimasi?

Apa perbedaan antara "inferensi" dan "estimasi" di bawah konteks pembelajaran mesin ?

Sebagai seorang pemula, saya merasa bahwa kita menyimpulkan variabel acak dan memperkirakan parameter model. Apakah pemahaman saya ini benar?

Jika tidak, apa perbedaan sebenarnya, dan kapan saya harus menggunakan yang mana?

Juga, yang mana adalah sinonim dari "belajar"?

Kesimpulan statistik dibuat dari seluruh kumpulan kesimpulan yang dapat diambil dari dataset yang diberikan dan model hipotetis terkait, termasuk kesesuaian model tersebut. Mengutip dari Wikipedia ,

Inferensi adalah tindakan atau proses untuk memperoleh kesimpulan logis dari premis-premis yang diketahui atau dianggap benar.

dan,

Kesimpulan statistik menggunakan matematika untuk menarik kesimpulan dengan adanya ketidakpastian.

Estimasi hanyalah satu aspek inferensi di mana seseorang menggantikan parameter yang tidak diketahui (terkait dengan model hipotetis yang menghasilkan data) dengan solusi optimal berdasarkan data (dan mungkin informasi sebelumnya tentang parameter tersebut). Itu harus selalu dikaitkan dengan evaluasi ketidakpastian estimasi yang dilaporkan, evaluasi yang merupakan bagian integral dari kesimpulan.

Kemungkinan maksimum adalah salah satu contoh estimasi, tetapi tidak mencakup keseluruhan inferensi. Sebaliknya, analisis Bayesian menawarkan mesin inferensi lengkap.

Sementara estimasi semata-mata bertujuan untuk menghasilkan nilai-nilai parameter yang tidak diketahui (misalnya, koefisien dalam regresi logistik, atau dalam hyperplane pemisah dalam mesin vektor dukungan), inferensi statistik mencoba untuk melampirkan ukuran ketidakpastian dan / atau pernyataan probabilitas untuk nilai-nilai parameter (kesalahan standar dan interval kepercayaan). Jika model yang diasumsikan ahli statistik kira-kira benar, maka asalkan data yang masuk baru terus sesuai dengan model itu, pernyataan ketidakpastian mungkin memiliki beberapa kebenaran di dalamnya, dan memberikan ukuran seberapa sering Anda akan membuat kesalahan dalam menggunakan model untuk membuat keputusan Anda.

Sumber pernyataan probabilitas ada dua. Kadang-kadang, seseorang dapat mengasumsikan distribusi probabilitas yang mendasari apa pun yang Anda ukur, dan dengan beberapa ilmu matematika (integrasi multivariat dari distribusi Gaussian, dll.), Memperoleh distribusi probabilitas hasil (rata-rata sampel dari data Gaussian itu sendiri Gaussian ). Konjugasi prior dalam statistik Bayesian termasuk dalam kategori santet itu. Di lain waktu, seseorang harus bergantung pada hasil asimtotik (sampel besar) yang menyatakan bahwa dalam sampel yang cukup besar, segala sesuatu terikat untuk berperilaku dengan cara tertentu (Teorema Batas Pusat: mean sampel data dari data yang sesuai dengan mean dan varians kira-kira Gaussian dengan mean dan variansσ 2 μ σ 2 /$\mu$$\sigma^2$$\mu$$\sigma^2/n$ terlepas dari bentuk distribusi data asli).

Yang paling dekat dengan pembelajaran mesin adalah validasi silang ketika sampel dipisah menjadi bagian pelatihan dan validasi, dengan yang terakhir secara efektif mengatakan, "jika data baru terlihat seperti data lama, tetapi sama sekali tidak terkait dengan data yang digunakan dalam mengatur model saya, maka ukuran realistis dari tingkat kesalahan adalah ini dan itu ". Ini diturunkan sepenuhnya secara empiris dengan menjalankan model yang sama pada data, daripada mencoba menyimpulkan sifat-sifat model dengan membuat asumsi statistik dan melibatkan setiap hasil matematika seperti CLT di atas. Bisa dibilang, ini lebih jujur, tetapi karena menggunakan lebih sedikit informasi, dan karenanya memerlukan ukuran sampel yang lebih besar. Juga, secara implisit mengasumsikan bahwa proses tidak berubah,

Sementara frasa "menyimpulkan posterior" mungkin masuk akal (saya bukan Bayesian, saya tidak dapat benar-benar tahu apa istilah yang diterima), saya tidak berpikir ada banyak yang terlibat dalam membuat asumsi dalam langkah inferensial itu. Semua asumsi Bayesian adalah (1) dalam model prior dan (2) dalam model yang diasumsikan, dan begitu mereka diatur, posterior mengikuti secara otomatis (setidaknya dalam teori melalui teorema Bayes; langkah-langkah praktis mungkin sangat rumit, dan Sipps Gambling ... permisi, pengambilan sampel Gibbs mungkin komponen yang relatif mudah untuk sampai ke posterior itu). Jika "menyimpulkan posterior" mengacu pada (1) + (2), maka itu adalah rasa dari kesimpulan statistik kepada saya. Jika (1) dan (2) dinyatakan secara terpisah, dan kemudian "menyimpulkan posterior" adalah sesuatu yang lain, maka saya tidak

Misalkan Anda memiliki sampel populasi yang representatif.

Kesimpulannya adalah ketika Anda menggunakan sampel itu untuk memperkirakan model dan menyatakan bahwa hasilnya dapat diperluas ke seluruh populasi, dengan akurasi tertentu. Membuat inferensi berarti membuat asumsi pada populasi hanya menggunakan sampel yang representatif.

Estimasi adalah ketika Anda memilih model yang sesuai dengan sampel data Anda dan menghitung dengan presisi tertentu yang menjadi parameter model. Ini disebut estimasi karena Anda tidak akan pernah bisa menghitung nilai sebenarnya dari parameter karena Anda hanya memiliki sampel data, dan bukan seluruh populasi.

Ini adalah upaya untuk memberikan jawaban bagi siapa pun tanpa latar belakang statistik. Bagi mereka yang tertarik pada detail lebih lanjut, ada banyak referensi yang bermanfaat ( seperti yang ini misalnya ) pada subjek.

Jawaban singkat:

Estimasi temukan nilai yang tidak diketahui (perkiraan) untuk subjek yang menarik$->$

Statistik Inferensi menggunakan distribusi probabilitas subjek yang menarik untuk membuat kesimpulan probabilistik$->$

Jawaban panjang:

Istilah "estimasi" sering digunakan untuk menggambarkan proses menemukan estimasi untuk nilai yang tidak diketahui, sementara "inferensi" sering merujuk pada inferensi statistik, sebuah proses menemukan distribusi (atau karakteristik) variabel acak dan menggunakannya untuk menarik kesimpulan.

Pikirkan tentang menjawab pertanyaan: Berapa tinggi rata-rata orang di negara saya?

Jika Anda memutuskan untuk menemukan perkiraan, Anda bisa berkeliling selama beberapa hari dan mengukur orang asing yang Anda temui di jalan (membuat sampel) dan kemudian menghitung perkiraan Anda misalnya sebagai rata-rata sampel Anda. Anda baru saja melakukan estimasi!

Di sisi lain, Anda mungkin ingin menemukan lebih dari perkiraan, yang Anda tahu adalah angka tunggal dan pasti salah. Anda dapat mencoba menjawab pertanyaan dengan keyakinan tertentu, seperti: Saya 99% yakin bahwa tinggi rata-rata seseorang di negara saya adalah antara 1,60m dan 1,90m.

Untuk membuat klaim seperti itu, Anda perlu memperkirakan distribusi tinggi orang yang Anda temui dan membuat kesimpulan berdasarkan pengetahuan ini - yang merupakan dasar kesimpulan statistik.

Hal penting yang perlu diingat (seperti yang ditunjukkan dalam jawaban Xi'an) adalah menemukan penaksir adalah bagian dari kesimpulan statistik.

Nah, ada orang-orang dari berbagai disiplin ilmu saat ini yang membuat karir mereka di bidang ML, dan kemungkinan mereka berbicara dengan dialek yang sedikit berbeda.

Namun, istilah apa pun yang mereka gunakan, konsep di belakang berbeda. Jadi, penting untuk menjelaskan konsep-konsep ini, dan kemudian menerjemahkan dialek-dialek itu dengan cara yang Anda sukai.

Misalnya.

Dalam PRML oleh Bishop,

tahap inferensi di mana kami menggunakan data pelatihan untuk mempelajari model untuk$p(C_k|x)$

Jadi sepertinya di sini Inference= Learning=Estimation

Tetapi dalam materi lain, inferensi mungkin berbeda dari estimasi, di mana inferenceberarti predictionsementara estimationberarti prosedur pembelajaran parameter.

Dalam konteks pembelajaran mesin, inferensi mengacu pada tindakan menemukan pengaturan variabel laten (tersembunyi) yang diberikan pengamatan Anda. Ini juga termasuk menentukan distribusi posterior variabel laten Anda. Estimasi tampaknya dikaitkan dengan "estimasi titik", yaitu menentukan parameter model Anda. Contohnya termasuk estimasi kemungkinan maksimum. Dalam maksimalisasi ekspektasi (EM), pada langkah E, Anda melakukan inferensi. Pada langkah M, Anda melakukan estimasi parameter.

Saya pikir saya mendengar orang mengatakan "menyimpulkan distribusi posterior" lebih dari "memperkirakan distribusi posterior". Yang terakhir tidak digunakan dalam inferensi yang tepat seperti biasa. Ini digunakan, misalnya, dalam propagasi ekspektasi atau Bayes variasional, di mana menyimpulkan posterior yang tepat tidak bisa dilakukan dan asumsi tambahan pada posterior harus dibuat. Dalam hal ini, posterior yang disimpulkan adalah perkiraan. Orang mungkin mengatakan "perkiraan posterior" atau "estimasi posterior".

Semua ini hanya pendapat saya saja. Itu bukan aturan.

Saya ingin menambahkan jawaban orang lain dengan memperluas pada bagian "inferensi". Dalam konteks pembelajaran mesin, aspek inferensi yang menarik adalah memperkirakan ketidakpastian. Ini umumnya rumit dengan algoritma ML: bagaimana Anda menempatkan standar deviasi pada label klasifikasi yang diambil oleh neural net atau pohon keputusan? Dalam statistik tradisional, asumsi distribusi memungkinkan kita melakukan matematika dan mencari cara untuk menilai ketidakpastian dalam parameter. Dalam ML, mungkin tidak ada parameter, tidak ada asumsi distribusi, atau keduanya.

Ada beberapa kemajuan yang dibuat di bidang ini, beberapa di antaranya sangat baru (lebih baru dari jawaban saat ini). Salah satu pilihan adalah, seperti yang lain telah disebutkan, analisis Bayesian di mana posterior Anda memberi Anda perkiraan ketidakpastian. Metode tipe bootstrap bagus. Stefan Wager dan Susan Athey, di Stanford, memiliki beberapa pekerjaan dari beberapa tahun terakhir yang mendapatkan kesimpulan untuk hutan acak . Secara analitis, BART adalah metode ansambel pohon Bayesian yang menghasilkan posterior yang dapat ditarik kesimpulan.