Menghitung kemungkinan dari RMSE

Saya memiliki model untuk memprediksi lintasan (x sebagai fungsi waktu) dengan beberapa parameter. Saat ini, saya menghitung root mean square error (RMSE) antara lintasan yang diprediksi dan lintasan yang direkam secara eksperimental. Saat ini, saya meminimalkan perbedaan ini (RMSE) menggunakan simplex (fminsearch in matlab). Meskipun metode ini berfungsi untuk memberikan kecocokan yang baik, saya ingin membandingkan beberapa model yang berbeda, jadi saya pikir saya perlu menghitung kemungkinan sehingga saya dapat menggunakan estimasi kemungkinan maksimum daripada meminimalkan RMSE (dan kemudian membandingkan model menggunakan AIC atau BIC ). Apakah ada cara standar untuk melakukan ini?

maximum-likelihood curve-fitting

— Jason
sumber

Akar kesalahan kuadrat rata-rata dan kemungkinan sebenarnya terkait erat. Katakanlah Anda memiliki dataset pasangan dan Anda ingin memodelkan hubungan mereka menggunakan model . Anda memutuskan untuk meminimalkan kesalahan kuadratik $\lbrace x_i, z_i \rbrace$ $f$

\sum_{saya} {(f (x_{saya}) - z_{saya})}^{2}

$\sum_i \left(f(x_i) - z_i\right)^2$

Bukankah pilihan ini sepenuhnya sewenang-wenang? Tentu, Anda ingin menghukum perkiraan yang benar-benar salah lebih dari yang benar. Tetapi ada alasan yang sangat bagus untuk menggunakan kesalahan kuadrat.

Ingat kepadatan Gaussian: manaadalah konstanta normalisasi yang tidak kita pedulikan untuk saat ini, Mari kita asumsikan bahwa data target Andadidistribusikan menurut Gaussian. Jadi kita bisa menuliskan kemungkinan data. $\frac{1}{Z}\exp \frac{-(x - \mu)^2}{2\sigma^2}$ $Z$ $z$

L = \prod_{saya} \frac{1}{Z} \exp \frac{- (f (x_{saya}) - z_{saya})^{2}}{2 σ^{2}}

$\mathcal{L} = \prod_i \frac{1}{Z}\exp \frac{-(f(x_i) - z_i)^2}{2\sigma^2}$

Sekarang jika Anda mengambil logaritma ini ...

catatan L = \sum_{saya} \frac{- (f (x_{saya}) - z_{saya})^{2}}{2 σ^{2}} - catatan Z

$\log \mathcal{L} = \sum_i \frac{-(f(x_i) - z_i)^2}{2\sigma^2} - \log Z$

... ternyata itu sangat terkait erat dengan rms: satu-satunya perbedaan adalah beberapa istilah yang konstan, akar kuadrat dan perkalian.

Singkat cerita: Meminimalkan akar kuadrat galat setara dengan memaksimalkan kemungkinan log data.

— bayerj
sumber

Terima kasih atas penjelasan yang jelas. Jadi, jika saya ingin membandingkan dua model (non-embedded) menggunakan BIC, saya hanya bisa drop sigma ^ 2 dan istilah Z (secara efektif mengasumsikan mereka sama di seluruh model) ketika menghitung kemungkinan?

— Jason

σ

$\sigma$

σ

$\sigma$

catatan L = \sum_{saya} \frac{(f (x_{saya}) - z_{saya})^{2}}{2 σ^{2}} - catatan Z

$\log \mathcal{L} = \sum_i \frac{(f(x_i) - z_i)^2}{2\sigma^2} - \log Z$

Apakah ada tanda negatif yang hilang dalam distribusi Gaussian?

— Manoj

σ

$\sigma$