Bagaimana cara menentukan kemungkinan secara ketat?

Kemungkinan dapat didefinisikan dengan beberapa cara, misalnya:

fungsi dari yang memetakan untuk yaitu . $L$ $\Theta\times{\cal X}$ $(\theta,x)$ $L(\theta \mid x)$ $L:\Theta\times{\cal X} \rightarrow \mathbb{R}$
fungsi acak $L(\cdot \mid X)$
kita juga dapat mempertimbangkan bahwa kemungkinan hanya kemungkinan "teramati" $L(\cdot \mid x^{\text{obs}})$
dalam praktiknya kemungkinan membawa informasi pada hanya hingga konstanta multiplikasi, maka kita dapat mempertimbangkan kemungkinan sebagai kelas fungsi ekivalensi daripada fungsi $\theta$

Pertanyaan lain muncul ketika mempertimbangkan perubahan parametrization: jika adalah parameterisasi baru yang biasanya kita tunjukkan dengan kemungkinan pada dan ini bukan evaluasi dari fungsi sebelumnya pada tetapi pada . Ini adalah notasi yang kasar tetapi bermanfaat yang dapat menyebabkan kesulitan bagi pemula jika tidak ditekankan. $\phi=\theta^2$ $L(\phi \mid x)$ $\phi$ $L(\cdot \mid x)$ $\theta^2$ $\sqrt{\phi}$

Apa definisi ketat favorit Anda tentang kemungkinan?

Selain itu bagaimana Anda memanggil ? Saya biasanya mengatakan sesuatu seperti "kemungkinan pada ketika diamati". $L(\theta \mid x)$ $\theta$ $x$

EDIT: Mengingat beberapa komentar di bawah ini, saya menyadari saya harus mengawali konteksnya. Saya menganggap model statistik yang diberikan oleh keluarga parametrik dari kepadatan sehubungan dengan beberapa ukuran yang mendominasi, dengan masing-masing didefinisikan pada ruang observasi . Karenanya kita mendefinisikan dan pertanyaannya adalah "apa itu ?" (pertanyaannya bukan tentang definisi umum kemungkinan) $\{f(\cdot \mid \theta), \theta \in \Theta\}$ $f(\cdot \mid \theta)$ ${\cal X}$ $L(\theta \mid x)=f(x \mid \theta)$ $L$

— Stéphane Laurent
sumber

(1) Karena untuk semua , saya percaya bahkan konstanta dalam didefinisikan. (2) Jika Anda menganggap parameter seperti dan hanya sebagai koordinat untuk berbagai distribusi, maka perubahan parameterisasi tidak memiliki makna matematika intrinsik; itu hanyalah perubahan deskripsi. (3) pembicara asli bahasa Inggris akan lebih alami mengatakan "kemungkinan dari " daripada "pada." (4) Klausa "ketika diamati" memiliki kesulitan filosofis, karena sebagian besar tidak akan pernah diamati. Mengapa tidak mengatakan saja "kemungkinan diberikan

∫L(θ|x)dx=1 $\int L(\theta|x)dx = 1$

θ $\theta$

L $L$

ϕ $\phi$

θ $\theta$

x $x$

θ $\theta$

x $x$ "?

— whuber

@whuber: Untuk (1), saya tidak berpikir konstanta didefinisikan dengan baik. Lihat buku ET Jaynes di mana ia menulis: "bahwa kemungkinan bukanlah kemungkinan karena normalisasi itu sewenang-wenang."

— Neil G

Anda tampaknya membingungkan dua jenis normalisasi, Neil: Jaynes mengacu pada normalisasi dengan integrasi lebih dari , bukan .

θ $\theta$

x $x$

— whuber

@whuber: Saya tidak berpikir faktor penskalaan akan berpengaruh bagi ikatan Cramer-Rao karena mengubah menambah jumlah konstan pada kemungkinan log, yang kemudian menghilang ketika turunan parsial diambil.

k $k$

— Neil G

Saya setuju dengan Neil, saya tidak melihat aplikasi apa pun di mana konstanta memainkan peran

— Stéphane Laurent

Jawaban:

Item ketiga Anda adalah yang saya lihat paling sering digunakan sebagai definisi yang ketat.

Yang lain juga menarik (+1). Khususnya yang pertama menarik, dengan kesulitan bahwa ukuran sampel belum (belum) didefinisikan, lebih sulit untuk mendefinisikan set "dari".

Bagi saya, intuisi mendasar dari kemungkinan adalah bahwa itu adalah fungsi dari model + parameternya, bukan fungsi dari variabel acak (juga merupakan poin penting untuk tujuan pengajaran). Jadi saya akan tetap pada definisi ketiga.

Sumber penyalahgunaan notasi adalah bahwa set "dari" kemungkinan adalah implisit, yang biasanya tidak berlaku untuk fungsi yang didefinisikan dengan baik. Di sini, pendekatan yang paling ketat adalah menyadari bahwa setelah transformasi, kemungkinan berhubungan dengan model lain. Ini setara dengan yang pertama, tetapi masih model lain. Jadi notasi kemungkinan harus menunjukkan model mana yang dirujuknya (dengan subskrip atau lainnya). Tentu saja saya tidak pernah melakukannya, tetapi untuk mengajar, saya mungkin melakukannya.

Akhirnya, agar konsisten dengan jawaban saya sebelumnya, saya mengatakan "kemungkinan " dalam formula terakhir Anda. $\theta$

— gui11aume
sumber

Terima kasih. Dan apa saran Anda tentang persamaan hingga konstanta multiplikasi?

— Stéphane Laurent

Secara pribadi saya lebih suka menyebutnya ketika dibutuhkan daripada kode keras dalam definisi. Dan berpikir bahwa untuk pemilihan model / perbandingan, persamaan 'up-to-a-multiplicative-constant' ini tidak berlaku.

— gui11aume

Baik. Mengenai nama, Anda dapat membayangkan Anda mendiskusikan tentang kemungkinan dan untuk dua pengamatan yang memungkinkan. Dalam kasus seperti itu, apakah Anda akan mengatakan "kemungkinan ketika diamati", atau "kemungkinan untuk pengamatan ", atau sesuatu yang lain?

L(θ∣x1) $L(\theta\mid x_1)$

L(θ∣x2) $L(\theta\mid x_2)$

θ $\theta$

x1 $x_1$

θ $\theta$

x1 $x_1$

— Stéphane Laurent

Jika Anda melakukan parametrik ulang model Anda dengan Anda benar-benar menghitung kemungkinan sebagai komposisi fungsi mana . Dalam kasus ini, beralih dari ke sehingga himpunan definisi (disebut sebagai "dari" himpunan) dari kemungkinan tidak lagi sama. Anda dapat memanggil fungsi pertama Dan kedua Karena keduanya bukan fungsi yang sama.

ϕ=θ2 $\phi = \theta^2$

L(.|x)∘g(.) $L(.|x) \circ g(.)$

g(y)=y2 $g(y) = y^2$

g $g$

R $R$

R+ $R^+$

L1(.|) $L_1(.|)$

L2(.|) $L_2(.|)$

— gui11aume

Bagaimana definisi ketiga sangat ketat? Dan apa masalah dengan ukuran sampel yang tidak ditentukan? Karena kita mengatakan , yang secara alami menghadirkan aljabar sigma yang sesuai untuk ruang sampel , mengapa kita tidak dapat memiliki definisi paralel untuk kemungkinan?

P(x1,x2,…,xn∣θ) $P(x_1, x_2, \dotsc, x_n \mid \theta)$

Ωn $\Omega^n$

— Neil G

Saya pikir saya akan menyebutnya sesuatu yang berbeda. Kemungkinan adalah densitas probabilitas untuk x diamati diberi nilai parameter dinyatakan sebagai fungsi dari untuk diberikan . Saya tidak berbagi pandangan tentang konstanta proporsionalitas. Saya pikir itu hanya berperan karena memaksimalkan fungsi monotonik dari kemungkinan memberikan solusi yang sama untuk . Jadi Anda dapat memaksimalkan untuk atau fungsi monoton lainnya seperti yang biasa dilakukan. $θ$ $θ$ $x$ $θ$ $cL(θ∣x)$ $c>0$ $\log(L(θ∣x))$

— Michael R. Chernick
sumber

Tidak hanya maksimisasi: up-to-proporsionalitas juga berperan dalam gagasan rasio kemungkinan, dan dalam formula Bayes untuk statistik Bayesian

— Stéphane Laurent

Saya pikir seseorang mungkin akan menurunkan jawaban saya. Tapi saya pikir itu cukup masuk akal untuk mendefinisikan kemungkinan dengan cara ini sebagai probabilitas definitif tanpa menyebut sesuatu yang proporsional sebagai kemungkinan. @ StéphaneLaurent pada komentar Anda tentang prior, jika fungsinya terintegrasi, ia dapat dinormalisasi menjadi kepadatan. Posterior sebanding dengan kemungkinan kali sebelumnya. Karena posterior harus dinormalisasi dengan membaginya dengan integral, kita juga dapat menentukan sebelum menjadi distribusi. Hanya dalam arti luas bahwa ini diterapkan pada prior yang tidak tepat.

— Michael R. Chernick

Saya tidak yakin mengapa seseorang akan menurunkan jawaban ini. Tampaknya Anda mencoba merespons lebih banyak pertanyaan dan pertanyaan OP daripada yang pertama. Mungkin itu tidak sepenuhnya jelas bagi pembaca lain. Tepuk tangan. :)

— kardinal

@Michael Saya tidak melihat perlunya untuk membatalkan jawaban ini juga. Mengenai prior noninformative (ini adalah diskusi lain dan) saya bermaksud untuk membuka disucssion baru tentang subjek ini. Saya tidak akan segera melakukannya, karena saya tidak mudah dengan bahasa Inggris, dan ini lebih sulit bagi saya untuk menulis "filsafat" daripada matematika.

— Stéphane Laurent

@Stephane: Jika Anda mau, silakan memposting pertanyaan Anda yang lain secara langsung dalam bahasa Prancis. Kami memiliki beberapa penutur asli bahasa Prancis di situs ini yang kemungkinan akan membantu menerjemahkan setiap bagian yang tidak Anda yakini. Ini termasuk moderator dan juga editor dari salah satu jurnal statistik berbahasa Inggris paling atas. Saya menantikan pertanyaan itu.

— kardinal

Berikut adalah upaya definisi matematis yang ketat:

Misalkan menjadi vektor acak yang menerima kepadatan sehubungan dengan beberapa ukuran pada , di mana untuk , adalah keluarga kepadatan di sehubungan dengan . Kemudian, untuk setiap kita mendefinisikan fungsi kemungkinan menjadi ; untuk kejelasan, untuk setiap kita memiliki . Seseorang dapat menganggap sebagai potensi tertentu $X: \Omega \to \mathbb R^n$ $f(x | \theta_0)$ $\nu$ $\mathbb R^n$ $\theta \in \Theta$ $\{f(x|\theta): \theta \in \Theta\}$ $\mathbb R^n$ $\nu$ $x \in \mathbb R^n$ $L(\theta | x)$ $f(x | \theta)$ $x$ $L_x : \Theta \to \mathbb R$ $x$ $x_{obs}$ dan menjadi nilai "true" dari . $\theta_0$ $\theta$

Beberapa pengamatan tentang definisi ini:

Definisi ini cukup kuat untuk menangani diskrit, kontinu, dan lainnya macam keluarga distribusi untuk . $X$
Kami mendefinisikan kemungkinan pada tingkat fungsi kepadatan bukan pada tingkat distribusi probabilitas / tindakan. Alasan untuk ini adalah bahwa kepadatan tidak unik, dan ternyata ini bukan situasi di mana seseorang dapat lolos ke kelas kesetaraan kepadatan dan masih aman: pilihan kepadatan yang berbeda menyebabkan MLE berbeda dalam kasus berkelanjutan. Namun, dalam kebanyakan kasus ada pilihan alami dari keluarga kepadatan yang diinginkan secara teoritis.
Saya suka definisi ini karena ini memasukkan variabel acak yang kami kerjakan ke dalamnya dan, dengan desain karena kami harus menetapkan mereka distribusi, kami juga telah membangun dengan seksama gagasan nilai "benar tetapi tidak diketahui" dari , di sini dilambangkan . Bagi saya, sebagai seorang siswa, tantangan untuk bersikap keras tentang kemungkinan selalu bagaimana mendamaikan konsep dunia nyata dari "benar" dan "mengamati" dengan matematika; ini sering tidak dibantu oleh instruktur yang mengklaim bahwa konsep-konsep ini tidak formal tetapi kemudian berbalik dan menggunakannya secara formal ketika membuktikan sesuatu! Jadi kami membahasnya secara formal dalam definisi ini. $\theta$ $\theta_0$ $\theta$ $x_{obs}$
EDIT: Tentu saja, kita bebas untuk mempertimbangkan elemen acak yang biasa , dan dan di bawah definisi ini tanpa masalah nyata dengan kekakuan sebagai selama Anda berhati-hati (atau bahkan jika Anda tidak melakukannya jika tingkat kekakuan itu tidak penting bagi Anda). $L(\theta | X)$ $S(\theta | X)$ $\mathcal I(\theta | X)$

— orang
sumber

@ Xi'an Let

menjadi seragam pada

. Pertimbangkan dua kerapatan

versus

. Baik

danX1,...,Xn $X_1, ..., X_n$

(0,θ) $(0, \theta)$

$f_1 (x) = \theta^{-1} I[0 < x < \theta]$

$f_2 (x) = \theta^{-1} I[0 \le x \le \theta]$

$f_1$

adalah densitas yang valid untuk

, tetapi di bawah

MLE ada dan sama dengan

sedangkan di bawahkita memilikisehingga jika Anda mengaturAnda berakhir dengan kemungkinan, dan pada kenyataannya MLE tidak ada karenatidak diperoleh untukapa pun. $f_2$

$\mathcal U(0, \theta)$

$f_2$

$\max X_i$

$f_1$

$\prod _j f_1 (x_j| \max x_i) = 0$

$\hat \theta = \max X_i$

$0$

$\sup _\theta \prod _j f_1(x | \theta)$

$\theta$

— pria

@ guy: terima kasih, saya tidak tahu tentang contoh balasan yang menarik ini.

— Xi'an

@guy Anda mengatakan bahwa tidak diperoleh untuk apa pun . Namun, supremum ini diperoleh pada beberapa titik seperti yang saya tunjukkan di bawah ini: mana . Saya mengasumsikan bahwa untuk semua . Sangat mudah untuk melihat bahwa 1. , jika ; 2. , jika . Melanjutkan ...

$\sup_\theta \prod_j f_1(x_j| \theta)$

$\theta$

$L_1(\theta;x) = \prod_{j=1}^n f_1(x_j|\theta) = \theta^{-n} \prod_{j=1}^n I\big(0 < x_j < \theta\big) = \theta^{-n}I\big(0< M < \theta\big),$

$M = \max \{x_1, \ldots, x_n\}$

$x_j > 0$

$j=1,\ldots,n$

$L_1(\theta;x) = 0$

$0<\theta \leq M$

$L_1(\theta;x) = \theta^{-n}$

$M < \theta < \infty$

— Alexandre Patriota

@ guy: melanjutkan ... Yaitu, untuk semua . Kami tidak memiliki nilai maksimum tetapi supremum itu ada dan diberikan oleh dan argumennya adalah Mungkin, asimptotik yang biasa tidak diterapkan di sini dan beberapa tol lainnya harus digunakan. Tetapi, supremum memang ada atau saya melewatkan beberapa konsep yang sangat mendasar.

$L_1(\theta;x) \in \big[0,M^{-n}\big),$

$\theta \in (0,\infty)$

$\sup_{\theta \in (0,\infty)} L_1(\theta, x) = M^{-n}$

$M = \arg\sup_{\theta \in (0,\infty)} L_1(\theta;x).$

$L_1(\theta;x)$

— Alexandre Patriota

@AlexandrePatriota Supremum ada, jelas, tetapi tidak tercapai oleh fungsinya. Saya tidak yakin apa yang dimaksud dengan notasi - tidak ada argumen yang menghasilkan karena . MLE didefinisikan sebagai setiap yang mencapai (biasanya) dan tidak ada mencapai sini. Jelas ada beberapa cara untuk mengatasinya - asimptotik yang kami inginkan mengharuskan ada kemungkinan dengan sifat ini-dan-itu, dan memang ada. Itu hanya daripada .

$\arg \sup$

$L_1(\theta; x)$

$\sup$

$L_1(\theta; M) = 0$

$\hat \theta$

$\sup$

$\hat \theta$

$\sup$

$L_2$

$L_1$

— pria