Mengapa tepatnya regresi beta tidak dapat menangani 0s dan 1s dalam variabel respon?

Regresi beta (yaitu GLM dengan distribusi beta dan biasanya fungsi tautan log) sering direkomendasikan untuk menangani respons alias variabel dependen yang mengambil nilai antara 0 dan 1, seperti fraksi, rasio, atau probabilitas: Regresi untuk hasil (rasio atau fraksi) antara 0 dan 1 .

Namun, selalu dinyatakan bahwa regresi beta tidak dapat digunakan segera setelah variabel respons sama dengan 0 atau 1 setidaknya satu kali. Jika ya, kita perlu menggunakan model beta nol / satu inflasi, atau membuat beberapa transformasi respons, dll.: Regresi beta dari data proporsi termasuk 1 dan 0 .

Pertanyaan saya adalah: properti distribusi beta mana yang mencegah regresi beta dari berurusan dengan 0s dan 1s yang tepat, dan mengapa?

Saya menduga itu adalah bahwa dan tidak mendukung distribusi beta. Tapi untuk semua parameter bentuk dan , baik nol dan satu yang di support distribusi beta, itu hanya untuk parameter bentuk yang lebih kecil yang distribusi pergi ke infinity pada satu atau kedua sisi. Dan mungkin data sampel sedemikian rupa sehingga dan memberikan kecocokan terbaik akan berubah menjadi di atas . $0$ $1$ $\alpha>1$ $\beta>1$ $\alpha$ $\beta$ $1$

Apakah ini berarti bahwa dalam beberapa kasus satu bisa pada kenyataannya penggunaan beta regresi bahkan dengan nol / orang?

Tentu saja bahkan ketika 0 dan 1 mendukung distribusi beta, probabilitas untuk mengamati dengan tepat 0 atau 1 adalah nol. Tapi begitu juga probabilitas untuk mengamati serangkaian nilai yang diberikan yang dapat dihitung lainnya, jadi ini bukan masalah, bukan? (Lihat komentar ini oleh @Glen_b).

$\hskip{8em}$

Dalam konteks regresi beta, distribusi beta parameternya berbeda, tetapi dengan itu harus tetap didefinisikan dengan baik pada untuk semua . $\phi=\alpha+\beta>2$ $[0,1]$ $\mu$

— amuba kata Reinstate Monica
sumber

Pertanyaan menarik! Saya tidak punya jawaban selain poin yang sudah dibuat oleh Kevin Wright. Saya kira nol yang tepat dan yang dalam probabilitas adalah kasus patologis (seperti dalam regresi logistik) sehingga tidak begitu menarik karena seharusnya tidak terjadi.

— Tim

@Tim Yah, saya tidak tahu apakah mereka harus atau tidak seharusnya terjadi, tetapi mereka memang cukup sering terjadi, kalau tidak orang tidak akan bertanya tentang cara menangani 0s dan 1s dalam regresi beta, tidak akan menulis makalah tentang 0- dan-1 model beta yang digelembungkan, dll. Lagi pula, saya masih berharap jawaban yang lebih rinci daripada Kevin. Seseorang setidaknya harus menjelaskan bagaimana istilah-istilah ini dalam log-kemungkinan muncul.

— Amoeba berkata Reinstate Monica

Pembaruan: mungkin karena jika 0 dan 1 ada dalam dukungan maka PDF pada titik-titik ini sama dengan nol, artinya kemungkinan mengamati nilai-nilai ini adalah nol. Saya masih ingin melihat jawaban yang menjelaskan hal ini dengan cermat.

— Amoeba berkata Reinstate Monica

Jadi, distribusi apa yang harus digunakan seseorang ketika variabel respon mengasumsikan nilai dalam, katakanlah,

[0, \infty)

$[0, \infty)$

— Bingung

Jawaban:

Karena loglikelihood berisi dan , yang tidak terikat ketika atau . Lihat persamaan (4) dari Smithson & Verkuilen, "Pemeras Lemon yang Lebih Baik? Regresi Maksimum-Kemungkinan dengan Variabel Ketergantungan Terdistribusi Beta " (tautan langsung ke PDF ). $\log(x)$ $\log(1-x)$ $x=0$ $x=1$

— Kevin Wright
sumber

Terima kasih. Berikut adalah tautan PDF langsung ke kertas . Saya bisa melihat Persamaan itu. (4) akan rusak segera setelah

atau

, tetapi saya masih tidak mengerti mengapa ini terjadi dalam skema umum.

y_{i} = 0

$y_i=0$

y_{i} = 1

$y_i=1$

— Amoeba berkata Reinstate Monica

(+1) Amuba, lihat saja pdf: untuk setiap distribusi Beta, densitas pada

dan

adalah

atau

. Dalam kedua kasus tersebut, kemungkinan log tidak akan ditentukan. Secara ekuivalen, begitu ada satu respons

atau

, semua nilai kemungkinan hanya nol, tak terbatas, atau tak tentu dan akan ada seperangkat parameter Beta nontrivial di mana nilai minimum kemungkinan direalisasikan. Jadi perhitungan praktis dihalangi dan model tidak dapat diidentifikasi (dalam arti yang parah).

0

$0$

1

$1$

0

$0$

+ \infty

$+\infty$

0

$0$

1

$1$

— whuber

Bersama dengan komentar @ whuber (yang saya tidak perhatikan sampai sekarang), ini menjawab pertanyaan. Poin utama adalah bahwa untuk nilai parameter yang saya tanyakan,

dan

memiliki kemungkinan nol.

0

$0$

1

$1$

— Amuba mengatakan Reinstate Monica

@whuber Alasan saya bingung, adalah bahwa ada probabilitas nol untuk mengamati

tetapi ada juga probabilitas nol untuk mengamati, katakanlah,

(mari kita ambil beta dengan

untuk konkretitas). Namun demikian,

konsisten dengan model, tetapi

tidak, dan itu karena kemungkinan mengamati

bukan nol tetapi kemungkinan mengamati

adalah ...

0

$0$

0.5

$0.5$

α = β = 2

$\alpha=\beta=2$

0.5

$0.5$

0

$0$

0.5

$0.5$

0

$0$

— amoeba mengatakan Reinstate Monica

@amoeba Kemungkinannya tergantung pada kepadatan probabilitas , bukan probabilitas itu sendiri. Kadang-kadang, seseorang dapat menghindari masalah ini dengan mempertimbangkan setiap pengamatan untuk memasukkan probabilitas interval yang kecil tapi terbatas (tidak sangat kecil) (ditentukan, misalnya , dengan presisi pengukuran) atau dengan menggabungkan distribusi Beta dengan Gaussian yang sangat sempit ( yang menghilangkan kepadatan nol dan tak terbatas).

— whuber

$log(x)$ $log(1-x)$

$p$ $N$

Akibatnya, dalam pemahaman saya tentang regresi beta, 0s dan 1s akan secara intuitif sesuai dengan hasil pasti (tak terbatas).

— meduz
sumber