Bagaimana cara memasukkan satu set data ke distribusi Pareto di R?

Sudah, katakanlah, data berikut:

8232302  684531  116857   89724   82267   75988   63871   
  23718    1696     436     439     248     235

Ingin cara sederhana untuk menyesuaikan ini (dan beberapa set data lainnya) ke distribusi Pareto. Idealnya itu akan menghasilkan nilai teoritis yang cocok, kurang ideal parameternya.

r pareto-distribution

— Felix
sumber

cran.r-project.org/web/packages/fitdistrplus/fitdistrplus.pdf

— Stéphane Laurent

Apa yang dimaksud dengan "mencocokkan nilai-nilai teoretis"? Harapan dari statistik pesanan diberikan estimasi parameter? Atau sesuatu yang lain?

— Glen_b -Reinstate Monica

Nah, jika Anda memiliki sampel dari distribusi pareto dengan parameter dan (di mana adalah parameter batas bawah dan adalah parameter bentuk) log-kemungkinan itu sampel adalah: $X_1, ..., X_n$ $m>0$ $\alpha>0$ $m$ $\alpha$

n \log (α) + n α \log (m) - (α + 1) \sum_{i = 1}^{n} \log (X_{i})

$n \log(\alpha) + n \alpha \log(m) - (\alpha+1) \sum_{i=1}^{n} \log(X_i)$

ini adalah peningkatan monoton dalam , sehingga maximizer adalah nilai terbesar yang konsisten dengan data yang diamati. Karena parameter mendefinisikan batas bawah dukungan untuk distribusi Pareto, maka yang optimal adalah $m$ $m$

\hat{m} = min_{i} X_{i}

$\hat{m} = \min_{i} X_i$

yang tidak bergantung pada . Selanjutnya, menggunakan trik kalkulus biasa, MLE untuk harus dipenuhi $\alpha$ $\alpha$

\frac{n}{α} + n \log (\hat{m}) - \sum_{i = 1}^{n} \log (X_{i}) = 0

$\frac{n}{\alpha} + n \log( \hat{m} ) - \sum_{i=1}^{n} \log(X_i) = 0$

beberapa aljabar sederhana memberitahu kita MLE dari adalah $\alpha$

\hat{α} = \frac{n}{\sum_{i = 1}^{n} \log (X_{i} / \hat{m})}

$\hat{\alpha} = \frac{n}{\sum_{i=1}^{n} \log(X_i/\hat{m})}$

Dalam banyak hal penting (misalnya efisiensi asimptotik optimal karena mencapai batas bawah Cramer-Rao), ini adalah cara terbaik untuk menyesuaikan data ke distribusi Pareto. Kode R di bawah ini menghitung MLE untuk set data yang diberikan X,.

pareto.MLE <- function(X)
{
   n <- length(X)
   m <- min(X)
   a <- n/sum(log(X)-log(m))
   return( c(m,a) ) 
}

# example. 
library(VGAM)
set.seed(1)
z = rpareto(1000, 1, 5) 
pareto.MLE(z)
[1] 1.000014 5.065213

Sunting: Berdasarkan komentar oleh @cardinal dan I di bawah ini, kami juga dapat mencatat bahwa adalah kebalikan dari mean sampel dari , yang kebetulan memiliki distribusi eksponensial. Oleh karena itu, jika kita memiliki akses ke perangkat lunak yang sesuai dengan distribusi eksponensial (yang lebih mungkin, karena tampaknya muncul dalam banyak masalah statistik), maka pemasangan distribusi Pareto dapat dilakukan dengan mengubah kumpulan data dengan cara ini dan memasangnya. ke distribusi eksponensial pada skala transformasi. $\hat{\alpha}$ $\log(X_i /\hat{m})$

— Makro
sumber

(+1) Kita dapat menulis hal-hal sedikit lebih sugestif dengan mencatat bahwa didistribusikan eksponensial dengan laju . dari ini dan invariansi MLEs yang sedang dalam transformasi kami menyimpulkan sekaligus bahwa , di mana kami mengganti oleh dalam ekspresi terakhir. Ini juga mengisyaratkan bagaimana kita dapat menggunakan perangkat lunak standar agar sesuai dengan Pareto bahkan jika tidak ada opsi eksplisit yang tersedia.

Y_{i} = \log (X_{i} / m)

$Y_i = \log(X_i/m)$

α

$\alpha$

\hat{α} = 1 / \bar{Y}

$\hat\alpha = 1/\bar Y$

m

$m$

\hat{m}

$\hat m$

— kardinal

@ cardinal - Jadi, adalah kebalikan dari mean sampel dari , yang kebetulan memiliki distribusi eksponensial. Bagaimana ini membantu kita?

\hat{α}

$\hat{\alpha}$

\log (X_{i} / \hat{m})

$\log(X_i/\hat{m})$

— Makro

Hai, Makro. Poin yang saya coba sampaikan adalah bahwa masalah estimasi parameter Pareto dapat (pada dasarnya) dikurangi menjadi estimasi tingkat eksponensial: Melalui transformasi di atas, kita dapat mengubah data dan masalah kita menjadi (mungkin) yang lebih akrab dan segera mengekstrak jawabannya (dengan asumsi kami, atau perangkat lunak kami, sudah tahu apa yang harus dilakukan dengan sampel eksponensial).

— kardinal

Bagaimana saya bisa mengukur kesalahan jenis ini?

— emanuele

@emanuele, perkiraan varian MLE adalah kebalikan dari matriks informasi fisher, yang akan mengharuskan Anda untuk menghitung setidaknya satu turunan dari log-likelihood. Atau, Anda bisa menggunakan semacam bootstrap resampling untuk memperkirakan kesalahan standar.

— Makro

Anda dapat menggunakan fitdistfungsi yang disediakan dalam fitdistrpluspaket:

library(MASS)
library(fitdistrplus)
library(actuar)

# suppose data is in dataPar list
fp <- fitdist(dataPar, "pareto", start=list(shape = 1, scale = 500))
#the mle parameters will be stored in fp$estimate

— akashrajkn
sumber

Haruskah begitu library(fitdistrplus)?

— Sean

@Sean ya, mengedit respons yang sesuai

— Kevin L Keys

Perhatikan bahwa panggilan ke library(actuar)diperlukan agar ini berfungsi.

— jsta

Apa yang mewakili $ estimasi ["bentuk"] dalam kasus ini? Apakah itu mungkin perkiraan alfa? Atau beta?

— Albert Hendriks