Bagaimana saya tahu metode estimasi parameter mana yang harus dipilih?

12

Ada beberapa metode untuk estimasi parameter di luar sana. MLE, UMVUE, MoM, decision-theoretic, dan lain-lain semua sepertinya memiliki kasus yang cukup logis mengapa mereka berguna untuk estimasi parameter. Apakah ada satu metode yang lebih baik daripada yang lain, atau apakah itu hanya masalah bagaimana kita mendefinisikan apa penaksir "pas terbaik" (mirip dengan bagaimana meminimalkan kesalahan ortogonal menghasilkan perkiraan yang berbeda dari pendekatan kuadrat terkecil biasa)?

— Christopher Aden
sumber

1

Klarifikasi cepat: meminimalkan kesalahan ortogonal dan bukan yang tegak lurus sebenarnya bukan keputusan strategi estimasi tetapi keputusan tentang model yang perlu diestimasi - biasanya yang mengasumsikan adanya kesalahan pengukuran dalam X daripada yang tidak. (Dan Anda bisa memperkirakan nya parameter berbagai cara juga.)

— conjugateprior

1

Saya suka ide Anda tentang strategi estimasi 'pas terbaik', tetapi apa yang paling pas? Biasanya masalahnya adalah tentang kesesuaian strategi dengan keadaan kepercayaan peneliti dalam pengetahuannya tentang berbagai asumsi parametrik yang ingin dia buat, dan tingkat kecemasan yang dia miliki tentang mereka menjadi sangat salah. Literatur ekonometrika cukup eksplisit tentang ini sebagai motivasi ML vs GMM vs Robust, dll.

— conjugateprior

12

Ada sedikit kebingungan dari dua hal di sini: metode untuk memperoleh estimator, dan kriteria untuk mengevaluasi estimator. Kemungkinan maksimum (ML) dan metode saat (MoM) adalah cara untuk mendapatkan penduga; UMVU dan teori keputusan adalah kriteria untuk mengevaluasi estimator yang berbeda begitu Anda memilikinya, tetapi mereka tidak akan memberi tahu Anda cara menurunkannya.

Dari metode untuk memperoleh estimator, ML biasanya menghasilkan estimator yang lebih efisien (yaitu varians lebih rendah) daripada MoM jika Anda tahu model di mana data Anda berasal ('proses menghasilkan data' (DGP) dalam jargon). Tetapi Kemenaker membuat lebih sedikit asumsi tentang model; seperti namanya, ini hanya menggunakan satu atau lebih momen, biasanya hanya mean atau hanya mean dan varians, sehingga terkadang lebih kuat jika Anda tidak yakin tentang DGP. Mungkin ada lebih dari satu penaksir MoM untuk masalah yang sama, sedangkan jika Anda mengetahui DGP, hanya ada satu penaksir ML.

Dari metode untuk mengevaluasi estimator, decision-theoretic tergantung pada memiliki fungsi kerugian untuk digunakan untuk menilai estimator Anda, meskipun hasilnya bisa cukup kuat untuk berbagai fungsi kerugian yang 'masuk akal'. Penduga UMVU sering tidak ada; dalam banyak kasus ada adalah tidak ada berisi estimator yang selalu memiliki varians minimum. Dan kriteria ketidakberpihakan juga kegunaan dipertanyakan, karena itu tidak berubah untuk transformasi. Misalnya, apakah Anda lebih suka penaksir yang tidak bias dari rasio odds, atau rasio odds log? Keduanya akan berbeda.

— onestop
sumber

Onestop: Ini tentu saja semangat pertanyaan yang saya tuju. Dan terima kasih atas klarifikasi antara kriteria evaluasi penduga dan metode untuk menurunkan mereka!

— Christopher Aden

Terima kasih. Saya agak terkejut tidak ada orang lain yang menyumbang - yang ditulis cukup banyak di atas kepala saya, dan saya jelas bukan ahli dalam teori estimasi.

— onestop

2

Saya menyarankan bahwa jenis penduga bergantung pada beberapa hal:

Apa konsekuensi salah estimasi? (mis. apakah kurang buruk jika estimator Anda terlalu tinggi, dibandingkan dengan terlalu rendah? atau Anda acuh tak acuh tentang arah kesalahan? jika kesalahan dua kali lebih besar, apakah ini dua kali lebih buruk? apakah itu persentase kesalahan atau kesalahan absolut itu penting? Apakah estimasi hanya langkah menengah yang diperlukan untuk prediksi? apakah perilaku sampel besar lebih atau kurang penting daripada perilaku sampel kecil?)
Apa informasi Anda sebelumnya tentang jumlah yang Anda perkirakan? (mis. bagaimana data terkait secara fungsional dengan kuantitas Anda? tahukah Anda jika kuantitas positif? diskrit? sudahkah Anda memperkirakan kuantitas ini sebelumnya? berapa banyak data yang Anda miliki? Apakah ada struktur "grup invarian" dalam data Anda?)
Perangkat lunak apa yang Anda miliki? (mis. tidak ada gunanya menyarankan MCMC jika Anda tidak memiliki perangkat lunak untuk melakukannya, atau menggunakan GLMM jika Anda tidak tahu bagaimana melakukannya.)

Dua poin pertama bersifat spesifik konteks, dan dengan memikirkan aplikasi spesifik Anda, Anda biasanya dapat mendefinisikan properti tertentu yang Anda inginkan untuk dimiliki oleh estimator Anda. Anda kemudian memilih estimator yang sebenarnya dapat Anda hitung, yang memiliki banyak properti yang Anda inginkan.

Saya pikir kurangnya konteks yang dimiliki oleh kursus pengajaran dengan estimasi, berarti bahwa kriteria "default" yang sering digunakan, sama dengan informasi sebelumnya ("default" yang paling jelas adalah Anda mengetahui distribusi sampling dari data Anda). Karena itu, beberapa metode default bagus, terutama jika Anda tidak cukup tahu tentang konteksnya. Tapi jika Anda melakukan tahu konteks, dan Anda memiliki alat untuk menggabungkan konteks itu, maka Anda harus, karena kalau tidak Anda mungkin mendapatkan hasil kontra-intuitif (karena apa yang Anda diabaikan).

Saya bukan penggemar berat MVUE sebagai aturan umum, karena Anda sering harus mengorbankan terlalu banyak varians untuk mendapatkan ketidakberpihakan. Misalnya, bayangkan Anda melemparkan anak panah ke papan permainan, dan Anda ingin memukul mata sapi. Misalkan penyimpangan maksimum dari mata-banteng adalah 6 cm untuk strategi lemparan tertentu, tetapi pusat titik panah adalah 1 cm di atas bullseye. Ini bukan MVUE, karena pusat harus di bullseye. Tetapi anggap bahwa untuk menggeser distribusi turun 1cm (rata-rata), Anda harus meningkatkan jari-jari Anda menjadi setidaknya 10cm (sehingga kesalahan maksimum sekarang 10cm, dan bukan 6cm). Ini adalah hal yang dapat terjadi dengan MVUE, kecuali variansnya sudah kecil. Misalkan saya adalah lemparan yang jauh lebih akurat, dan dapat mempersempit kesalahan saya menjadi 0,1 cm. Sekarang bias benar-benar penting, karena saya tidak akan pernah memukul bullseye!

Singkatnya, bagi saya, bias hanya penting ketika itu kecil dibandingkan dengan varians. Dan Anda biasanya hanya akan mendapatkan varians kecil ketika Anda memiliki sampel besar.

— probabilityislogic
sumber