Memeriksa puncak yang signifikan secara statistik

Saya punya satu set data, dan . Saya ingin menguji hipotesis berikut: Ada puncak dalam ; yaitu ketika meningkat, pertama-tama meningkat dan kemudian menurun. $y$ $x$ $y$ $x$ $y$

Ide pertama saya adalah pas dan di SLR. Yaitu, jika saya menemukan bahwa koefisien sebelum adalah positif signifikan dan koefisien sebelum adalah negatif signifikan, maka saya memiliki dukungan untuk hipotesis. Namun, ini hanya memeriksa satu jenis hubungan (kuadratik) dan mungkin belum tentu menangkap keberadaan puncak. $x$ $x^2$ $x$ $x^2$

Kemudian saya berpikir untuk menemukan , daerah seperti (diurutkan nilai-nilai) , yang adalah antara dan , dua daerah lain yang mengandung setidaknya poin sebanyak , dan bahwa dan secara signifikan. Jika hipotesis itu benar, kita harus berharap banyak daerah seperti itu . Jadi, jika jumlah cukup besar, harus ada dukungan untuk hipotesis. $b$ $x$ $b$ $a$ $c$ $x$ $b$ $\bar{y_b}>\bar{y_a}$ $\bar{y_b}>\bar{y_c}$ $b$ $b$

Apakah Anda pikir saya berada di jalur yang benar untuk menemukan tes yang sesuai untuk hipotesis saya? Atau apakah saya yang menciptakan roda dan ada metode yang sudah mapan untuk masalah ini? Saya akan sangat menghargai masukan Anda.

MEMPERBARUI. Saya tergantung variabel adalah count (integer non-negatif). $y$

regression statistical-significance curves

— Nikita Samoylov
sumber

Apakah

bervariasi lancar dengan

? Jika demikian, Anda dapat mencoba memasang model termasuk yang lebih halus (katakanlah seorang GAM) dan kemudian hitung turunan pertama dari alat yang lebih mulus dan interval kepercayaannya. Jika turunannya menandakan meningkat maka menandakan penurunan Anda punya jawaban.

y

$y$

x

$x$

— Pasang kembali Monica - G. Simpson

Jawaban:

Saya sedang memikirkan ide smoothing juga. Tetapi ada seluruh area yang disebut metodologi permukaan respon yang mencari puncak dalam data berisik (terutama melibatkan penggunaan kuadratik lokal untuk data) dan ada kertas terkenal yang saya ingat dengan "Bump hunting" pada judulnya. Berikut adalah beberapa tautan ke buku tentang metodologi permukaan respons. Buku-buku Ray Myer ditulis dengan sangat baik. Saya akan mencoba mencari kertas perburuan benjolan.

Metodologi Permukaan Tanggapan: Proses dan Optimalisasi Produk Menggunakan Eksperimen yang Dirancang

Metodologi Permukaan Respon Dan Topik Terkait

Metodologi permukaan respons

Bangunan Model Empiris dan Permukaan Respons

Meskipun bukan artikel yang saya cari, berikut adalah artikel yang sangat relevan oleh Jerry Friedman dan Nick Fisher yang membahas ide-ide ini yang diterapkan pada data dimensi tinggi.

Berikut ini adalah artikel dengan beberapa komentar online.

Jadi saya harap Anda setidaknya menghargai tanggapan saya. Saya pikir ide-ide Anda bagus dan di jalur yang benar, tetapi ya saya pikir Anda mungkin menemukan kembali roda dan saya harap Anda dan orang lain akan melihat referensi yang sangat baik ini.

— Michael R. Chernick
sumber

Saya tidak termasuk di antara downvoter, tetapi Jawaban di situs SE diharapkan lebih dari sekadar tautan ke konten. Meringkas konten atau memberikan respons ringkasan lalu menautkan ke konten untuk detail lebih lanjut akan lebih baik.

— Pasang kembali Monica - G. Simpson

Saya memilih yang ini karena (1) ini menyajikan ide yang bagus; (2) memiliki beberapa komentar; dan (3) didukung dengan beberapa tautan yang dipilih dengan cermat, termasuk materi yang tersedia secara bebas. Ya, itu terlihat buruk secara tipografi, karena tautannya dapat diformat dengan lebih baik: tetapi saya harap orang-orang tidak terlalu mempertimbangkan aspek jawaban itu dalam keputusan pemilihan mereka!

— whuber

@whuber Saya setuju setelah bisa membacanya dengan jelas karena format Procastinator yang bagus. +1 juga. Saya pikir ada ringkasan yang cukup di sini dan beberapa topik hampir terlalu rumit untuk apa pun selain ide mendasar dan referensi untuk bacaan lebih lanjut.

— Erik

@MichaelChernick Note yang bukan kritik dari saya, hanya menawarkan alasan mengapa orang mungkin memilih. Saya akan tidak setuju dengan mereka jika itu alasannya karena saya pikir jawaban Anda tepat, terutama dengan PRIM; Saya baru saja berkonsultasi dengan Hastie et al (2009) tentang apa yang tertulis di PRIM. Anda mungkin ingin menambahkan tautan itu ke Jawaban karena ada dua bagian pada PRIM di sana dan PDF tersedia secara gratis.

— Pasang kembali Monica - G. Simpson

@Nikita Apa hipotesis statistik formal yang ingin Anda uji? Pertama, Anda harus menemukan puncak yang merupakan bagian besar dari ini. Apakah Anda menguji bahwa puncaknya bukan hanya akibat kebisingan? Saya tidak yakin literatur apa yang ada untuk menyelesaikan masalah ini, tetapi saya berpikir bahwa Anda bisa memasukkan regresi polinomial ke data (mungkin kuadratik secara lokal). Dari situ Anda akan memiliki perkiraan varians residual. Signifikansi statistik dari istilah kuadratik akan menjadi ujian untuk signifikansi puncak.

— Michael R. Chernick

Meskipun Anda belum menjawab pertanyaan saya, jika dugaan saya benar, Anda mencari tes white noise yang ada dalam domain frekuensi untuk menunjukkan bahwa spektrumnya datar. Jadi uji periodogram Fisher yang dalam referensi ini disebut Fisher's kappa dapat digunakan. Lihat tautannya.

http://www4.stat.ncsu.edu/~dickey/Spain/pdf_Notes/Spectral2.pdf

Tes Bartlett juga disebutkan dalam referensi. Sekarang menolak jumlah hipotesis nol untuk menemukan puncak yang signifikan dalam periodogram. Ini berarti bahwa komponen periodik ada dalam deret waktu.

Karena tes ini dalam domain frekuensi dan melibatkan ordinat periodogram, ordinat memiliki distribusi chi square 2 di bawah hipotesis nol dan independen. Distribusi khusus ini terjadi hanya karena transformasi ke domain frekuensi. Jika x adalah waktu, ini tidak akan bekerja dalam domain waktu atau secara umum distribusi untuk ys tidak akan menjadi chi square independen.

$_m$

— Michael R. Chernick
sumber

y

$y$

Jadi y adalah menghitung data dan apa yang xa variabel penjelas kontinu? Saran saya sebelumnya mungkin tidak dalam kasus itu tetapi ada banyak literatur terbaru tentang model penghitungan. Jadi jika Anda bisa sedikit lebih spesifik tentang data dan masalahnya mungkin saya bisa menunjukkan solusi.

— Michael R. Chernick

y

$y$

x

$x$

Saya tidak yakin apakah ini akan membantu atau tidak, tetapi Cameron dan Trivedi menerbitkan sebuah buku tentang model regresi jumlah dan memiliki edisi kedua yang keluar pada tahun 2013. Berikut adalah tautan dengan beberapa informasi: cameron.econ.uconvis.ucdavis.edu/racd/count .html

— Michael R. Chernick