Statistik dan Big Data

Saya tertarik pada distribusi drawdown maksimum jalan acak: Misalkan mana . Penarikan maksimum setelah periode adalah . Sebuah makalah oleh Magdon-Ismail et. Al. memberikan distribusi untuk drawdown maksimum dari gerakan Brown dengan drift. Ungkapan ini melibatkan jumlah tak terbatas yang mencakup beberapa istilah yang hanya didefinisikan secara implisit. Saya mengalami …

9 distributions  cdf  finance  random-walk 

Beberapa paket statistik, seperti SAS, SPSS, dan R, memungkinkan Anda untuk melakukan semacam rotasi faktor setelah PCA. Mengapa rotasi diperlukan setelah PCA? Mengapa Anda menerapkan rotasi miring setelah PCA mengingat bahwa tujuan PCA adalah untuk menghasilkan dimensi ortogonal?

9 pca  factor-analysis  factor-rotation 

Saya perlu memperbarui tingkat kegagalan (diberikan sebagai deterministik) berdasarkan tingkat kegagalan baru tentang sistem yang sama (ini juga merupakan faktor deterministik). Saya membaca tentang prior konjugat dan distribusi Gamma sebagai konjugat untuk proses Poisson. Juga, saya bisa menyamakan nilai rata-rata Gamma dist. ( ) ke tingkat baru (sebagai nilai rata-rata) …

9 bayesian 

Apakah fungsi autokorelasi memiliki makna dengan deret waktu non-stasioner? Rangkaian waktu umumnya diasumsikan stasioner sebelum autokorelasi digunakan untuk tujuan pemodelan Box dan Jenkins.

9 time-series  autocorrelation  box-jenkins 

Pencarian sepintas mengungkapkan bahwa kotak Latin cukup luas digunakan dalam desain eksperimen. Selama PhD saya, saya telah mempelajari berbagai sifat teoritis kotak Latin (dari sudut pandang kombinatorik), tetapi tidak memiliki pemahaman mendalam tentang apa itu tentang kotak Latin yang membuatnya sangat cocok untuk desain eksperimental. Saya mengerti bahwa kotak Latin …

9 experiment-design 

Saya memiliki data dengan puncak ganda yang saya coba modelkan, dan ada cukup banyak tumpang tindih di antara puncak yang tidak bisa saya perlakukan secara mandiri. Histogram data mungkin terlihat seperti ini: Saya telah membuat dua model untuk ini: satu menggunakan dua distribusi Poisson, dan yang lainnya menggunakan dua distribusi …

9 modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio 

Ketika melakukan regresi linier, sering kali berguna untuk melakukan transformasi seperti transformasi log untuk variabel dependen untuk mencapai konformasi distribusi normal yang lebih baik. Seringkali juga berguna untuk memeriksa beta dari regresi untuk menilai dengan lebih baik ukuran efek / relevansi nyata dari hasil. Ini menimbulkan masalah bahwa ketika menggunakan …

9 regression  data-transformation  effect-size 

Saya cukup yakin bahwa saya memahami bagaimana integrasi Monte Carlo bekerja tetapi saya tidak memahami formulasi bagaimana itu digunakan untuk memperkirakan Pi. Saya akan mengikuti prosedur yang dijelaskan dalam slide ke 5 dari presentasi ini http://homepages.inf.ed.ac.uk/imurray2/teaching/09mlss/slides.pdf Saya mengerti langkah-langkah awal. Pi sama dengan 4 kali luas seperempat lingkaran unit. Dan …

9 monte-carlo  indicator-function 

Tes permutasi adalah tes signifikansi berdasarkan sampel permutasi yang diambil secara acak dari data asli. Contoh permutasi diambil tanpa penggantian, berbeda dengan sampel bootstrap, yang ditarik dengan penggantian. Berikut adalah contoh yang saya lakukan di R dari tes permutasi sederhana. (Komentar Anda diterima) Tes permutasi memiliki keuntungan besar. Mereka tidak …

9 confidence-interval  bootstrap  permutation-test 

Untuk pemilihan prediktor dalam regresi linier multivariat dengan prediktor yang cocok, apa metode yang tersedia untuk menemukan 'optimal' subset dari prediktor tanpa secara eksplisit menguji semua 2 p subset? Dalam 'Analisis Kelangsungan Hidup Terapan,' Hosmer & Lemeshow membuat referensi ke metode Kuk, tetapi saya tidak dapat menemukan kertas aslinya. Adakah …

9 modeling  regression  multivariable  model-selection  feature-selection 

Meskipun beberapa upaya membaca tentang bootstrap, saya tampaknya selalu menabrak dinding bata. Saya ingin tahu apakah ada yang bisa memberikan definisi bootstrap yang cukup non-teknis? Saya tahu tidak mungkin dalam forum ini untuk memberikan detail yang cukup untuk memungkinkan saya untuk memahaminya sepenuhnya, tetapi dorongan lembut ke arah yang benar …

9 nonparametric  bootstrap  intuition 

Saya mencoba untuk membangun model peramalan regresi deret waktu untuk variabel hasil, dalam jumlah dolar, dalam hal prediktor / variabel input lainnya dan kesalahan autokorelasi. Model semacam ini juga disebut model regresi dinamis. Saya perlu belajar cara mengidentifikasi fungsi transfer untuk setiap prediktor dan akan senang mendengar dari Anda tentang …

9 time-series  forecasting  dynamic-regression 

Saya memiliki dua implementasi dari algoritma genetika yang seharusnya berperilaku setara. Namun karena batasan teknis yang tidak dapat diselesaikan outputnya tidak persis sama, diberi input yang sama. Tetap saya ingin menunjukkan bahwa tidak ada perbedaan kinerja yang signifikan. Saya memiliki 20 kali berjalan dengan konfigurasi yang sama untuk masing-masing dari …

9 hypothesis-testing  genetic-algorithms 

Apa perbedaan antara memiliki sesuatu yang signifikan secara statistik (seperti perbedaan antara dua sampel) dan menyatakan jika sekelompok angka independen atau tergantung.

9 statistical-significance  independence 

Saya punya model regresi linier dengan sampel dan observasi variabel dan saya ingin tahu: Apakah variabel tertentu cukup signifikan untuk tetap dimasukkan dalam model. Apakah variabel lain (dengan pengamatan) harus dimasukkan dalam model. Statistik mana yang dapat membantu saya? Bagaimana cara mendapatkannya dengan paling efisien?

9 regression