Statistik dan Big Data

Saya berasal dari Teknik Sipil, di mana kami menggunakan Teori Nilai Ekstrim , seperti distribusi GEV untuk memprediksi nilai peristiwa tertentu, seperti Kecepatan angin terbesar , yaitu nilai 98,5% dari kecepatan angin akan lebih rendah. Pertanyaan saya adalah mengapa menggunakan distribusi nilai ekstrem seperti itu ? Bukankah lebih mudah jika …

18 quantiles  extreme-value 

Apa buku yang bagus tentang filsafat Bayesian, yang membedakan subyektivisme dengan objektivisme, menjelaskan pandangan tentang kemungkinan sebagai keadaan pengetahuan dalam statistik Bayesian, dll? Mungkin buku Savage? Pada awalnya saya pikir Berger (1986) bisa bekerja, tetapi bukan itu yang saya cari. Mencari buku seperti itu tidak cukup mengarah pada hasil yang …

18 bayesian  references  philosophical 

Katakanlah saya memiliki dua variabel acak normal standar dan yang normal bersama dengan koefisien korelasi .X 2X1X1X_1X2X2X_2rrr Apa fungsi distribusi ?max(X1,X2)max(X1,X2)\max(X_1, X_2)

18 correlation  normal-distribution  extreme-value 

Dalam literatur tingkat kesalahan keluarga (FWER) dan false discovery rate (FDR), metode tertentu untuk mengendalikan FWER atau FDR dikatakan sesuai untuk tes dependen atau independen. Sebagai contoh, dalam makalah 1979 "Prosedur Tes Multi Tolak Berurutan Sederhana", Holm menulis untuk membandingkan langkah-langkahnya Šidák metode versus langkah-langkahnya metode kontrol Bonferroni: Kesederhanaan komputasi …

18 multiple-comparisons  independence  non-independent  familywise-error  false-discovery-rate 

Situasi saya adalah sebagai berikut: Saya ingin, melalui studi Monte-Carlo, untuk membandingkan nilai dari dua tes yang berbeda untuk signifikansi statistik dari parameter yang diestimasi (nol adalah "tidak ada efek - parameter nol", dan alternatif yang tersirat adalah " parameter tidak nol "). Uji A adalah standar "uji dua sampel …

18 hypothesis-testing  p-value 

Dalam eksperimen mencicipi teh oleh RA Fisher, wanita tersebut diberitahu tentang berapa banyak cangkir susu-pertama / teh-pertama (4 untuk masing-masing dari 8 cangkir). Ini menghormati asumsi total marjinal tetap dari uji eksak Fisher. Saya membayangkan melakukan tes ini dengan teman saya, tetapi pikiran itu muncul di benak saya. Jika wanita …

18 hypothesis-testing  statistical-significance  fishers-exact  conditioning 

Untuk tesis master saya, saya sedang bekerja mengembangkan model statistik untuk transisi antara negara yang berbeda, yang didefinisikan oleh status serologis. Untuk saat ini, saya tidak akan memberikan terlalu banyak detail dalam konteks ini, karena pertanyaan saya lebih umum / teoretis. Bagaimanapun, intuisi saya adalah bahwa saya harus menggunakan Hidden …

18 machine-learning  self-study  hidden-markov-model 

Misalkan saya memiliki data dengan dua grup independen: g1.lengths <- c (112.64, 97.10, 84.18, 106.96, 98.42, 101.66) g2.lengths <- c (84.44, 82.10, 83.26, 81.02, 81.86, 86.80, 85.84, 97.08, 79.64, 83.32, 91.04, 85.92, 73.52, 85.58, 97.70, 89.72, 88.92, 103.72, 105.02, 99.48, 89.50, 81.74) group = rep (c ("g1", "g2"), c (length …

18 r  hypothesis-testing  bootstrap  small-sample  permutation-test 

Urutan penduga untuk parameter normal asimptotik jika . ( sumber ) Kami kemudian memanggil varians asimptotik dari . Jika varians ini sama dengan ikatan Cramer-Rao , kami katakan estimator / urutannya efisien secara asimptotik. θ √UnUnU_nθθ\thetavUnn−−√(Un−θ)→N(0,v)n(Un−θ)→N(0,v)\sqrt{n}(U_n - \theta) \to N(0,v)vvvUnUnU_n Pertanyaan: Mengapa kita menggunakan khususnya?n−−√n\sqrt{n} Saya tahu bahwa untuk mean …

18 estimation  asymptotics  efficiency 

Saya ingin mendeteksi perubahan dalam data deret waktu, yang biasanya memiliki bentuk yang sama. Sejauh ini saya telah bekerja dengan changepointpaket untuk R cpt.mean(), cpt.var()dan cpt.meanvar()fungsi. cpt.mean()dengan metode PELT berfungsi dengan baik ketika data biasanya tetap pada satu tingkat. Namun saya juga ingin mendeteksi perubahan saat turun. Contoh untuk perubahan, …

18 r  time-series  change-point  structural-change 

Misalkan saya memiliki sumber-sumber independen, X 1 , X 2 , . . . , X n dan saya amati m cembung campuran: Y 1nnnX1,X2,...,XnX1,X2,...,XnX_1, X_2, ..., X_nmmmY1...Ym=a11X1+a12X2+⋯+a1nXn=am1X1+am2X2+⋯+amnXnY1=a11X1+a12X2+⋯+a1nXn...Ym=am1X1+am2X2+⋯+amnXn\begin{align} Y_1 &= a_{11}X_1 + a_{12}X_2 + \cdots + a_{1n}X_n\\ ...&\\ Y_m &= a_{m1}X_1 + a_{m2}X_2 + \cdots + a_{mn}X_n \end{align} dengan untuk …

18 pca  ica 

Selama lebih dari satu tahun sekarang saya telah memberikan kelas "mencicipi statistik" selama satu jam. Setiap kali saya mendapatkan sekelompok anak yang berbeda yang datang, dan saya memberi mereka kelas. Tema kelas ini adalah kami menjalankan percobaan di mana 10 anak-anak (yang suka minum coca-cola) diberi dua cangkir (tanpa tanda), …

18 hypothesis-testing  teaching 

Katakanlah saya memiliki sampel dan sampel bootstrap dari sampel ini untuk stastitik (misalnya rata-rata). Seperti yang kita semua tahu, sampel bootstrap ini memperkirakan pada distribusi sampling dari penaksir statistik.χχ\chi Sekarang, apakah rata-rata sampel bootstrap ini merupakan estimasi yang lebih baik dari statistik populasi daripada statistik sampel asli ? Dalam kondisi …

18 estimation  bootstrap 

Apa yang dimaksud dengan pernyataan bahwa kurtosis dari distribusi normal adalah 3. Apakah itu berarti bahwa pada garis horizontal, nilai 3 sesuai dengan probabilitas puncak, yaitu 3 adalah mode sistem? Ketika saya melihat kurva normal, sepertinya puncaknya terjadi di tengah, alias di 0. Jadi mengapa kurtosisnya bukan 0 dan sebaliknya …

18 normal-distribution  moments  kurtosis 

Dari setiap algoritma pengambilan sampel generik, seseorang dapat memperoleh suatu algoritma optimasi. Memang, untuk memaksimalkan fungsi sewenang-wenang , cukup untuk mengambil sampel dari . Untuk cukup kecil, sampel-sampel ini akan mendekati maksimum global (atau maksimum lokal dalam praktik) dari fungsi .g ∼ e f / T T ff: x → …

18 sampling  optimization