Statistik dan Big Data

Untuk variabel acak tertentu (atau populasi, atau proses stokastik), ekspektasi matematis adalah jawaban atas pertanyaan. Perkiraan titik apa yang meminimalkan kerugian kuadrat yang diharapkan? . Selain itu, ini adalah solusi optimal untuk game. Tebak realisasi berikutnya dari variabel acak (atau undian baru dari populasi), dan saya akan menghukum Anda dengan …

9 variance  standard-deviation  decision-theory  variability 

Jadi saya mencoba untuk belajar sendiri jaringan saraf (untuk aplikasi regresi, bukan mengklasifikasikan gambar kucing). Eksperimen pertama saya adalah melatih jaringan untuk mengimplementasikan filter FIR dan Discrete Fourier Transform (pelatihan pada sinyal "sebelum" dan "setelah"), karena keduanya adalah operasi linier yang dapat diimplementasikan oleh satu lapisan tanpa fungsi aktivasi. Keduanya …

9 machine-learning  neural-networks  optimization  keras  euclidean 

Diberikan dua variabel acak berkorelasi tinggi XXX dan YYY , saya ingin mengikat probabilitas bahwa perbedaan |X−Y||X−Y| |X - Y| melebihi jumlah tertentu: P(|X−Y|&gt;K)&lt;δP(|X−Y|&gt;K)&lt;δ P( |X - Y| > K) < \delta Asumsikan untuk kesederhanaan bahwa: Koefisien korelasi dikenal sebagai "tinggi", katakanlah: ρX,Y=covar(X,Y)/σXσY≥1−ϵρX,Y=covar(X,Y)/σXσY≥1−ϵ \rho_{X,Y}= {covar(X,Y)} / {\sigma_X \sigma_Y} \geq 1 …

9 correlation  mathematical-statistics  bounds 

Fungsi kepadatan probabilitas distribusi seragam (kontinu) ditunjukkan di atas. Area di bawah kurva adalah 1 - yang masuk akal karena jumlah semua probabilitas dalam distribusi probabilitas adalah 1. Secara formal, fungsi probabilitas di atas (f (x)) dapat didefinisikan sebagai 1 / (ba) untuk x dalam [a, b] dan 0 sebaliknya …

9 probability  distributions  uniform 

Diberikan X1,…,Xn,…∼N(0,1)X1,…,Xn,…∼N(0,1)X_1, \ldots, X_n, \ldots \sim \mathscr{N}(0,1) iid, pertimbangkan variabel acak Zn:=max1≤i≤nXi.Zn:=max1≤i≤nXi. Z_n := \max_{1 \le i \le n} X_i\,. Pertanyaan: Apa hasil paling penting dari variabel acak ini? Untuk mengklarifikasi "kepentingan", hasil mana yang memiliki hasil paling banyak seperti konsekuensi logis? Manakah dari hasil yang paling sering digunakan dalam …

9 mathematical-statistics  references  extreme-value  maximum 

Misalkan saya memiliki parameter positif untuk mengestimasi dan estimasi yang sesuai yang dihasilkan oleh estimator , yaitu , dan seterusnya.nnnμ1,μ2,...,μnμ1,μ2,...,μn\mu_1,\mu_2,...,\mu_nnnnμ1^,μ2^,...,μn^μ1^,μ2^,...,μn^\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}E[μ1^]=μ1E[μ1^]=μ1\mathrm E[\hat{\mu_1}]=\mu_1E[μ2^]=μ2E[μ2^]=μ2\mathrm E[\hat{\mu_2}]=\mu_2 Saya ingin memperkirakan menggunakan perkiraan yang ada. Jelas penaksir naif bias lebih rendah sebagai min(μ1,μ2,...,μn)min(μ1,μ2,...,μn)\mathrm{min}(\mu_1,\mu_2,...,\mu_n)min(μ1^,μ2^,...,μn^)min(μ1^,μ2^,...,μn^)\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})E[min(μ1^,μ2^,...,μn^)]≤min(μ1,μ2,...,μn)E[min(μ1^,μ2^,...,μn^)]≤min(μ1,μ2,...,μn)\mathrm E[\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})]\leq \mathrm{min}(\mu_1,\mu_2,...,\mu_n) Misalkan saya juga memiliki matriks kovarians dari penaksir yang sesuai . …

9 unbiased-estimator  estimators  minimum 

Misalkan menjadi sampel acak dari distribusi gamma .X1,...,XnX1,...,XnX_1,...,X_nGamma(α,β)Gamma(α,β)\mathrm{Gamma}\left(\alpha,\beta\right) Biarkan dan menjadi mean sampel dan varians sampel.X¯X¯\bar{X}S2S2S^2 Kemudian buktikan atau bantah bahwa dan independen.X¯X¯\bar{X}S2/X¯2S2/X¯2S^2/\bar{X}^2 Usaha saya: Karena S2/X¯2=1n−1∑ni=1(XiX¯−1)2S2/X¯2=1n−1∑i=1n(XiX¯−1)2S^2/\bar{X}^2 = \frac{1}{n-1} \sum_{i=1}^n \left(\frac{X_i}{\bar{X}}-1\right)^2 , kita perlu memeriksa independensi X¯X¯\bar{X} dan (XiX¯)ni=1(XiX¯)i=1n\left(\frac{X_i}{\bar{X}} \right)_{i=1}^{n} , tetapi bagaimana saya harus membangun kemandirian di antara mereka?

9 self-study  distributions  independence  gamma-distribution 

Saya telah diajarkan bahwa kita dapat menghasilkan estimasi parameter dalam bentuk interval kepercayaan setelah pengambilan sampel dari suatu populasi. Misalnya, interval kepercayaan 95%, tanpa asumsi yang dilanggar, harus memiliki tingkat keberhasilan 95% berisi apa pun parameter sebenarnya yang kami perkirakan ada dalam populasi. Yaitu, Menghasilkan estimasi titik dari sampel. Menghasilkan …

9 hypothesis-testing  confidence-interval  estimation  inference 

Apakah mungkin untuk memiliki perbedaan PDF dari dua tampilan iid rv seperti persegi panjang (bukan, katakanlah, segitiga yang kita dapatkan jika rv diambil dari distribusi seragam). yaitu apakah mungkin untuk PDF f dari jk (untuk dua iid rv diambil dari beberapa distribusi) memiliki f (x) = 0,5 untuk semua -1 …

9 random-variable  pdf  iid 

Intro Saya memiliki peserta yang berulang kali menyentuh permukaan yang terkontaminasi dengan E. coli dalam dua kondisi ( A = memakai sarung tangan, B = tanpa sarung tangan). Saya ingin tahu apakah ada perbedaan antara jumlah bakteri di ujung jari mereka dengan dan tanpa sarung tangan tetapi juga antara jumlah …

9 r  anova  repeated-measures  lme4-nlme  glmm 

Saya tahu pertama saat distribusi. Saya juga tahu bahwa distribusi saya kontinu, unimodal, dan berbentuk baik (sepertinya distribusi gamma). Apakah mungkin untuk:NNN Dengan menggunakan beberapa algoritma, hasilkan sampel dari distribusi ini, yang dalam kondisi terbatas akan memiliki momen yang persis sama? Selesaikan masalah ini secara analitis? Saya mengerti bahwa sampai …

9 distributions  moments 

Saya akhir-akhir ini memanfaatkan kembali pengetahuan dalam Time Series dan menyadari bahwa pembelajaran mesin sebagian besar hanya memberikan perkiraan satu langkah di depan. Dengan prakiraan satu langkah ke depan yang saya maksud adalah prakiraan yang, misalnya, jika kita memiliki data per jam, gunakan data dari jam 10 pagi hingga jam …

9 machine-learning  time-series  forecasting  arima 

Definisi paling sederhana dari statistik yang cukup dalam perspektif frequentist diberikan di sini di Wikipedia . Namun, baru-baru ini saya menemukan buku Bayesian, dengan definisi . Disebutkan dalam tautan bahwa keduanya setara, tetapi saya tidak mengerti caranya. Juga, di halaman yang sama, di bagian «Jenis Kecukupan Lain» dinyatakan bahwa kedua …

9 bayesian  mathematical-statistics  sufficient-statistics 

Ini mungkin sedikit pertanyaan filosofis, tapi di sini kita pergi: Dalam teori keputusan, risiko penaksir Bayes untuk didefinisikan sehubungan dengan distribusi sebelumnya pada .θ∈qπqθ^( x )θ^(x)\hat\theta(x)θ ∈ Θθ∈Θ\theta\in\Thetaππ\piΘΘ\Theta Sekarang, di satu sisi, agar benar telah menghasilkan data (yaitu "ada"), harus merupakan varian yang mungkin di bawah , misalnya memiliki probabilitas …

9 bayesian  prior  decision-theory  point-estimation 

Saya mencoba memodelkan dan memperkirakan deret waktu yang bersifat siklik daripada musiman (yaitu ada pola yang mirip musim, tetapi tidak dengan periode tetap). Ini harus dimungkinkan untuk dilakukan dengan menggunakan model ARIMA, sebagaimana disebutkan dalam Bagian 8.5 dari Peramalan: prinsip dan praktik : Nilai penting jika data menunjukkan siklus. Untuk …

9 time-series  forecasting  arima  seasonality