Statistik dan Big Data

Saya sedang mengerjakan proyek yang melibatkan membaca Tag RFID dan membandingkan kekuatan sinyal yang dilihat pembaca ketika Anda mengubah konfigurasi antena (jumlah antena, posisi, dll ...). Sebagai bagian dari proyek, saya perlu membandingkan pengaturan untuk melihat mana yang paling efektif. Idealnya, saya bisa melakukan Un-paired t-Test atau ANOVA di antara …

11 data-transformation  linear-model  descriptive-statistics 

Saya melakukan regresi linier yang keluar dengan hasil yang signifikan namun ketika saya memeriksa plot-scatter untuk linearitas saya tidak yakin bahwa data itu linear. Apakah ada cara lain untuk menguji linearitas tanpa memeriksa scatterplot? Bisakah regresi linier menjadi signifikan jika tidak linier? [Diedit untuk memasukkan scatterplots]

11 regression 

Tentu saja statistik saya hanya mengajarkan saya bahwa variabel acak diskrit memiliki sejumlah opsi terbatas ... Saya tidak menyadarinya. Saya akan berpikir, seperti seperangkat bilangan bulat, itu bisa tak terbatas. Googling dan memeriksa beberapa halaman web, termasuk beberapa dari program universitas, gagal mengkonfirmasi hal ini secara spesifik; Namun sebagian besar …

11 random-variable  discrete-data 

Misalkan menjadi urutan variabel acak yang didistribusikan secara independen dan identik dengan fungsi kepadatan probabilitas; Tunjukkan bahwaX1,X2,…X1,X2,…X_1,X_2,\ldotsf(x)={12x2e−x0if x>0;otherwise.f(x)={12x2e−xif x>0;0otherwise. f(x) = \left\{ \begin{array}{ll} \frac{1}{2}x^2 e^{-x} & \mbox{if $x>0$};\\ 0 & \mbox{otherwise}.\end{array} \right. limn→∞P[X1+X2+…+Xn≥3(n−n−−√)]≥12limn→∞P[X1+X2+…+Xn≥3(n−n)]≥12\lim_{n\to \infty} P[X_1+X_2+\ldots+X_n\ge 3(n-\sqrt{n})] \ge \frac{1}{2} Apa yang saya coba Pada pandangan pertama saya pikir itu harus menggunakan …

11 probability  self-study 

Seorang rekan memiliki fungsi dan untuk tujuan kita itu adalah kotak hitam. Fungsi mengukur kesamaan dari dua objek.s ( a , b )ssss ( a , b )s(a,b)s(a,b) Kami tahu pasti bahwa memiliki sifat-sifat ini:sss Skor kesamaan adalah bilangan real antara 0 dan 1, inklusif. Hanya objek yang identik sendiri …

11 kernel-trick  distance  similarities  rbf-kernel 

Saya mengalami kesulitan untuk memahami bentuk interval kepercayaan dari regresi polinomial. Ini adalah contoh buatan, . Gambar kiri menggambarkan UPV (varians prediksi tidak berskala) dan grafik kanan menunjukkan interval kepercayaan dan (diukur) titik yang diukur pada X = 1,5, X = 2 dan X = 3.Y^=a+b⋅X+c⋅X2Y^=a+b⋅X+c⋅X2\hat{Y}=a+b\cdot X+c\cdot X^2 Detail data …

11 regression  confidence-interval 

Mari menjadi vektor acak yang diambil dari . Pertimbangkan contoh . Tentukan , dan . Biarkan \ boldsymbol {\ mu}: = \ mathbb {E} _ {\ mathbf {x} \ sim P} [\ mathbf {x}] dan C: = \ mathrm {cov} _ {\ mathbf {x} \ sim P} [\ mathbf {x}, …

11 normality-assumption  central-limit-theorem  asymptotics  quadratic-form 

Saya mencoba membuktikan pernyataan itu: Jika dan adalah variabel acak independen,X∼N(0,σ21)X∼N(0,σ12)X\sim\mathcal{N}(0,\sigma_1^2)Y∼N(0,σ22)Y∼N(0,σ22)Y\sim\mathcal{N}(0,\sigma_2^2) maka juga merupakan variabel acak Normal.XYX2+Y2√XYX2+Y2\frac{XY}{\sqrt{X^2+Y^2}} Untuk kasus khusus (katakanlah), kami memiliki hasil yang terkenal bahwa setiap kali dan adalah bebas . Faktanya, secara umum diketahui bahwa adalah variabel independen .σ1=σ2=σσ1=σ2=σ\sigma_1=\sigma_2=\sigmaXYX2+Y2√∼N(0,σ24)XYX2+Y2∼N(0,σ24)\frac{XY}{\sqrt{X^2+Y^2}}\sim\mathcal{N}\left(0,\frac{\sigma^2}{4}\right)XXXYYYN(0,σ2)N(0,σ2)\mathcal{N}(0,\sigma^2)XYX2+Y2√,X2−Y22X2+Y2√XYX2+Y2,X2−Y22X2+Y2\frac{XY}{\sqrt{X^2+Y^2}},\frac{X^2-Y^2}{2\sqrt{X^2+Y^2}}N(0,σ24)N(0,σ24)\mathcal{N}\left(0,\frac{\sigma^2}{4}\right) Sebuah bukti dari hasil terakhir mengikuti dengan menggunakan …

11 self-study  distributions  mathematical-statistics  normal-distribution  random-variable 

Saya mencoba membungkus kepala saya di sekitar masalah ini. Dadu digulung 100 kali. Berapa probabilitas tidak ada wajah yang muncul lebih dari 20 kali? Pikiran pertama saya menggunakan distribusi Binomial P (x) = 1 - 6 cmf (100, 1/6, 20) tetapi ini jelas salah karena kami menghitung beberapa kasus lebih …

11 probability  mathematical-statistics  binomial  dice 

Apakah penaksir Bayes kebal terhadap bias seleksi? Sebagian besar makalah yang membahas estimasi dalam dimensi tinggi, misalnya, seluruh data sekuens genom, akan sering menimbulkan masalah bias seleksi. Bias seleksi muncul dari fakta bahwa, meskipun kami memiliki ribuan calon prediktor, hanya sedikit yang akan dipilih dan inferensi dilakukan pada beberapa yang …

11 bayesian  feature-selection  bias  unbiased-estimator  conjugate-prior 

Ditutup . Pertanyaan ini membutuhkan detail atau kejelasan . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Tambahkan detail dan jelaskan masalahnya dengan mengedit posting ini . Ditutup 2 tahun yang lalu . Saya sedang mengerjakan tugas pekerjaan rumah di mana profesor saya ingin kita membuat model regresi yang …

11 self-study  multiple-regression  estimation  linear-model 

Adaboost adalah metode ensemble yang menggabungkan banyak pelajar yang lemah untuk membentuk yang kuat. Semua contoh adaboost yang saya baca menggunakan tunggul keputusan / pohon sebagai pembelajar yang lemah. Bisakah saya menggunakan pelajar lemah yang berbeda di adaboost? Misalnya, bagaimana menerapkan adaboost (umumnya meningkatkan) untuk meningkatkan model regresi logistik? Salah …

11 logistic  adaboost 

Sebagai contoh, misalkan kita sedang membangun penaksir usia, berdasarkan gambar seseorang. Di bawah ini ada dua orang berjas, tetapi yang pertama jelas lebih muda dari yang kedua. (sumber: tinytux.com ) Ada banyak fitur yang menyiratkan ini, misalnya struktur wajah. Namun fitur yang paling jitu adalah rasio ukuran kepala dengan ukuran …

11 neural-networks  computer-vision 

Asumsikan file data dengan 80+ juta yang dan nol, dihasilkan secara acak. Dari file ini, kami ingin membuat daftar bilangan bulat desimal acak. Ini adalah rencana untuk melakukan konversi ini. Membagi 80 juta digit menjadi pengelompokan 4 digit biner. Ubah setiap biner 4 digit menjadi desimal. Buang semua nilai desimal …

11 monte-carlo  random-generation  randomness 

Saya telah melihat di beberapa titik penggunaan turunan Radon-Nikodym dari satu ukuran probabilitas terhadap yang lain, terutama dalam divergensi Kullback-Leibler, di mana itu adalah turunan dari ukuran probabilitas model untuk beberapa parameter arbitrer sehubungan dengan parameter nyata :θ 0θθ\thetaθ0θ0\theta_0 dPθdPθ0dPθdPθ0\frac {dP_\theta}{dP_{\theta_0}} Di mana ini adalah kedua ukuran probabilitas pada ruang …

11 mathematical-statistics  kullback-leibler  derivative  measure-theory