Statistik dan Big Data

T&J untuk orang-orang yang tertarik dalam statistik, pembelajaran mesin, analisis data, penambangan data, dan visualisasi data


7
Menghindari diskriminasi sosial dalam pembangunan model
Saya memiliki pertanyaan yang terinspirasi dari skandal perekrutan Amazon baru-baru ini, di mana mereka dituduh melakukan diskriminasi terhadap perempuan dalam proses perekrutan mereka. Info lebih lanjut di sini : Spesialis pembelajaran mesin Amazon.com Inc menemukan masalah besar: mesin rekrutmen baru mereka tidak menyukai wanita. Tim telah membangun program komputer sejak …


3
Menghitung nilai-p dalam kuadrat terkecil yang dibatasi (non-negatif)
Saya telah menggunakan Matlab untuk melakukan kuadrat terkecil yang tidak dibatasi (kuadrat terkecil biasa) dan secara otomatis menampilkan koefisien, statistik uji dan nilai-p. Pertanyaan saya adalah, ketika melakukan kuadrat terkecil yang dibatasi (benar-benar non-negatif koefisien), itu hanya mengeluarkan koefisien, TANPA statistik uji, nilai-p. Apakah mungkin untuk menghitung nilai-nilai ini untuk …

2
Distribusi proposal untuk distribusi normal umum
Saya memodelkan penyebaran tanaman menggunakan distribusi normal umum ( entri wikipedia ), yang memiliki fungsi kerapatan probabilitas: b2aΓ(1/b)e−(da)bb2aΓ(1/b)e−(da)b \frac{b}{2a\Gamma(1/b)} e^{-(\frac{d}{a})^b} di mana adalah jarak yang ditempuh, adalah parameter skala, dan adalah parameter bentuk. Berarti jarak yang ditempuh diberikan oleh standar deviasi dari distribusi ini:dddSebuahaabbb Sebuah2Γ ( 3 / b )Γ …

1
Masalah Memancing
Misalkan Anda ingin pergi memancing di danau terdekat dari jam 8 pagi - 8 malam. Karena penangkapan ikan yang berlebihan, sebuah undang-undang telah diberlakukan yang mengatakan Anda hanya dapat menangkap satu ikan per hari. Ketika Anda menangkap ikan, Anda dapat memilih untuk menyimpannya (dan dengan demikian pulang bersama ikan itu), …


2
Transformasi linear dari vektor gaussian normal
Saya menghadapi kesulitan dalam membuktikan pernyataan berikut. Itu diberikan dalam makalah penelitian yang ditemukan di Google. Saya butuh bantuan untuk membuktikan pernyataan ini! Misalkan , di mana adalah matriks ortogonal dan adalah gaussian. Perilaku isotop Gaussian yang memiliki distribusi yang sama dalam basis ortonormal.A S SX= A SX=ASX= ASSEBUAHAASSSSSS Bagaimana …

2
Apa yang dimaksud dengan “Biarkan data berbicara sendiri”?
Saat membaca makalah berikut , saya menemukan pernyataan berikut: Seperti yang disebutkan, sering disajikan tanpa referensi ke model probabilistik, sejalan dengan ide Benzecri [1973] untuk "membiarkan data berbicara sendiri." (kutipan dari JP Benzécri. L'analyse des données. Tome II: L'analyse des korespondensi. Dunod, 1973.) Dari cara saya membaca makalah ini, kedengarannya …
10 eda  quotation 

2
Berapa probabilitas yang diberikan ?
Misalkan XXX dan YYY adalah bivariat normal dengan rata-rata μ=(μ1,μ2)μ=(μ1,μ2)\mu=(\mu_1,\mu_2) dan kovarian Σ=[σ11σ12σ12σ22]Σ=[σ11σ12σ12σ22]\Sigma = \begin{bmatrix} \sigma_{11} & \sigma_{12} \\ \sigma_{12} & \sigma_{22} \\ \end{bmatrix} . Berapa probabilitas Pr(X&lt;Y|min(X,Y))Pr(X&lt;Y|min(X,Y))\Pr\left(X<Y|\min\left(X,Y\right)\right) ?

2
Hasilkan suara yang seragam dari bola norma-p ( )
Saya mencoba untuk menulis sebuah fungsi yang menghasilkan suara yang terdistribusi secara seragam yang berasal dari bola p-norma dimensi:nnn ||x||p≤r||x||p≤r\begin{equation} ||x||_p \leq r \end{equation} Saya menemukan solusi yang mungkin untuk lingkaran ( ) ( http://mathworld.wolfram.com/DiskPointPicking.html ), namun saya mengalami kesulitan untuk memperluas ini untuk nilai berbeda .pp=2p=2p = 2ppp Saya …
10 simulation  noise 

1
Tentang keberadaan UMVUE dan pilihan penaksir
Mari menjadi sampel acak yang diambil dari N ( θ , θ 2 ) populasi di mana θ ∈ R .(X1,X2,⋯,Xn)(X1,X2,⋯,Xn)(X_1,X_2,\cdots,X_n)N(θ,θ2)N(θ,θ2)\mathcal N(\theta,\theta^2)θ∈Rθ∈R\theta\in\mathbb R Saya mencari UMVUE dari .θθ\theta Densitas sambungan adalah(X1,X2,⋯,Xn)(X1,X2,⋯,Xn)(X_1,X_2,\cdots,X_n) fθ(x1,x2,⋯,xn)=∏i=1n1θ2π−−√exp[−12θ2(xi−θ)2]=1(θ2π−−√)nexp[−12θ2∑i=1n(xi−θ)2]=1(θ2π−−√)nexp[1θ∑i=1nxi−12θ2∑i=1nx2i−n2]=g(θ,T(x))h(x)∀(x1,⋯,xn)∈Rn,∀θ∈Rfθ(x1,x2,⋯,xn)=∏saya=1n1θ2πexp⁡[-12θ2(xsaya-θ)2]=1(θ2π)nexp⁡[-12θ2∑saya=1n(xsaya-θ)2]=1(θ2π)nexp⁡[1θ∑saya=1nxsaya-12θ2∑saya=1nxsaya2-n2]=g(θ,T(x))h(x)∀(x1,⋯,xn)∈Rn,∀θ∈R\begin{align} f_{\theta}(x_1,x_2,\cdots,x_n)&=\prod_{i=1}^n\frac{1}{\theta\sqrt{2\pi}}\exp\left[-\frac{1}{2\theta^2}(x_i-\theta)^2\right] \\&=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[-\frac{1}{2\theta^2}\sum_{i=1}^n(x_i-\theta)^2\right] \\&=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[\frac{1}{\theta}\sum_{i=1}^n x_i-\frac{1}{2\theta^2}\sum_{i=1}^nx_i^2-\frac{n}{2}\right] \\&=g(\theta,T(\mathbf x))h(\mathbf x)\qquad\forall\,(x_1,\cdots,x_n)\in\mathbb R^n\,,\forall\,\theta\in\mathbb R \end{align} , dengan danh(x)=1.g(θ,T(x))=1(θ2π√)nexp[1θ∑ni=1xi−12θ2∑ni=1x2i−n2]g(θ,T(x))=1(θ2π)nexp⁡[1θ∑i=1nxi−12θ2∑i=1nxi2−n2]g(\theta, T(\mathbf x))=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[\frac{1}{\theta}\sum_{i=1}^n x_i-\frac{1}{2\theta^2}\sum_{i=1}^nx_i^2-\frac{n}{2}\right]h(x)=1h(x)=1h(\mathbf x)=1 Di …

3
MAP adalah solusi untuk
Saya telah menemukan slide ini (slide # 16 &amp; # 17) di salah satu kursus online. Instruktur berusaha menjelaskan bagaimana Estimasi Posterior Maksimum (MAP) sebenarnya adalah solusi , di mana adalah parameter yang benar.θ ∗L(θ)=I[θ≠θ∗]L(θ)=I[θ≠θ∗]L(\theta) = \mathcal{I}[\theta \ne \theta^{*}]θ∗θ∗\theta^{*} Bisakah seseorang tolong jelaskan bagaimana hal ini terjadi? Sunting: Menambahkan slide, …

1
Probabilitas negatif: penjelasan awam
Saya sangat tertarik dengan jawabannya di sini. Saya ingin memiliki penjelasan yang lebih awam tentang arti probabilitas negatif dan penerapannya, mungkin dengan contoh. Sebagai contoh, apa artinya suatu kejadian memiliki probabilitas -10%, sesuai dengan ukuran probabilitas yang diperluas ini?


Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.