Statistik dan Big Data

T&J untuk orang-orang yang tertarik dalam statistik, pembelajaran mesin, analisis data, penambangan data, dan visualisasi data

1
Membangun fungsi kerugian spesifik masalah
Deskripsi Masalah Saya memulai konstruksi jaringan untuk masalah yang menurut saya bisa memiliki fungsi kerugian yang jauh lebih mendalam daripada regresi MSE sederhana. Masalah saya berkaitan dengan klasifikasi multi-kategori ( lihat pertanyaan saya di SO untuk apa yang saya maksudkan dengan ini), di mana ada jarak atau hubungan yang ditentukan …




2
Apa itu kesalahan asimptotik?
Ng, AY, dan Jordan, MI (2001). Pada pengklasifikasi Diskriminatif vs Generatif: Perbandingan regresi logistik dan Bayes naif . Kemajuan dalam Sistem Pemrosesan Informasi Saraf Tiruan, 14 , hlm. 841-8, MIT Press. Dalam makalah di atas, penulis menyebutkan "kesalahan asimptotik". Adakah yang bisa menjelaskan sedikit tentang ini? Misalnya, abstrak makalah ini …

3
Distribusi jika Beta dan chi-kuadrat dengan derajat
Seandainya XXX memiliki distribusi beta, Beta(1,K−1)(1,K−1)(1,K-1) dan YYY mengikuti chi-squared dengan 2K2K2Kderajat. Selain itu, kami menganggap ituXXX dan YYY independen. Apa distribusi produk .Z=XYZ=XYZ=XY Perbarui Upaya saya: fZ=∫y=+∞y=−∞1|y|fY(y)fX(zy)dy=∫+∞01B(1,K−1)2KΓ(K)1yyK−1e−y/2(1−z/y)K−2dy=1B(1,K−1)2KΓ(K)∫+∞0e−y/2(y−z)K−2dy=1B(1,K−1)2KΓ(K)[−2K−1e−z/2Γ(K−1,y−z2)]∞0=2K−1B(1,K−1)2KΓ(K)e−z/2Γ(K−1,−z/2)fZ=∫y=−∞y=+∞1|y|fY(y)fX(zy)dy=∫0+∞1B(1,K−1)2KΓ(K)1yyK−1e−y/2(1−z/y)K−2dy=1B(1,K−1)2KΓ(K)∫0+∞e−y/2(y−z)K−2dy=1B(1,K−1)2KΓ(K)[−2K−1e−z/2Γ(K−1,y−z2)]0∞=2K−1B(1,K−1)2KΓ(K)e−z/2Γ(K−1,−z/2)\begin{align} f_Z &= \int_{y=-\infty}^{y=+\infty}\frac{1}{|y|}f_Y(y) f_X \left (\frac{z}{y} \right ) dy \\ &= \int_{0}^{+\infty} \frac{1}{B(1,K-1)2^K \Gamma(K)} \frac{1}{y} y^{K-1} e^{-y/2} (1-z/y)^{K-2} dy \\ &= \frac{1}{B(1,K-1)2^K …

2
Dapatkah segala macam kesimpulan dibuat tentang kointegrasi
Dapat ditunjukkan bahwa, secara umum, statistik uji kointegrasi A,B≠B,AA,B≠B,AA, B \ne B,A. Saya percaya ini benar untuk semua tes kointegrasi, jadi tes khusus yang digunakan, mungkin, tidak relevan. Namun, saya telah menemukan bahwa dua statistik uji umumnya "dekat": dua statistik uji akan berada pada tingkat kepercayaan yang sama. Perhatikan bahwa …


1
Interval Keyakinan untuk ECDF
Ketimpangan Dvoretzky – Kiefer – Wolfowitz adalah sebagai berikut: Pr(sup|F^n(x)−F(x)|>ϵ)≤2exp(−2nϵ2)Pr(sup|F^n(x)−F(x)|>ϵ)≤2exp⁡(−2nϵ2)Pr(\text{sup}|\hat{F}_n(x)-F(x)|>\epsilon)\leq 2\exp(-2n\epsilon^2), dan memprediksi seberapa dekat fungsi distribusi yang ditentukan secara empiris akan dengan fungsi distribusi dari mana sampel empiris diambil. Dengan menggunakan ketidaksetaraan ini kami dapat memanfaatkan interval kepercayaan (CI) di sekitarF^n(x)F^n(x)\hat{F}_n(x)(ECDF). Tetapi CI ini akan memiliki jarak yang sama …

2
batas
Saya bertanya-tanya tentang menunjukkan batas: limx→∞xF¯¯¯¯(x)=0limx→∞xF¯(x)=0 \lim_{x \to \infty} x\overline{F}(x) =0 di mana adalah fungsi distribusi tail, \ overline {F} (x) = 1 − F (x) , di mana F adalah fungsi distribusi kumulatifF¯¯¯¯=1−FF¯=1−F\overline{F} =1-FF¯¯¯¯(x)=1−F(x)F¯(x)=1−F(x)\overline{F}(x)=1−F(x)FFF Sebagai x→∞x→∞x \to \infty , F¯¯¯¯→0F¯→0\overline{F} \to 0 , jadi kami memiliki formulir tak tentu, …



1
Kemungkinan kesalahan dalam penurunan probabilitas bersyarat
Berikut ini adalah turunan dari kepadatan dari kertas yang sedang saya pelajari. Maaf untuk kualitas buruk, ini kertas yang cukup tua. Saya perlu mengklarifikasi bahwa memiliki kerapatan eksponensial standar dalam , seragam pada dan mereka independen. Populasi koefisien korelasi adalah konstan saja. dan berasal dari distribusi normal bivariat standar, karenanya …

4
Algoritma pengelompokan grafik yang mempertimbangkan bobot negatif
Saya memiliki instance grafik dengan tepi terarah tertimbang yang nilainya dapat berada dalam kisaran [-1,1]. Saya perlu melakukan pengelompokan pada grafik ini, untuk mengetahui kelompok-kelompok di mana simpul lebih berkorelasi. Saya mencari beberapa algoritma berbasis pengelompokan atau deteksi komunitas grafik, tetapi kebanyakan dari mereka tidak bekerja karena bobot negatif. Sampai …

1
Regresi Bayesian dengan singular
Komunitas SE, saya berharap mendapatkan wawasan tentang masalah berikut. Diberikan model regresi linier sederhana Di bawah fungsi kemungkinan Gaussian dengan istilah kesalahan homoseksual, distribusi bersyarat dari variabel dependen mengambil bentuk Saya menetapkan konjugat bersyarat (tidak informasi) sebelum untuk dan adalah . Ini adalah hasil standar bahwa distribusi posterior marginal dari …

Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.