Statistik dan Big Data

Dengan vektor sedemikian rupa sehingga koefisien korelasi Spearman dari dan adalah , adakah batas-batas yang diketahui pada koefisien Spearman dari dengan , dalam hal (dan , mungkin)? Yaitu, dapatkah seseorang menemukan (non-sepele) fungsi sedemikian rupa sehingga nnnx,y1,y2x,y1,y2x, y_1, y_2xxxyiyiy_iρi=ρ(x,yi)ρi=ρ(x,yi)\rho_i = \rho(x,y_i)xxxy1+y2y1+y2y_1 + y_2ρiρi\rho_innnl(ρ1,ρ2,n),u(ρ1,ρ2,n)l(ρ1,ρ2,n),u(ρ1,ρ2,n)l(\rho_1,\rho_2,n), u(\rho_1,\rho_2,n)l(ρ1,ρ2,n)≤ρ(x,y1+y2)≤u(ρ1,ρ2,n)l(ρ1,ρ2,n)≤ρ(x,y1+y2)≤u(ρ1,ρ2,n)l(\rho_1,\rho_2,n) \le \rho(x,y_1+y_2) \le u(\rho_1,\rho_2,n) sunting : …

8 correlation  spearman-rho  bounds 

Ini adalah interval kepercayaan yang diestimasi oleh prop.test n <- 600; x <- 276; p <- 0.40 prop.test(x, n, p, alternative="two.sided", conf.level=0.95, correct=T) 95 percent confidence interval: 0.4196787 0.5008409 Saya mencoba mereproduksinya, membaca kode di bawah prop.test. Inilah cara yang disederhanakan untuk mendapatkan dua batasan itu ESTIMATE <- x/n YATES …

8 r  confidence-interval  yates-correction 

Saya melihat sampel kurtosis dari variabel acak yang cukup miring, dan hasilnya tampak tidak konsisten. Untuk sekadar menggambarkan masalahnya, saya melihat contoh kurtosis RV normal log. Dalam R (yang perlahan saya pelajari): library(moments); samp_size = 2048; n_trial = 4096; kvals <- rep(NA,1,n_trial); #preallocate for (iii in 1:n_trial) { kvals[iii] <- …

8 r  unbiased-estimator  kurtosis 

Katakanlah kita memiliki dua vektor acak Gaussian p (x1) = N( 0 ,Σ1) , p (x2) = N( 0 ,Σ2)p(x1)=N(0,Σ1),p(x2)=N(0,Σ2)p(x_1) = N(0,\Sigma_1), p(x_2) = N(0,\Sigma_2), apakah ada hasil yang terkenal untuk harapan produk mereka E[x1xT2]E[x1x2T]E[x_1x_2^T] tanpa mengasumsikan independensi?

8 random-variable  normal-distribution  expected-value 

Kami sedang menyiapkan naskah dan editor meminta kami untuk mengubah gambar dengan petak-petak menjadi tabel "karena konten data yang lebih tepat". Sementara saya pikir boxplots cukup baik dalam mengungkapkan sesuatu tentang data, saya bertanya-tanya apa yang kalian pikirkan tentang ini? Apakah Anda (sering) memilih tabel daripada petak-petak untuk menyajikan data …

8 data-visualization  boxplot  tables 

Saya harap ini tidak terlalu mendasar atau berlebihan. Saya sudah mencari-cari panduan, tetapi sejauh ini saya masih tidak yakin bagaimana untuk melanjutkan. Data saya terdiri dari jumlah struktur tertentu yang digunakan dalam percakapan antara pasangan lawan bicara. Hipotesis yang ingin saya uji adalah sebagai berikut: lebih sering menggunakan struktur ini …

8 categorical-data  independence 

Saya seorang pemula statistik, jadi minta maaf sebelumnya jika saya mengajukan pertanyaan braindead. Saya telah mencari jawaban untuk pertanyaan saya, tetapi saya menemukan bahwa banyak topik terlalu spesifik, atau dengan cepat melampaui apa yang saya pahami saat ini. Saya memiliki beberapa pekerjaan simulasi yang mencakup kumpulan data besar yang menjadi …

8 distributions  sample-size  experiment-design  sampling 

Saya mencoba untuk menyatakan distribusi sebelumnya untuk meta-analisis Bayesian. Saya memiliki informasi berikut tentang variabel acak: Dua pengamatan: 3.0, 3.6 seorang ilmuwan yang mempelajari variabel telah mengatakan kepada saya bahwa , dan nilai-nilai setinggi 6 memiliki probabilitas nol.P(X&lt;2)=P(X&gt;8)=0P(X&lt;2)=P(X&gt;8)=0P(X<2)=P(X>8)=0 Saya telah menggunakan pendekatan berikut untuk optimasi (mode log-N = :eμ−σ2)eμ−σ2)e^{\mu-\sigma^2)} prior …

8 r  distributions  probability  bayesian  optimization 

Saya bereksperimen dengan R dan menemukan bahwa anova () membutuhkan objek bertipe lm. Tapi mengapa saya harus melanjutkan dengan anova setelah ini: &gt; x &lt;- data.frame(rand=rnorm(100), factor=sample(c("A","B","C"),100,replace=TRUE)) &gt; head(x) rand factor 1 0.9640502 B 2 -0.5038238 C 3 -1.5699734 A 4 -0.8422324 B 5 0.2489113 B 6 -1.4685439 A &gt; …

8 r  anova 

Mari menjadi terbatas himpunan dan misalkan kita ingin menghitung ukuran beberapa bagian .SEBUAHSEBUAHAXXX Motivasi : Jika kita dapat menghasilkan elemen dari secara seragam secara acak, maka kita dapat memperkirakan ukuran dengan pengambilan sampel acak. Yaitu, kita mengambil sampel acak dari , jika di antaranya adalah , maka . Sayangnya, untuk …

8 estimation 

Penaksir kepadatan kernel diberikan oleh mana iid dengan beberapa kepadatan tidak diketahui , - bandwidth,f^(x,h)=1nh∑i=1nK(x−Xih)f^(x,h)=1nh∑i=1nK(x−Xih)\hat{f}(x,h)=\frac{1}{nh}\sum_{i=1}^{n}K(\frac{x-X_{i}}{h})X1,...XnX1,...XnX_1,...X_nfffhhh KKKFungsi - kernel ( , , ). Bias bisa dihitung menggunakan ekspansi Taylor: ∫∞−∞K(x)dx=1∫−∞∞K(x)dx=1\int_{-\infty}^{\infty}K(x)dx=1∫∞−∞K(x)xdx=0∫−∞∞K(x)xdx=0\int_{-\infty}^{\infty}K(x)xdx=0∫∞−∞K(x)x2dx&lt;∞∫−∞∞K(x)x2dx&lt;∞\int_{-\infty}^{\infty}K(x)x^2dx<\infty∫∞−∞1hK(x−yh)f(y)dy−f(x)=∫∞−∞K(y)(f(x−hy)−f(x))dy∫−∞∞1hK(x−yh)f(y)dy−f(x)=∫−∞∞K(y)(f(x−hy)−f(x))dy\int_{-\infty}^{\infty}\frac{1}{h}K(\frac{x-y}{h})f(y)dy-f(x)=\int_{-\infty}^{\infty}K(y)\left(f(x-hy)-f(x)\right)dy =∫∞−∞K(y)(f′(x)hy+12f′′(x)(hy)2+o(h2))dy=12f′′(x)h2+o(h2)=∫−∞∞K(y)(f′(x)hy+12f″(x)(hy)2+o(h2))dy=12f″(x)h2+o(h2)=\int_{-\infty}^{\infty}K(y)\left(f'(x)hy+\frac{1}{2}f''(x)(hy)^{2}+o(h^{2})\right)dy=\frac{1}{2}f''(x)h^{2}+o(h^{2}) Cara menangani kernel periodik dan fff ( ∫10K(x)dx=1∫01K(x)dx=1\int_{0}^{1}K(x)dx=1 , ∫10K(x)xdx=0∫01K(x)xdx=0\int_{0}^{1}K(x)xdx=0 , ∫10K(x)x2dx&lt;∞∫01K(x)x2dx&lt;∞\int_{0}^{1}K(x)x^2dx<\infty )? Bagaimana saya bisa menggunakan ekspansi taylor? ( …

8 kernel-smoothing 

Di mana saya dapat menemukan bukti yang baik bahwa model berbasis CRF dan model berbasis regresi logistik cembung? Apakah ada trik umum untuk menguji / membuktikan bahwa model atau fungsi objektif cembung?

8 logistic  optimization 

hanya untuk rasa ingin tahu ... Bahasa apa yang paling banyak digunakan di sini? R? MATLAB? Python? Jawa? Apa untuk prototipe atau untuk produksi? Sebagai contoh saya pikir MATLAB sebagian besar digunakan untuk prototyping, python untuk kedua prot. dan produksi ...

8 r  matlab  python  java 

Saya diberi 15 poin. Batas kontrol ada di +/- 3 . Poin 1, 4, 5, 6, 7, 8, 9, 10, 11, 13, dan 15 berada dalam batas kontrol. Poin 2, 3, 12, dan 14 berada di luar batas kontrol, dengan 2 berada di bawah batas kontrol yang lebih rendah dan …

8 control-chart  engineering-statistics 

Saya tahu bahwa rpartfungsi R menyimpan data yang diperlukan untuk mengimplementasikan pemisahan multivarian, tetapi saya tidak tahu apakah itu benar-benar melakukan pemisahan multivarian. Saya sudah mencoba merisetnya secara online dengan melihat rpartdokumen, tetapi saya tidak melihat informasi apa pun yang dapat melakukannya atau sedang melakukannya. Adakah yang tahu pasti?

8 r  multivariate-analysis  cart