Statistik dan Big Data

Saya sedang mengerjakan data infeksi penyakit, dan saya bingung apakah akan menangani data sebagai "kategorikal" atau "berkelanjutan". "Hitungan Infeksi" jumlah kasus infeksi yang ditemukan dalam periode waktu tertentu, jumlah tersebut dihasilkan dari data kategorikal (yaitu jumlah pasien yang ditandai "terinfeksi") "Hari Ranjang Pasien" jumlah total jumlah hari tinggal di bangsal …

9 categorical-data  count-data 

Kami sedang merencanakan metrik seri waktu dalam konteks operasi jaringan / server. Data memiliki laju sampel 5 menit, dan terdiri dari hal-hal seperti pemanfaatan CPU, tingkat kesalahan, dll. Kami menambahkan garis "ambang" horisontal ke grafik, untuk secara visual menunjukkan ambang nilai di atas yang orang harus khawatir / perhatikan. Misalnya, …

9 time-series  data-visualization 

Jika saya memiliki dua daftar A dan B, keduanya merupakan himpunan bagian dari daftar C yang jauh lebih besar, bagaimana saya bisa menentukan apakah tingkat tumpang tindih A dan B lebih besar daripada yang saya harapkan secara kebetulan? Haruskah saya memilih elemen secara acak dari C dengan panjang yang sama …

9 statistical-significance 

Saya ingin melakukan analisis sentimen pada teks, telah melalui beberapa artikel, beberapa dari mereka menggunakan "Naif Bayes" dan lainnya adalah "Jaringan Syaraf Berulang (LSTM)" , di sisi lain saya telah melihat perpustakaan python untuk analisis sentimen yang adalah nltk. Ini menggunakan "Naif Bayes" adakah yang bisa menjelaskan apa perbedaan antara …

8 machine-learning  neural-networks  python  natural-language 

Sebuah apel terletak di titik dari pentagon , dan cacing terletak dua simpul jauh, di . Setiap hari cacing merangkak dengan probabilitas yang sama dengan salah satu dari dua simpul yang berdekatan. Jadi setelah satu hari cacing berada di vertex atau , masing-masing dengan probabilitas . Setelah dua hari, worm …

8 probability  markov-process 

Ada masalah statistik yang sayangnya saya tidak tahu harus mulai dari mana (saya belajar sendiri sehingga tidak ada yang bisa saya tanyakan, jika saya tidak mengerti sesuatu. Pertanyaannya adalah X,YX,YX,Y iidN(a,b2);a=0;b2=6;var(X2+Y2)=?N(a,b2);a=0;b2=6;var(X2+Y2)=?N(a,b^2); a=0; b^2=6; var(X^2+Y^2)=?

8 self-study  normal-distribution  random-variable 

Pemahaman saya tentang cara kerja kovarians adalah bahwa data yang berkorelasi harus memiliki kovarians yang agak tinggi. Saya telah menemukan situasi di mana data saya terlihat berkorelasi (seperti yang ditunjukkan dalam plot pencar) tetapi kovariansnya mendekati nol. Bagaimana kovarians data menjadi nol jika dikorelasikan? import numpy as np x1 = …

8 python  descriptive-statistics  covariance 

Masalah: Saya ingin melakukan sampling Gibbs untuk menyimpulkan beberapa posterior lebih dari dataset besar. Sayangnya, model saya tidak terlalu sederhana dan dengan demikian pengambilan sampel terlalu lambat. Saya akan mempertimbangkan pendekatan variasional atau paralel, tetapi sebelum melangkah sejauh itu ... Pertanyaan: Saya ingin tahu apakah saya dapat sampel secara acak …

8 sampling  bootstrap  mcmc  large-data  gibbs 

Latar belakang : Israel (dan timur tengah pada umumnya) dipenuhi dengan protes. Saya ingin tahu, ketika diberi gambar, untuk memperkirakan berapa banyak orang dalam gambar itu (sering kali gambar kerumunan besar). Pemodelan apa yang dapat menawarkan beberapa solusi untuk masalah ini? (dan, tentu saja, dapatkah dilakukan dengan paket open source. …

8 r  image-processing  pattern-recognition 

Saya memiliki dataset yang sangat besar di mana saya telah mengulangi pengukuran dari waktu ke waktu untuk lokasi individu. Beberapa lokasi mungkin memiliki 10 titik data dan beberapa lokasi hanya memiliki 1 titik data. Saya cocok dengan model campuran dan menggunakan lokasi sebagai efek acak. Pertanyaan saya adalah apakah saya …

8 mixed-model  multilevel-analysis 

Saya memiliki data yang setara dengan: shopper_1 = ['beer', 'eggs', 'water',...] shopper_2 = ['diapers', 'beer',...] ... Saya ingin melakukan beberapa analisis pada set data ini untuk mendapatkan matriks korelasi yang akan memiliki implikasi yang mirip dengan: jika Anda membeli x, Anda cenderung membeli y. Menggunakan python (atau mungkin selain MATLAB), …

8 correlation  econometrics  python  cross-correlation 

Biarkan menjadi urutan variabel acak iid . Tetapkan dan untuk . Temukan distribusi pembatas dari(Xn)(Xn)(X_n)N( 0 , 1 )N(0,1)\mathcal N(0,1)S0= 0S0=0S_0=0Sn=∑nk = 1XkSn=∑k=1nXkS_n=\sum_{k=1}^n X_kn ≥ 1n≥1n\geq 11n∑k = 1n|Sk - 1| (X2k- 1 )1n∑k=1n|Sk−1|(Xk2−1)\frac1n \sum_{k=1}^{n}|S_{k-1}|(X_k^2 - 1) Masalah ini berasal dari sebuah buku masalah tentang Teori Probabilitas, dalam bab tentang …

8 self-study  normal-distribution  convergence  central-limit-theorem 

Saya agak bingung tentang kapan Anda harus atau tidak harus menambahkan istilah polinomial ke model regresi linier berganda. Saya tahu polinomial digunakan untuk menangkap kelengkungan dalam data, tetapi sepertinya selalu dalam bentuk: y=x1+x2+x21+x22+x1x2+ cy=x1+x2+x12+x22+x1x2+cy = x_1 + x_2 + x_1^2 + x_2^2 + x_1x_2 + c Bagaimana jika Anda tahu …

8 regression  multiple-regression  polynomial 

Saya tahu bahwa transformasi linear dari deret waktu yang timbul dari proses stasioner (lemah) juga stasioner. Apakah ini benar, bagaimanapun, untuk transformasi seri melalui pengambilan nilai absolut dari setiap elemen juga? Dengan kata lain, jika stasioner, maka apakah stasioner juga?{xi,i∈N}{xi,i∈N}\{x_i,i\in\mathbb{N}\}{|xi|,i∈N}{|xi|,i∈N}\{|x_i|,i\in\mathbb{N}\}

8 time-series  data-transformation  stationarity 

Saya bingung tentang cara yang benar untuk menulis jaring elastis. Setelah membaca beberapa makalah penelitian, tampaknya ada tiga bentuk 1) exp{ -λ1|βk| -λ2β2k}exp⁡{-λ1|βk|-λ2βk2}\exp\{-\lambda_1|\beta_k|-\lambda_2\beta_k^2\} 2)exp{ -(λ1|βk| +λ2β2k)σ2√}exp⁡{-(λ1|βk|+λ2βk2)σ2}\exp\{-\frac{(\lambda_1|\beta_k|+\lambda_2\beta_k^2)}{\sqrt{\sigma^2}}\} 3)exp{ -(λ1|βk| +λ2β2k)2σ2}exp⁡{-(λ1|βk|+λ2βk2)2σ2}\exp\{-\frac{(\lambda_1|\beta_k|+\lambda_2\beta_k^2)}{2\sigma^2}\} Saya hanya tidak mengerti cara yang benar untuk menambahkan . Apakah ada dari ungkapan di atas yang benar?σ2σ2\sigma^2

8 bayesian  mathematical-statistics  gibbs  elastic-net