Statistik dan Big Data

Salam pembuka, Saat ini saya sedang melakukan hal berikut di R: require(zoo) data <- read.csv(file="summary.csv",sep=",",head=TRUE) cum = zoo(data$dcomp, as.Date(data$date)) data = zoo(data$compressed, as.Date(data$date)) data <- aggregate(data, identity, tail, 1) cum <- aggregate(cum, identity, sum, 1) days = seq(start(data), end(data), "day") data2 = na.locf(merge(data, zoo(,days))) plot(data2,xlab='',ylab='compressed bytes',col=rgb(0.18,0.34,0.55)) lines(cum,type="h",col=rgb(0,0.5,0)) Cuplikan dari summary.csv: …

9 r  time-series  data-visualization  entropy 

Saya memiliki detektor yang akan mendeteksi suatu peristiwa dengan beberapa probabilitas p . Jika detektor mengatakan bahwa suatu peristiwa terjadi, maka itu selalu terjadi, jadi tidak ada positif palsu. Setelah saya menjalankannya untuk beberapa waktu, saya mendapatkan k terdeteksi peristiwa. Saya ingin menghitung berapa jumlah kejadian yang terjadi, terdeteksi atau …

9 probability  confidence-interval 

Saya mengalami kesulitan untuk memilih cara yang tepat untuk memvisualisasikan data. Katakanlah kita memiliki toko buku yang menjual buku , dan setiap buku memiliki setidaknya satu kategori . Untuk toko buku, jika kami menghitung semua kategori buku, kami memperoleh histogram yang menunjukkan jumlah buku yang termasuk dalam kategori tertentu untuk …

9 pca  data-visualization  histogram  barplot 

Terlalu menyederhanakan sedikit, saya memiliki sekitar satu juta catatan yang mencatat waktu masuk dan waktu keluar orang dalam sistem yang mencakup sekitar sepuluh tahun. Setiap catatan memiliki waktu masuk, tetapi tidak setiap catatan memiliki waktu keluar. Waktu rata-rata dalam sistem adalah ~ 1 tahun. Waktu keluar yang hilang terjadi karena …

9 survival  missing-data 

Dalam jawaban untuk pertanyaan ini tentang memperlakukan data kategorikal sebagai berkelanjutan , penskalaan optimal disebutkan. Bagaimana cara kerja metode ini dan bagaimana cara penerapannya?

9 categorical-data  data-transformation  optimal-scaling 

Apa perbedaan antara riset operasi dan analisis statistik?

9 operations-research 

Memberikan ukuran sampel "N" yang saya rencanakan untuk digunakan untuk meramalkan data. Apa sajakah cara untuk membagi data sehingga saya menggunakan sebagian untuk membuat model, dan data sisanya untuk memvalidasi model? Saya tahu tidak ada jawaban hitam dan putih untuk ini, tetapi akan menarik untuk mengetahui beberapa "aturan praktis" atau …

9 machine-learning  modeling  sample  validation 

Saya pernah mendengar bahwa banyak jumlah yang terjadi di alam terdistribusi secara normal. Ini biasanya dibenarkan menggunakan teorema batas pusat, yang mengatakan bahwa ketika Anda rata-rata sejumlah besar variabel acak iid, Anda mendapatkan distribusi normal. Jadi, misalnya, suatu sifat yang ditentukan oleh efek aditif dari sejumlah besar gen mungkin kira-kira …

9 data-transformation  normality-assumption 

Seperti yang Anda ketahui, ada dua jenis populer validasi silang, K-fold dan subsampling acak (seperti yang dijelaskan dalam Wikipedia ). Namun demikian, saya tahu bahwa beberapa peneliti membuat dan menerbitkan makalah di mana sesuatu yang digambarkan sebagai CV K-fold memang merupakan subsampling acak, jadi dalam praktiknya Anda tidak pernah tahu …

9 machine-learning  cross-validation 

Saya tahu tentang Mikroekonometrik Cameron dan Trivedi Menggunakan Stata. Apa teks bagus lainnya untuk mempelajari Stata?

9 references  stata 

Bagaimana Anda menjelaskan visualisasi data dan mengapa penting bagi orang awam?

9 data-visualization  intuition 

Pustaka visualisasi (plot, grafik, ...) mana yang Anda sarankan untuk digunakan dalam aplikasi mandiri (Linux, .Net, Windows, apa pun). Performa yang masuk akal akan menyenangkan juga.

9 data-visualization  software 

Menurut Hukum Varians Total, Var(X)=E(Var(X∣Y))+Var(E(X∣Y))Var⁡(X)=E⁡(Var⁡(X∣Y))+Var⁡(E⁡(X∣Y))\operatorname{Var}(X)=\operatorname{E}(\operatorname{Var}(X\mid Y)) + \operatorname{Var}(\operatorname{E}(X\mid Y)) Ketika mencoba membuktikannya, saya menulis Var(X)=E(X−EX)2=E{E[(X−EX)2∣Y]}=E(Var(X∣Y))Var⁡(X)=E⁡(X−E⁡X)2=E⁡{E⁡[(X−E⁡X)2∣Y]}=E⁡(Var⁡(X∣Y)) \begin{equation} \begin{aligned} \operatorname{Var}(X) &= \operatorname{E}(X - \operatorname{E}X)^2 \\ &= \operatorname{E}\left\{\operatorname{E}\left[(X - \operatorname{E}X)^2\mid Y\right]\right\} \\ &= \operatorname{E}(\operatorname{Var}(X\mid Y)) \end{aligned} \end{equation} Apakah ada yang salah?

9 variance  conditional-probability  expected-value  conditional-expectation  moments 

Saya sedang membaca dan ini adalah definisi yang saya dapatkan dari buku DeGroot: Apakah itu berarti parameternya sama? Sebagai contoh, anggap X terdistribusi normal dan Y terdistribusi normal di mana Y = log (X). Apakah ini mengatakan bahwa X dan Y memiliki mean dan SD yang sama meskipun mereka berbeda …

9 normal-distribution  lognormal 

Posting ini mengatakan PDF digunakan untuk menentukan probabilitas dari variabel acak yang berada dalam rentang nilai tertentu, sebagai lawan dari mengambil satu nilai. Apakah itu benar ini adalah PDF dari distribusi normal standar. φ(x)=12π−−√e−x2/2φ(x)=12πe−x2/2\varphi(x) = \frac{1}{\sqrt{2\pi}} e^{-x^2/2} tancapkan x = 0 ke rumus di atas, saya bisa mendapatkan probabilitas mengambil …

9 distributions  terminology