Statistik dan Big Data

Tampaknya universal bahwa statistik demografis diberikan dalam hal 100.000 penduduk per tahun. Misalnya, tingkat bunuh diri, tingkat pembunuhan, tahun kehidupan yang disesuaikan dengan disabilitas, daftarnya berlanjut. Mengapa? Jika kita berbicara tentang kimia, bagian per juta (ppm) adalah umum. Mengapa tindakan menghitung orang memandang secara berbeda. Jumlah 100.000 tidak memiliki dasar …

10 demography  units 

Saya memiliki tiga set data deret waktu yang ingin saya bandingkan. Mereka telah diambil dalam 3 periode terpisah sekitar 12 hari. Mereka adalah rata-rata, maksimum dan minimum jumlah kepala yang diambil di perpustakaan perguruan tinggi selama minggu-minggu final. Saya harus melakukan mean, max dan min karena hitungan head per jam …

10 time-series  multiple-comparisons  trend 

Saya tahu ad.test () dapat digunakan untuk menguji normalitas. Apakah mungkin untuk mendapatkan ad.test untuk membandingkan distribusi dari dua sampel data? x <- rnorm(1000) y <- rgev(2000) ad.test(x,y) Bagaimana saya bisa melakukan uji Anderson-Darling pada 2 sampel?

10 r  goodness-of-fit 

Sistem persamaan linear sangat luas dalam statistik komputasi. Satu sistem khusus yang saya temui (misalnya, dalam analisis faktor) adalah sistem Ax=bAx=bAx=b di mana Di sini adalah matriks diagonal dengan diagonal yang benar-benar positif, adalah (dengan ) matriks semi-pasti positif simetris positif, dan adalah matriks sembarang . Kami diminta untuk memecahkan …

10 factor-analysis  matrix  computational-statistics  matrix-decomposition  matrix-inverse 

Masalah Saya menulis fungsi R yang melakukan analisis Bayesian untuk memperkirakan kepadatan posterior yang diberikan informasi sebelumnya dan data. Saya ingin fungsi mengirim peringatan jika pengguna perlu mempertimbangkan kembali sebelumnya. Dalam pertanyaan ini, saya tertarik mempelajari cara mengevaluasi pendahuluan. Pertanyaan-pertanyaan sebelumnya telah membahas mekanisme menyatakan prior informasi (di sini dan …

10 distributions  probability  bayesian 

Apakah ada paket perangkat lunak untuk menyelesaikan regresi linier dengan tujuan meminimalkan norma L-infinity.

10 regression 

Adakah yang tahu buku / halaman web yang bagus untuk mulai mempelajari teknik validasi silang?

10 references  cross-validation 

Dalam pertanyaan sebelumnya, saya bertanya tentang pemasangan distribusi untuk beberapa data empiris non-Gaussian. Disarankan kepada saya offline, agar saya mencoba asumsi bahwa datanya Gaussian dan cocok dengan filter Kalman terlebih dahulu. Kemudian, tergantung pada kesalahannya, putuskan apakah layak mengembangkan sesuatu yang lebih bagus. Itu masuk akal. Jadi, dengan seperangkat data …

10 kalman-filter 

Saya mengalami kesulitan memahami estimator yang berbeda yang dapat digunakan dalam evaluasi dampak. Saya tahu bahwa estimator intention-to-treat (ITT) membandingkan perbedaan antara individu yang memenuhi syarat tanpa program, dan individu yang memenuhi syarat dengan program, terlepas dari kepatuhan. Namun, saya pikir efek perawatan rata-rata (ATE) juga mengukur hal yang sama. …

10 experiment-design  epidemiology 

Terutama di sisi yang berorientasi pada ilmu komputer dari literatur pembelajaran mesin, AUC (area di bawah kurva karakteristik operator penerima) adalah kriteria populer untuk mengevaluasi pengklasifikasi. Apa justifikasi untuk menggunakan AUC? Misalnya, apakah ada fungsi kerugian tertentu yang keputusan optimalnya adalah pengklasifikasi dengan AUC terbaik?

10 machine-learning  roc 

Terkunci . Pertanyaan ini dan jawabannya dikunci karena pertanyaannya di luar topik tetapi memiliki signifikansi historis. Saat ini tidak menerima jawaban atau interaksi baru. Saya menjalankan R di amazon EC2, menggunakan versi modifikasi biokonduktor AMI . Saat ini, saya menggunakan dempul untuk ssh ke server saya, mulai R dari baris …

10 r 

Saya telah bertemu dengan teknik jejak acak berikut ini di M. Seeger, "Pembaruan peringkat rendah untuk dekomposisi Cholesky," University of California di Berkeley, Tech. Rep, 2007. tr(A)=E[xTAx]tr⁡(A)=E[xTAx]\operatorname{tr}(\mathbf{A}) = {E[\mathbf{x}^T \mathbf{A} \mathbf{x}]} di mana .x∼N(0,I)x∼N(0,I)\mathbf{x} \sim N(\mathbf{0},\mathbf{I}) Sebagai orang tanpa latar belakang matematika yang mendalam, saya bertanya-tanya bagaimana kesetaraan ini dapat …

10 normal-distribution  matlab 

Saya memiliki 5 seri pengembalian total valuta asing pasar berkembang, yang saya ramalkan pengembalian satu periode di masa mendatang (1 tahun). Saya ingin membuat portofolio Markowitz mean variance dioptimalkan dari seri 5, menggunakan varian historis dan kovarian (1) dan perkiraan pengembalian yang saya perkirakan. Apakah R memiliki cara / perpustakaan …

10 r 

Saya harus menjalankan analisis faktor pada dataset yang terdiri dari variabel dikotomis (0 = ya, 1 = tidak) dan saya tidak tahu apakah saya berada di jalur yang benar. Menggunakan tetrachoric()saya membuat matriks korelasi, yang saya jalankan fa(data,factors=1). Hasilnya cukup dekat dengan hasil yang saya terima ketika menggunakan MixFactor , …

10 r  factor-analysis  psychometrics  binary-data 

Saya tertarik untuk mengetahui tingkat statistik apa yang dipelajari anak-anak di berbagai negara di dunia. Bisakah Anda menyarankan data / tautan yang menjelaskan apa yang terjadi dalam hal ini? Saya akan mulai. Israel: Para siswa yang mengambil studi matematika lanjutan kurang lebih - mean, sd, histogram, distribusi normal, probabilitas yang …

10 dataset  teaching