Statistik dan Big Data

Saya perlu menganalisis dengan R data dari survei medis (dengan 100+ kolom kode) yang tersedia dalam CSV. Saya akan menggunakan rattle untuk analisis awal tetapi di balik layar masih R. Jika saya membaca.csv () file, kolom dengan kode numerik diperlakukan sebagai data numerik. Saya sadar saya bisa membuat kolom kategorikal …

10 r  categorical-data  data-transformation 

Saya memiliki dataset yang berisi ~ 7.500 tes darah dari ~ 2.500 orang. Saya mencoba mencari tahu apakah variabilitas dalam tes darah meningkat atau menurun dengan waktu antara dua tes. Sebagai contoh - Saya mengambil darah Anda untuk tes dasar, kemudian segera mengambil sampel kedua. Enam bulan kemudian, saya mengambil …

10 repeated-measures  variability 

Saya tertarik untuk mendapatkan interval kepercayaan bootstrap pada kuantitas X, ketika jumlah ini diukur 10 kali pada masing-masing 10 orang. Salah satu pendekatan adalah untuk mendapatkan rata-rata per individu, kemudian bootstrap berarti (mis. Sampel ulang sarana dengan penggantian). Pendekatan lain adalah melakukan hal berikut pada setiap iterasi dari prosedur bootstrap: …

10 confidence-interval  bootstrap 

Ada banyak referensi dalam literatur statistik untuk " data fungsional " (yaitu data yang kurva), dan secara paralel, " data dimensi tinggi " (yaitu ketika data vektor vektor dimensi tinggi). Pertanyaan saya adalah tentang perbedaan antara kedua tipe data tersebut. Ketika berbicara tentang metodologi statistik terapan yang berlaku dalam kasus …

10 data-mining  signal-processing  curve-fitting  wavelet 

Pertanyaan lain tentang deret waktu dari saya. Saya memiliki dataset yang memberikan catatan harian tentang insiden kekerasan di rumah sakit jiwa selama tiga tahun. Dengan bantuan dari pertanyaan saya sebelumnya, saya telah mengotak-atiknya dan sekarang saya sedikit lebih bahagia. Yang saya miliki sekarang adalah bahwa seri hariannya sangat bising. Ini …

10 time-series  forecasting 

Saya mengusulkan untuk mencoba dan menemukan tren dalam beberapa data jangka panjang yang sangat bising. Data pada dasarnya adalah pengukuran mingguan dari sesuatu yang bergerak sekitar 5mm selama periode sekitar 8 bulan. Data ke akurasi 1mm dan sangat bising secara teratur mengubah +/- 1 atau 2mm dalam seminggu. Kami hanya …

10 time-series  data-mining  signal-processing  trend 

Tes Wald, Likelihood Ratio dan Lagrange Multiplier dalam konteks estimasi kemungkinan maksimum adalah setara secara asimptotik. Namun, untuk sampel kecil, mereka cenderung menyimpang sedikit, dan dalam beberapa kasus mereka menghasilkan kesimpulan yang berbeda. Bagaimana mereka dapat diurutkan berdasarkan seberapa besar kemungkinan mereka menolak nol? Apa yang harus dilakukan ketika tes …

10 hypothesis-testing  maximum-likelihood 

Apa saja perpustakaan visualisasi yang baik untuk penggunaan online? Apakah mereka mudah digunakan dan apakah ada dokumentasi yang bagus?

10 data-visualization  protovis 

Dalam pembelajaran komputasi, teorema NFL menyatakan bahwa tidak ada pelajar universal. Untuk setiap algoritma pembelajaran, ada distribusi yang menyebabkan pelajar mengeluarkan hipotesis dengan kesalahan besar, dengan probabilitas tinggi (meskipun ada hipotesis kesalahan rendah). Kesimpulannya adalah bahwa untuk belajar, kelas hipotesis atau distribusi harus dibatasi. Dalam buku mereka "Sebuah teori probabilistik …

10 k-nearest-neighbour  consistency 

Seorang pasien dirawat di rumah sakit. Lama tinggal mereka tergantung pada 2 hal: Tingkat keparahan cedera mereka, dan seberapa besar asuransi mereka bersedia membayar untuk menjaga mereka di rumah sakit. Beberapa pasien akan pergi sebelum waktunya jika asuransi mereka memutuskan untuk berhenti membayar untuk masa inap mereka. Asumsikan yang berikut: …

10 maximum-likelihood  modeling 

Ditutup . Pertanyaan ini didasarkan pada pendapat . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga dapat dijawab dengan fakta dan kutipan dengan mengedit posting ini . Ditutup tahun lalu . Menjelajah melalui area penelitian dari 100 program statistik Berita AS teratas, hampir semuanya penuh dengan …

10 bayesian  frequentist 

Saat ini saya sedang menyelidiki visualisasi data dimensi tinggi menggunakan t-SNE. Saya punya beberapa data dengan variabel biner campuran dan kontinu dan data tersebut tampaknya terlalu mudah mengelompokkan data biner. Tentu saja ini diharapkan untuk data berskala (antara 0 dan 1): jarak Euclidian akan selalu terbesar / terkecil di antara …

10 python  dimensionality-reduction  unsupervised-learning  tsne  mixed-type-data 

Dirichlet Pocess dan Gaussian Process sering disebut sebagai "distribusi atas fungsi" atau "distribusi atas distribusi". Dalam hal itu, dapatkah saya berbicara tentang kepadatan suatu fungsi di bawah GP? Yaitu, apakah Proses Gaussian atau Proses Dirichlet memiliki gagasan tentang kepadatan probabilitas? Jika tidak, bagaimana kita bisa menggunakan aturan Bayes untuk beralih …

10 machine-learning  probability  bayesian  nonparametric  nonparametric-bayes 

Apakah ada rasional untuk jumlah pengamatan per cluster dalam model efek acak? Saya memiliki ukuran sampel 1.500 dengan 700 cluster dimodelkan sebagai efek acak yang dapat ditukar. Saya memiliki opsi untuk menggabungkan kluster untuk membangun kluster yang lebih sedikit, tetapi lebih besar. Saya bertanya-tanya bagaimana saya bisa memilih ukuran sampel …

10 mixed-model  sample-size  random-effects-model  power-analysis 

Misalkan saya tertarik pada model regresi linier, untuk , karena saya ingin melihat apakah interaksi antara kedua kovariat berpengaruh pada Y.Ysaya= β0+ β1x1+ β2x2+ β3x1x2Yi=β0+β1x1+β2x2+β3x1x2Y_i = \beta_0 + \beta_1x_1 + \beta_2x_2 + \beta_3x_1x_2 Dalam catatan kursus seorang profesor (yang saya tidak punya kontak dengan), itu menyatakan: Ketika termasuk istilah interaksi, …

10 regression  multiple-regression  interaction  linear-model