Statistik dan Big Data

Saya sedang melakukan penelitian tentang hubungan antara urutan kelahiran seseorang dan risiko obesitas di kemudian hari menggunakan data dari beberapa kohort kelahiran 1 tahun (mis. Http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2908417/ ). Tantangan utama adalah bahwa urutan kelahiran terkait dengan fitur-fitur lain seperti usia ibu, jumlah saudara kandung yang lebih muda dan / atau lebih …

10 timelines 

Ini adalah kutipan dari "Statistik matematika modern dengan aplikasi" oleh Devore et al. Yang membingungkan saya adalah bahwa estimator tidak dapat membantu bergantung pada , karena sampel bergantung pada parameter.θθ\theta

10 estimation 

Untuk masalah regresi logistik Bayesian, saya telah membuat distribusi prediksi posterior. Saya sampel dari distribusi prediktif dan menerima ribuan sampel (0,1) untuk setiap pengamatan yang saya miliki. Memvisualisasikan kebaikan tidak terlalu menarik, misalnya: Plot ini menunjukkan 10 000 sampel + titik datum yang diamati (cara di sebelah kiri dapat melihat …

10 bayesian  data-visualization  classification  goodness-of-fit  binary-data 

Saya punya pertanyaan yang sangat mendasar tentang pengelompokan. Setelah saya menemukan k cluster dengan centroid mereka, bagaimana cara menafsirkan kelas poin data yang telah saya klaster (memberikan label kelas yang bermakna untuk masing-masing cluster). Saya tidak berbicara tentang validasi cluster yang ditemukan. Dapatkah itu dilakukan dengan diberikan satu set kecil …

10 k-means 

Saya bertanya-tanya apakah seseorang dapat memberikan beberapa wawasan jika mengapa imputasi untuk data yang hilang lebih baik daripada hanya membangun model yang berbeda untuk kasus dengan data yang hilang. Terutama dalam kasus model linier [umum] (saya mungkin bisa melihat dalam kasus-kasus non-linear hal-hal berbeda) Misalkan kita memiliki model linier dasar: …

10 regression  missing-data  data-imputation 

Saya memiliki latar belakang dalam pemrograman komputer dan teori bilangan dasar, tetapi tidak ada pelatihan statistik nyata, dan baru-baru ini "menemukan" bahwa dunia yang menakjubkan dari berbagai teknik sebenarnya adalah dunia statistik. Tampaknya faktorisasi matriks, penyelesaian matriks, tensor dimensi tinggi, embedding, estimasi kepadatan, inferensi Bayesian, partisi Markov, perhitungan eigenvektor, PageRank …

10 machine-learning  estimation 

Salah satu cara untuk menemukan akurasi model regresi logistik menggunakan 'glm' adalah dengan menemukan plot AUC. Bagaimana cara memeriksa yang sama untuk model regresi yang ditemukan dengan variabel respon kontinu (keluarga = 'gaussian')? Metode apa yang digunakan untuk memeriksa seberapa baik model regresi saya cocok dengan data?

10 r  regression  generalized-linear-model 

Biarkan menjadi pengamatan yang diambil dari distribusi probabilitas yang tidak diketahui (tetapi tentu saja asimetris).{ x1, ... , xN}{x1,...,xN}\{x_1,\ldots,x_N\} Saya ingin menemukan distribusi probabilitas dengan menggunakan pendekatan Namun, saya mencoba menggunakan kernel Gaussian, tetapi kinerjanya buruk, karena simetris. Jadi, saya telah melihat bahwa beberapa karya tentang kernel Gamma dan Beta …

10 probability  distributions  pdf  kernel-smoothing 

Saya ingin tahu bagaimana menginterpretasikan plot kepadatan kondisional dengan benar. Saya telah memasukkan dua di bawah ini yang saya buat di R dengan cdplot. Misalnya, apakah probabilitas Hasil sama dengan 1 ketika Var 1 150 kira-kira 80%? Area abu-abu gelap adalah yang merupakan probabilitas kondisional Resultmakhluk yang sama dengan 1, …

10 r  data-visualization  interpretation  conditional-probability  pdf 

Saya mengalami sedikit kesulitan memahami garis putus-putus biru pada gambar fungsi autokorelasi berikut: Bisakah seseorang memberi saya penjelasan sederhana, apa yang mereka katakan kepada saya?

10 r  time-series  autocorrelation 

Diberi koin dengan bias tidak diketahui , bagaimana saya bisa menghasilkan variasi - seefisien mungkin - yang didistribusikan oleh Bernoulli dengan probabilitas 0,5? Artinya, menggunakan jumlah minimum flips per variate yang dihasilkan.halhalp

10 random-generation 

Metode ansambel berbasis pohon seperti Hutan Acak, dan turunan berikutnya (misalnya, hutan kondisional), semua dimaksudkan untuk berguna dalam apa yang disebut masalah "kecil n , p besar ", untuk mengidentifikasi kepentingan variabel relatif. Memang, ini tampaknya menjadi masalah, tetapi pertanyaan saya adalah seberapa jauh kemampuan ini dapat diambil? Bisakah satu, …

10 random-forest  small-sample  ensemble 

Saat ini saya sedang melakukan analisis pada situs web yang mengharuskan saya membuat diagram pohon keputusan yang menunjukkan kemungkinan rute yang diambil orang ketika mereka tiba di situs web. Saya berurusan dengan data.frameyang menunjukkan jalur semua pelanggan ke situs, mulai dari beranda. Misalnya, pelanggan dapat mengambil jalur berikut: Homepage - …

10 r  probability  data-visualization  markov-process 

Katakanlah saya melakukan 10.000 keping koin. Saya ingin tahu probabilitas berapa banyak flip yang diperlukan untuk mendapatkan 4 atau lebih berturut-turut berturut-turut. Hitungan akan berfungsi sebagai berikut, Anda akan menghitung satu putaran flips berturut-turut hanya kepala (4 kepala atau lebih). Ketika sebuah ekor menyentuh dan mematahkan garis-garis kepala, hitungan akan …

10 probability  distributions  self-study  conditional-probability 

Saya mengalami kesulitan memahami apa perbedaan antara proses kriging dan gaussian. Maksud saya, wiki mengatakan bahwa mereka sama tetapi formula prediksi mereka sangat berbeda. Saya agak bingung mengapa mereka disebut serupa. Klarifikasi?

10 gaussian-process