Statistik dan Big Data

Saya ingin mengajukan pertanyaan ini dalam dua bagian. Keduanya berurusan dengan model linier umum, tetapi yang pertama berkaitan dengan pemilihan model dan yang lainnya berkaitan dengan regularisasi. Latar Belakang: Saya menggunakan model GLM (linier, logistik, regresi gamma) untuk prediksi dan deskripsi. Ketika saya merujuk pada " hal-hal normal yang dilakukan …

12 regression  model-selection  regularization 

Bisakah Anda merekomendasikan paket penambangan teks dalam R yang dapat digunakan terhadap volume data yang besar? Kedua, apakah ada GUI yang tersedia untuk semua paket penambangan teks di R? Ketiga, adakah program penambangan teks open source lain yang mudah dan intuitif untuk digunakan?

12 r  text-mining 

Ini terinspirasi oleh regresi linier online yang efisien , yang menurut saya sangat menarik. Apakah ada teks atau sumber daya yang dikhususkan untuk komputasi statistik skala besar, di mana komputasi dengan dataset terlalu besar untuk muat dalam memori utama, dan mungkin terlalu beragam untuk dijadikan subsampel secara efektif. Misalnya, apakah …

12 online  computing  references 

Konteks Saya memiliki dua set data yang ingin saya bandingkan. Setiap elemen data dalam kedua set adalah vektor yang berisi 22 sudut (semua antara dan ). Sudut berhubungan dengan konfigurasi pose manusia yang diberikan, sehingga pose ditentukan oleh 22 sudut sendi.π−π−π-\piππ\pi Apa yang akhirnya saya coba lakukan adalah menentukan "kedekatan" …

12 measurement  distance-functions  circular-statistics 

Hai, saya menganalisis data angin untuk memperkirakan energi dari turbin angin. Saya telah mengambil data angin 10 tahun dan membuat grafik histogram; tahap kedua saya adalah menyesuaikan distribusi Weibull ke data. Saya menggunakan R dengan paket lmomuntuk menghitung bentuk dan skala Weibul ini adalah kode yang saya gunakan: >library(lmom) wind.moments<-samlmu(as.numeric(pp$WS)) …

12 r  distributions 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup 3 tahun yang lalu . Beberapa hari yang lalu saya melihat posting tentang cara mengatur SweaveR, yang akan memungkinkan pengguna untuk secara langsung mengekspor hal-hal …

12 r 

Bagaimana saya bisa menguji efek dalam ANOVA Split-Plot menggunakan perbandingan model yang sesuai untuk digunakan dengan Xdan Margumen anova.mlm()dalam R? Saya kenal ?anova.mlmdan Dalgaard (2007) [1]. Sayangnya itu hanya menyikat Desain Split-Plot. Melakukan ini dalam desain acak lengkap dengan dua faktor dalam-mata pelajaran: N <- 20 # 20 subjects total …

12 r  anova  multivariate-analysis  repeated-measures  split-plot 

Ada beberapa metode untuk estimasi parameter di luar sana. MLE, UMVUE, MoM, decision-theoretic, dan lain-lain semua sepertinya memiliki kasus yang cukup logis mengapa mereka berguna untuk estimasi parameter. Apakah ada satu metode yang lebih baik daripada yang lain, atau apakah itu hanya masalah bagaimana kita mendefinisikan apa penaksir "pas terbaik" …

12 estimation  mathematical-statistics  maximum-likelihood  method-of-moments  umvue 

Ada satu variabel dalam data saya memiliki 80% dari data yang hilang. Data hilang karena tidak ada (yaitu berapa banyak pinjaman bank yang harus dibayar perusahaan). Saya menemukan sebuah artikel yang mengatakan bahwa metode penyesuaian variabel dummy adalah solusi untuk masalah ini. Berarti saya perlu mengubah variabel kontinu ini menjadi …

12 missing-data 

Sepertinya Anda dapat menggunakan pengkodean untuk satu variabel kategori, tetapi saya memiliki dua variabel prediktor kategori dan satu kontinu. Bisakah saya menggunakan regresi berganda untuk ini di SPSS dan jika demikian bagaimana caranya? Terima kasih!

12 regression  spss  categorical-data  continuous-data 

Masih mempelajari fungsi dasar dalam R, Fungsi subset tampaknya hanya memfilter kondisi berdasarkan kolom tunggal dengan atau tanpa beberapa kondisi? Bagaimana saya bisa dengan mudah menyaring data dari bingkai data? ketika Anda disediakan dengan berbagai kondisi Ketika kondisi perlu diterapkan di kolom yang tersedia. Contoh: Diberi bingkai data yang berisi …

12 r 

Saya membaca sebuah makalah dan saya melihat sebuah tabel dengan perbandingan antara PPV (Positive Predictive Value) dan NPV (Negative Predictive Value). Mereka melakukan semacam uji statistik untuk mereka, ini adalah sketsa tabel: PPV NPV p-value 65.9 100 < 0.00001 ... Setiap baris mengacu pada tabel kontingensi tertentu. Tes hipotesis macam …

12 epidemiology  contingency-tables  p-value 

SVM untuk klasifikasi masuk akal bagi saya: Saya mengerti bagaimana meminimalkan menghasilkan margin maksimum. Namun, saya tidak mengerti tujuan itu dalam konteks regresi. Berbagai teks (di sini dan di sini ) menggambarkan ini sebagai memaksimalkan "kerataan." Mengapa kita ingin melakukan itu? Apa dalam regresi yang setara dengan konsep "margin"?| | …

12 regression  svm 

Konteks: Saya seorang programmer dengan beberapa (setengah terlupakan) pengalaman dalam statistik dari kursus uni. Baru-baru ini saya menemukan http://akinator.com dan menghabiskan beberapa waktu mencoba membuatnya gagal. Dan siapa yang tidak? :) Saya telah memutuskan untuk mencari tahu cara kerjanya. Setelah googling dan membaca posting blog terkait dan menambahkan beberapa (terbatas) …

12 machine-learning  naive-bayes 

Saya mencari cara hidup rata-rata menggunakan Kaplan-Meier di berbagai negara untuk jenis kanker. Ada perbedaan yang cukup besar antara negara bagian. Bagaimana saya bisa membandingkan kelangsungan hidup rata-rata antara semua negara bagian dan menentukan negara mana yang secara signifikan berbeda dari rata-rata kelangsungan hidup rata-rata di seluruh negara?

12 multiple-comparisons  survival