Statistik dan Big Data

Saya menjalankan PCA pada 25 variabel dan memilih 7 PC teratas menggunakan prcomp. prc <- prcomp(pollutions, center=T, scale=T, retx=T) Saya kemudian melakukan rotasi varimax pada komponen-komponen itu. varimax7 <- varimax(prc$rotation[,1:7]) Dan sekarang saya ingin varimax memutar data yang diputar PCA (karena ini bukan bagian dari objek varimax - hanya matriks …

13 r  pca  factor-rotation 

Saya baru dalam ilmu data dan memiliki masalah menemukan cluster dalam kumpulan data dengan 200.000 baris dan 50 kolom di R. Karena data memiliki variabel numerik dan nominal, metode seperti K-means yang menggunakan ukuran jarak Euclidean sepertinya bukan pilihan yang tepat. Jadi saya beralih ke PAM, agnes dan hclust yang …

13 r  clustering  sampling  large-data 

Pertanyaan mendasar: Apa yang dimaksud dengan distribusi residu normal dari regresi linier? Dalam hal, bagaimana hal ini mencerminkan data asli saya dari regresi? Aku benar-benar bingung, terima kasih kawan

13 regression  residuals 

Bayangkan ada 80 pemain dodgeball di dunia. Masing-masing dari mereka telah memainkan ribuan permainan dodgeball dengan 79 pemain lainnya dalam urutan acak lebih atau kurang. Ini adalah dunia tanpa tim (misalnya, setiap pemain memiliki peluang untuk direkrut dalam tim mana pun di setiap pertandingan). Saya tahu tingkat kemenangan sebelumnya dari …

13 probability  games  paired-comparisons  odds 

Inilah konteks saya untuk pertanyaan ini: Dari apa yang bisa saya katakan, kita tidak bisa menjalankan regresi kuadrat terkecil biasa dalam R ketika menggunakan data tertimbang dan surveypaket. Di sini, kita harus menggunakan svyglm(), yang sebaliknya menjalankan model linear umum (yang mungkin hal yang sama? Saya bingung di sini dalam …

13 r  generalized-linear-model  least-squares  r-squared  deviance 

Apakah "boleh" untuk menambahkan garis vertikal ke histogram untuk memvisualisasikan nilai rata-rata? Sepertinya tidak apa-apa bagi saya, tetapi saya belum pernah melihat ini di buku pelajaran dan sejenisnya, jadi saya bertanya-tanya apakah ada semacam konvensi untuk tidak melakukan itu? Grafik ini untuk makalah, saya hanya ingin memastikan saya tidak sengaja …

13 self-study  data-visualization  mean  histogram 

Menurut artikel Wikipedia tentang distribusi Gamma : Jika X∼Gamma(a,θ)X∼Gamma(a,θ)X\sim\mathrm{Gamma}(a,\theta) dan Y∼Gamma(b,θ)Y∼Gamma(b,θ)Y\sim\mathrm{Gamma}(b,\theta) , di mana XXX dan YYY adalah variabel acak independen, maka X+Y∼Gamma(a+b,θ)X+Y∼Gamma(a+b,θ)X+Y\sim \mathrm{Gamma}(a+b, \theta) . Tapi saya tidak melihat bukti. Adakah yang bisa mengarahkan saya ke buktinya? Sunting: Terima kasih banyak kepada Zen, dan saya juga menemukan jawabannya sebagai …

13 probability  pdf  gamma-distribution 

Saya sangat baru di bidang ini dan saya mengalami kesulitan memahami konsep menolak hipotesis nol berdasarkan hasil dari tabel ANOVA. Bagaimana hitung F dan nilai kritis berhubungan dengan nilai-p? Dan jika F yang dihitung lebih besar dari 1, apakah itu selalu menunjukkan bahwa hipotesis nol harus ditolak, bahkan jika p-value …

13 anova 

Prediksi saya yang berasal dari model regresi logistik (glm dalam R) tidak dibatasi antara 0 dan 1 seperti yang saya harapkan. Pemahaman saya tentang regresi logistik adalah bahwa parameter input dan model Anda digabungkan secara linear dan responsnya diubah menjadi probabilitas menggunakan fungsi tautan logit. Karena fungsi logit dibatasi antara …

13 r  regression  logistic  generalized-linear-model 

Untuk kata pengantar ini, saya memiliki latar belakang matematika yang cukup dalam, tetapi saya tidak pernah benar-benar berurusan dengan deret waktu, atau pemodelan statistik. Jadi kamu tidak harus bersikap sangat lembut padaku :) Saya membaca makalah ini tentang memodelkan penggunaan energi di bangunan komersial, dan penulis membuat klaim ini: [Kehadiran …

13 time-series  autocorrelation 

Ketika memperoleh sampel MCMC untuk membuat kesimpulan pada parameter tertentu, panduan apa yang baik untuk jumlah minimum sampel efektif yang harus dituju? Dan, apakah saran ini berubah ketika modelnya menjadi lebih atau kurang kompleks?

13 bayesian  sample-size  mcmc  posterior 

Jika saya membuat matriks 2-D yang seluruhnya terdiri dari data acak, saya berharap komponen PCA dan SVD pada dasarnya tidak menjelaskan apa-apa. Sebaliknya, sepertinya kolom SVD pertama muncul untuk menjelaskan 75% dari data. Bagaimana ini bisa terjadi? Apa yang saya lakukan salah? Ini plotnya: Berikut adalah kode R: set.seed(1) rm(list=ls()) …

13 r  pca  svd 

Katakanlah saya memiliki masalah pemilihan model dan saya mencoba menggunakan AIC atau BIC untuk mengevaluasi model. Ini mudah untuk model yang memiliki sejumlah dari parameter bernilai riil.kkk Namun, bagaimana jika salah satu model kami (misalnya, model Mallows ) memiliki permutasi, ditambah beberapa parameter bernilai nyata, bukan hanya parameter bernilai nyata? …

13 modeling  maximum-likelihood  aic  fitting  bic 

Saya tidak pernah mengambil bagian dalam analisis data resmi atau terstruktur atau kursus pembelajaran mesin (selain penawaran online terbaru) dan telah belajar sebagian besar dari apa yang saya ketahui dari membaca dan mencoba berbagai hal. Saya tahu saya jauh dari mampu mendapatkan pekerjaan. Pertanyaan saya bukan apa yang lebih baik …

13 machine-learning  data-mining  careers 

Saya mencari saran dan komentar yang berhubungan dengan analisis rasio dan tarif. Di bidang di mana saya bekerja analisis rasio khususnya tersebar luas tetapi saya telah membaca beberapa makalah yang menunjukkan ini bisa bermasalah, saya berpikir tentang: Kronmal, Richard A. 1993. Korelasi palsu dan kesalahan standar rasio ditinjau kembali. Jurnal …

13 modeling  multiple-regression  generalized-linear-model  interaction  confounding