Statistik dan Big Data

Saya ingin membandingkan model yang dipilih dengan punggungan, laso dan jaring elastis. Gambar. Di bawah ini menunjukkan koefisien jalur menggunakan ketiga metode: ridge (Gambar A, alpha = 0), laso (Gambar B; alpha = 1) dan jaring elastis (Gambar C; alpha = 0,5). Solusi optimal tergantung pada nilai yang dipilih dari …

13 r  multiple-regression  modeling  regularization 

Apakah koefisien korelasi phi dan Matthews konsep yang sama? Bagaimana mereka terkait atau setara dengan koefisien korelasi Pearson untuk dua variabel biner? Saya menganggap nilai biner adalah 0 dan 1. Korelasi Pearson antara dua variabel acak Bernoulli dan y adalah:xxxyyy ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]−−−−−−−−−−√=E[xy]−E[x]E[y]Var[x]Var[y]−−−−−−−−−−√=n11n−n1∙n∙1n0∙n1∙n∙0n∙1−−−−−−−−−−√ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]=E[xy]−E[x]E[y]Var[x]Var[y]=n11n−n1∙n∙1n0∙n1∙n∙0n∙1 \rho = \frac{\mathbb{E} [(x - \mathbb{E}[x])(y - \mathbb{E}[y])]} {\sqrt{\text{Var}[x] …

13 correlation  contingency-tables  bernoulli-distribution  model-evaluation  confusion-matrix 

Saya melakukan beberapa peramalan dalam R menggunakan paket perkiraan Rob Hyndman . Kertas milik paket dapat ditemukan di sini . Dalam makalah, setelah menjelaskan algoritma peramalan otomatis, penulis mengimplementasikan algoritma pada set data yang sama. Namun, setelah memperkirakan model eksponensial smoothing dan ARIMA mereka membuat pernyataan yang saya tidak mengerti …

13 time-series  forecasting  model-selection  aic 

Saat ini saya memiliki masalah memahami sintaks untuk R untuk pemasangan GLM menggunakan distribusi Gamma. Saya memiliki satu set data, di mana setiap baris berisi 3 co-variates ( ), variabel respon ( ), dan parameter bentuk ( ). Saya ingin memodelkan skala distribusi Gamma sebagai fungsi linier dari 3 kovariat, …

13 r  generalized-linear-model  gamma-distribution  dglm 

Saya telah melihat melalui banyak literatur yang tersedia online, termasuk forum ini tanpa hasil dan berharap seseorang dapat membantu masalah statistik yang saya hadapi saat ini: Saya memiliki 5 daftar data peringkat, masing-masing berisi 10 item peringkat dari posisi 1 (terbaik) ke posisi 10 (terburuk). Demi konteks, 10 item dalam …

13 statistical-significance  ranking  valuation 

Selama beberapa hari terakhir saya telah mencoba memahami bagaimana Markov Chain Monte Carlo (MCMC) bekerja. Secara khusus saya telah mencoba memahami dan mengimplementasikan algoritma Metropolis-Hastings. Sejauh ini saya pikir saya memiliki pemahaman keseluruhan tentang algoritma tetapi ada beberapa hal yang belum jelas bagi saya. Saya ingin menggunakan MCMC agar sesuai …

13 mcmc  metropolis-hastings 

Derajat kebebasan dalam regresi berganda sama dengan , di mana adalah jumlah variabel.N−k−1N−k−1N-k-1kkk Apakah kkk menyertakan variabel respons (yaitu, YYY )? Misalnya, dalam model Y=B0+B1X1+B2X2Y=B0+B1X1+B2X2Y = B_0 + B_1X_1 + B_2X_2 , lalu apakah k=3k=3k = 3 (yaitu, masing-masing 1 df untuk YYY , X1X1X_1 , & X2X2X_2 )?

13 self-study  multiple-regression  degrees-of-freedom 

Saya hanya bekerja dengan buku Collective Intelligence (oleh Toby Segaran) dan menemukan skor jarak Euclidean. Dalam buku ini penulis menunjukkan bagaimana menghitung kesamaan antara dua array rekomendasi (yaitu skor .orang × film ↦ skor )person×movie↦score)\textrm{person} \times \textrm{movie} \mapsto \textrm{score}) Dia menghitung jarak Euclidean untuk dua orang, dan p 2 dengan …

13 distance-functions  similarities 

Entropi diferensial dari Gaussian RV adalah . Ini tergantung padaσ, yang merupakan standar deviasi.catatan2( σ2 πe---√)log2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Jika kita menormalkan variabel acak sehingga memiliki varians unit, tetesan diferensialnya turun. Bagi saya ini kontra-intuitif karena kompleksitas Kolmogorov dari normalisasi konstan harus sangat kecil dibandingkan dengan pengurangan entropi. Seseorang dapat dengan …

13 information-theory  entropy  randomness 

Untuk variabel acak ( ) Saya merasa secara intuitif bahwa harus sama dengan karena oleh properti tanpa memori distribusi sama dengan distribusi tetapi bergeser ke kanan sebesar .X∼Exp(λ)X∼Exp(λ)X\sim \text{Exp}(\lambda)E[X]=1λE[X]=1λ\mathbb{E}[X] = \frac{1}{\lambda}E[X|X>x]E[X|X>x]\mathbb{E}[X|X > x]x+E[X]x+E[X]x + \mathbb{E}[X]X|X>xX|X>xX|X > xXXXxxx Namun, saya berjuang untuk menggunakan properti tanpa memori untuk memberikan bukti nyata. Bantuan …

13 random-variable  exponential  conditional-expectation 

Saya ingin menghitung fungsi survivor yang diprediksi untuk model bahaya proporsional Cox dengan persyaratan yang rapuh [menggunakan paket survival]. Tampaknya ketika istilah kelemahan ada dalam model, fungsi survivor yang diprediksi tidak dapat dihitung. ## Example require(survival) data(rats) ## Create fake weight set.seed(90989) rats$weight<-runif(nrow(rats),0.2,0.9) ## Cox model with gamma frailty on …

13 r  survival  cox-model  frailty 

Saya menindaklanjuti pertanyaan yang saya tanyakan sebelumnya pada RBM . Saya melihat banyak literatur menggambarkan mereka tetapi tidak ada yang benar-benar berbicara tentang regresi (bahkan klasifikasi dengan data berlabel). Saya merasa bahwa ini hanya digunakan untuk data tidak berlabel. Apakah ada sumber daya untuk menangani regresi? Atau sesederhana menambahkan lapisan …

13 regression  machine-learning  classification  neural-networks 

Saya mencari beberapa sumber terbuka atau perpustakaan yang ada yang dapat saya gunakan. Sejauh yang saya katakan paket glmnet tidak mudah diperluas untuk menutupi kasus non negatif. Saya mungkin salah, Siapa pun yang punya ide sangat dihargai. Maksud saya non-negatif semua koefisien dibatasi menjadi positif (> 0).

13 r  lasso 

Stabilitas beta dalam regresi linier dengan multi-collinearity tinggi? Katakanlah dalam regresi linier, variabel dan memiliki multi-collinearity tinggi (korelasi sekitar 0,9).x 2x1x1x_1x2x2x_2 Kami khawatir tentang stabilitas koefisien sehingga kami harus memperlakukan multi-collinearity.ββ\beta Solusi buku teks akan hanya membuang salah satu variabel. Tetapi kami tidak ingin kehilangan informasi yang berguna hanya dengan …

13 regression  multicollinearity 

Saya punya dua sampel ( dalam kedua kasus). Berarti berbeda sekitar dua kali lipat dari std. dev. Nilai dihasilkan adalah sekitar 10. Sementara itu bagus untuk mengetahui bahwa saya telah meyakinkan menunjukkan bahwa berarti tidak sama, menurut saya ini didorong oleh n besar. Melihat histogram data saya tentu tidak merasa …

13 hypothesis-testing  t-test