Statistik dan Big Data

Saya memiliki set data yang cukup rumit untuk dianalisis, dan saya tidak dapat menemukan solusi yang baik untuk itu. Ini masalahnya: 1. data mentah pada dasarnya adalah rekaman lagu serangga. Setiap lagu terbuat dari beberapa semburan, dan setiap semburan terbuat dari sub-unit. Semua individu telah direkam selama 5 menit. Jumlah …

9 time-series  mixed-model  repeated-measures  random-effects-model 

Saya telah menyesuaikan beberapa data deret waktu menggunakan model aditif umum Poisson menggunakan SAS PROC GAM. Secara umum, saya sudah memiliki prosedur validasi silang internal yang terintegrasi menghasilkan setidaknya "titik awal" yang layak untuk spline tunggal saya, yang merupakan fungsi waktu non-linear bersama dengan istilah parametrik tunggal (yang saya sebenarnya …

9 time-series  sas  splines  gam 

Saya membaca A. Agresti (2007), Pengantar Analisis Data Kategorikal , 2. edisi, dan saya tidak yakin apakah saya memahami paragraf ini (hal.106, 4.2.1) dengan benar (walaupun seharusnya mudah): Dalam Tabel 3.1 tentang mendengkur dan penyakit jantung pada bab sebelumnya, 254 subjek melaporkan mendengkur setiap malam, di antaranya 30 menderita penyakit …

9 r  generalized-linear-model  logistic 

Saya telah menggunakan Root Mean Squared Error(RMSE) untuk mengukur akurasi nilai yang diprediksi menggunakan model. Saya mengerti bahwa nilai yang dikembalikan menggunakan satuan ukuran saya (bukan persentase). Namun, saya ingin mengutip nilai saya sebagai persentase. Pendekatan yang saya ambil adalah menormalkan RMSEdengan nilai rata-rata pengamatan saya. Apakah ada istilah untuk …

9 error  terminology 

Saya menghitung model regresi linier sederhana dari ukuran percobaan saya untuk membuat prediksi. Saya telah membaca bahwa Anda tidak harus menghitung prediksi untuk poin yang terlalu jauh dari data yang tersedia. Namun, saya tidak dapat menemukan panduan untuk membantu saya mengetahui sejauh mana saya bisa memperkirakan. Sebagai contoh, jika saya …

9 regression  prediction 

Model Bradley – Terry – Luce (BTL) menyatakan bahwa , di mana adalah probabilitas objek yang dinilai "lebih baik", lebih berat, dll, daripada objek , dan , dan adalah parameter.p i j j i δ i δ jhalj i= L o gi t- 1( δj- δsaya)pji=logit−1(δj−δi)p_{ji} = logit^{-1}(\delta_j - \delta_i)halsaya …

9 r  logistic  categorical-data  paired-data  bradley-terry-model 

Data saya adalah serangkaian waktu populasi yang dipekerjakan, L, dan rentang waktu, tahun. n.auto=auto.arima(log(L),xreg=year) summary(n.auto) Series: log(L) ARIMA(2,0,2) with non-zero mean Coefficients: ar1 ar2 ma1 ma2 intercept year 1.9122 -0.9567 -0.3082 0.0254 -3.5904 0.0074 s.e. NaN NaN NaN NaN 1.6058 0.0008 sigma^2 estimated as 1.503e-06: log likelihood=107.55 AIC=-201.1 AICc=-192.49 BIC=-193.79 …

9 r  regression  arima 

@whuber telah menunjukkan cara mensimulasikan hasil multivarian ( , , dan ) untuk satu titik waktu.y 2 y 3y1y1y_1y2y2y_2y3y3y_3 Seperti yang kita ketahui, data longitudinal sering terjadi dalam studi medis. Pertanyaan saya adalah bagaimana mensimulasikan tindakan berulang hasil multivarian di R? Misalnya, kami berulang kali mengukur , , dan pada …

9 r  repeated-measures  simulation 

Saya tahu ini mungkin pertanyaan dasar ... Tapi sepertinya saya tidak menemukan jawabannya. Saya pas GLM dengan keluarga Poisson, dan kemudian mencoba untuk melihat prediksi, namun offset tampaknya dipertimbangkan: model_glm=glm(cases~rhs(data$year,2003)+lhs(data$year,2003), offset=(log(population)), data=data, subset=28:36, family=poisson()) predict (model_glm, type="response") Saya mendapatkan case bukan rate ... Saya sudah mencoba juga model_glm=glm(cases~rhs(data$year,2003)+lhs(data$year,2003)+ offset(log(population)), data=data, …

9 r  generalized-linear-model  prediction  offset 

Saya membutuhkan paket yang dapat memberi saya persamaan untuk model SVM linier. Saat ini saya menggunakan e1071 seperti: library(e1071) m = svm(data, labels, type='C', kernel='linear', cost=cost, probability=FALSE, scale=scale) w = t(m$coefs) %*% data[m$index,] #Weight vector b = -model$rho #Offset Namun, saya tidak yakin bagaimana e1071::svm()memilih kelas positif dan negatif, jadi …

9 r  svm  e1071 

Saya bukan ahli dalam statistik, tetapi saya menemukan ada ketidaksepakatan apakah interpretasi probabilitas "frequentist" atau "Bayesian" adalah yang "benar". Dari Wagenmakers et. al p. 183: Pertimbangkan distribusi seragam dengan rata-rata dan lebar . Menggambar dua nilai secara acak dari distribusi ini, label yang terkecil dan yang terbesar , dan memeriksa …

9 bayesian  confidence-interval  frequentist  philosophical 

Saya memiliki masalah klasifikasi ( -class), dengan urutan 100 prediktor nilai nyata, salah satunya tampaknya memiliki kekuatan penjelas yang lebih banyak daripada yang lain. Saya ingin masuk lebih dalam ke efek dari variabel lain. Namun, teknik pembelajaran mesin standar (hutan acak, SVM, dll) tampaknya dibanjiri oleh satu peramal yang kuat …

9 machine-learning  classification 

Saya baru saja ditugaskan proyek melakukan analisis sentimen untuk beberapa koleksi dokumen. Oleh Googling, banyak penelitian terkait sentimen bermunculan. Pertanyaan saya adalah: Apa metode / algoritma utama untuk analisis sentimen di bidang pembelajaran mesin dan analisis statistik? Apakah ada hasil yang mapan? Apakah ada perangkat lunak sumber terbuka yang dapat …

9 machine-learning  data-mining  text-mining  information-retrieval  sentiment-analysis 

Menurut Analisis Regresi dengan Contoh , residual adalah perbedaan antara respon dan nilai prediksi, maka dikatakan bahwa setiap residual memiliki varian yang berbeda, jadi kita perlu mempertimbangkan residu terstandarisasi. Tetapi variansnya adalah untuk sekelompok nilai, bagaimana mungkin nilai tunggal memiliki varians?

9 regression  residuals 

Dengan asumsi "keacakan lengkap" dan diberi string dengan panjang 20 karakter di mana masing-masing karakter mungkin salah satu dari 62 karakter yang mungkin: Berapa jumlah total kombinasi yang mungkin? (Menebak 20 pangkat 62.) Juga, jika string baru dipilih secara acak satu demi satu dan ditambahkan ke daftar string yang dipilih …

9 probability  combinatorics