Statistik dan Big Data

Baru-baru ini saya telah menggunakan penskalaan Platt untuk keluaran-SVM untuk memperkirakan probabilitas peristiwa-standar. Alternatif yang lebih langsung sepertinya adalah "Kernel logistic Regression" (KLR) dan "Import Vector Machine" terkait. Adakah yang bisa mengatakan metode kernel mana yang memberikan probabilitas-keluaran saat ini canggih? Apakah ada R-implementasi KLR? Terima kasih banyak atas bantuan …

10 logistic  svm  kernel-trick 

Saya telah membaca deskripsi regresi ridge dalam Model Statistik Terapan Linier , edisi ke 5 bab 11. Regresi ridge dilakukan pada data lemak tubuh yang tersedia di sini . Buku teks cocok dengan output dalam SAS, di mana koefisien ditransformasikan kembali diberikan dalam model pas sebagai: Y= - 7.3978 + …

10 r  sas  ridge-regression 

Saya punya masalah dengan parameter estimasi untuk Zipf. Situasi saya adalah sebagai berikut: Saya memiliki kumpulan sampel (diukur dari percobaan yang menghasilkan panggilan yang harus mengikuti distribusi Zipf). Saya harus menunjukkan bahwa generator ini benar-benar menghasilkan panggilan dengan distribusi zipf. Saya sudah membaca T&J ini. Bagaimana cara menghitung koefisien hukum …

10 distributions  estimation  pareto-distribution  zipf 

Apakah ada cara memplot garis regresi dari model sambungan seperti ini, selain menggunakan linesuntuk memplot setiap segmen secara terpisah, atau menggunakan geom_smooth(aes(group=Ind), method="lm", fill=FALSE)? m.sqft <- mean(sqft) model <- lm(price~sqft+I((sqft-m.sqft)*Ind)) # sqft, price: continuous variables, Ind: if sqft>mean(sqft) then 1 else 0 plot(sqft,price) abline(reg = model) Warning message: In abline(reg …

10 r  data-visualization  regression 

Dapatkah kelompok merekomendasikan teks pengantar / sumber daya yang baik untuk teknik resampling terapan? Secara khusus, saya tertarik pada alternatif untuk tes parametrik klasik (misalnya tes t, ANOVA, ANCOVA) untuk membandingkan kelompok ketika asumsi seperti normalitas jelas-jelas dilanggar. Contoh jenis masalah yang saya ingin mendidik diri sendiri tentang cara yang …

10 references  bootstrap  resampling 

Saya memiliki kumpulan data dengan banyak nol yang terlihat seperti ini: set.seed(1) x <- c(rlnorm(100),rep(0,50)) hist(x,probability=TRUE,breaks = 25) Saya ingin menggambar garis untuk kepadatannya, tetapi density()fungsinya menggunakan jendela bergerak yang menghitung nilai negatif x. lines(density(x), col = 'grey') Ada density(... from, to)argumen, tetapi ini tampaknya hanya memotong perhitungan, tidak mengubah …

10 r  probability  kde 

Saya sedang mengerjakan fungsi Monte Carlo untuk menilai beberapa aset dengan pengembalian sebagian berkorelasi. Saat ini, saya hanya menghasilkan matriks kovarians dan memberi makan rmvnorm()fungsi dalam R. (Menghasilkan nilai acak berkorelasi.) Namun, melihat distribusi pengembalian suatu aset, biasanya tidak didistribusikan. Ini benar-benar pertanyaan dua bagian: 1) Bagaimana saya bisa memperkirakan …

10 mcmc  monte-carlo  pdf 

Model yang mendasari PLS adalah bahwa matriks X dan n vektor y terkait dengan X = T P ′ + E , y = T q ′ + f , di mana T adalah matriks laten n × k , dan E , f adalah istilah kebisingan (misalnya X , …

10 regression  confidence-interval  latent-variable  partial-least-squares 

Ingin tahu apakah ada yang menjalankan paket / fungsi dalam R yang akan menggabungkan level faktor yang proporsinya dari semua level dalam faktor kurang dari ambang tertentu? Secara khusus, salah satu langkah pertama dalam persiapan data yang saya lakukan adalah meruntuhkan tingkat faktor yang jarang (katakanlah ke tingkat yang disebut …

10 r  many-categories 

Saya pas model linear dalam R menggunakan glmnet. Model asli (tidak diatur) dipasang menggunakan lmdan tidak memiliki istilah konstan (yaitu dalam bentuk lm(y~0+x1+x2,data)). glmnetmengambil matriks prediktor dan vektor respons. Saya telah membaca glmnetdokumentasi, dan tidak dapat menemukan istilah yang konstan. Jadi, adakah cara untuk meminta glmnetuntuk memaksakan kesesuaian linear melalui …

10 r  regression  lasso 

"Regresi palsu" (dalam konteks deret waktu) dan istilah terkait seperti tes akar unit adalah sesuatu yang sering saya dengar, tetapi tidak pernah dipahami. Mengapa / kapan, secara intuitif, apakah itu terjadi? (Saya percaya ini terjadi ketika dua seri waktu Anda terkointegrasi, yaitu, beberapa kombinasi linier keduanya diam, tetapi saya tidak …

10 time-series  regression  cointegration 

Saya telah membaca beberapa tentang Generalized Least Squares (GLS) dan mencoba mengikatnya kembali ke latar belakang ekonometrik dasar saya. Saya ingat di sekolah pascasarjana menggunakan Seemingly Unrelated Regression (SUR) yang tampaknya agak mirip dengan GLS. Satu kertas yang saya temukan bahkan menyebut SUR sebagai "kasus khusus" dari GLS. Tapi saya …

10 regression  generalized-least-squares 

Saya bekerja di bidang penambangan data dan memiliki sekolah formal yang sangat sedikit dalam statistik. Akhir-akhir ini saya telah membaca banyak pekerjaan yang berfokus pada paradigma Bayes untuk pembelajaran dan penambangan, yang menurut saya sangat menarik. Pertanyaan saya adalah (di beberapa bagian), diberikan masalah apakah ada kerangka umum yang memungkinkan …

10 bayesian  modeling  references  eda 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup 2 tahun yang lalu . Saya ingin belajar menggunakan Rcpp . Saya membaca dokumentasi di situs web paket CRAN, tetapi saya merasa mengerjakan contoh praktis …

10 r  c++ 

Saya membandingkan dua kelompok mutan yang masing-masing hanya dapat memiliki satu dari 21 fenotipe yang berbeda. Saya ingin melihat apakah distribusi hasil ini sama antara dua kelompok. Saya menemukan tes online yang menghitung "uji Chi-square untuk kesetaraan distribusi" dan memberi saya beberapa hasil yang masuk akal. Namun, saya memiliki beberapa …

10 distributions  chi-squared  contingency-tables