Statistik dan Big Data

Saya benar-benar buta dan berasal dari latar belakang pemrograman. Apa yang saya coba lakukan adalah mempelajari pembelajaran mesin, dan untuk melakukan ini, pertama-tama saya perlu belajar tentang regresi linier. Semua penjelasan di internet saya temukan tentang subjek ini, plot data terlebih dahulu. Saya mencari penjelasan praktis tentang regresi linier yang …

47 regression  intuition 

Pada p. 34 dari PRNN- nya Brian Ripley berkomentar bahwa "AIC dinamai oleh Akaike (1974) sebagai 'Kriteria Informasi' walaupun tampaknya secara umum diyakini bahwa A adalah singkatan dari Akaike". Memang, ketika memperkenalkan statistik AIC, Akaike (1974, p.719) menjelaskan hal itu "IC stands for information criterion and A is added so …

47 forecasting  model-selection  aic  bic 

Selain pertimbangan daya komputasi, adakah alasan untuk meyakini bahwa meningkatkan jumlah lipatan dalam validasi silang mengarah pada pemilihan model yang lebih baik / validasi (yaitu bahwa semakin tinggi jumlah lipatan semakin baik)? Mengambil argumen ke ekstrem, apakah validasi silang meninggalkan-satu-keluar harus mengarah ke model yang lebih baik daripada lipat lintas-validasi?KKK …

47 cross-validation  bias-variance-tradeoff 

Saya telah membaca cukup utas tentang QQplots di sini untuk memahami bahwa QQplot dapat lebih informatif daripada tes normalitas lainnya. Namun, saya tidak berpengalaman dalam menafsirkan QQplots. Saya sering mencari di Google; Saya menemukan banyak grafik QQ non-normal, tetapi tidak ada aturan yang jelas tentang bagaimana menafsirkannya, selain apa yang …

47 interpretation  normality-assumption  qq-plot 

Saya telah merencanakan ini setelah saya melakukan tes normalitas Shapiro-Wilk. Tes menunjukkan bahwa ada kemungkinan bahwa populasi terdistribusi secara normal. Namun, bagaimana cara melihat "perilaku" ini di plot ini? MEMPERBARUI Sebuah histogram sederhana dari data: MEMPERBARUI Tes Shapiro-Wilk mengatakan:

47 r  data-visualization  normal-distribution  histogram  qq-plot 

Jika saya memiliki kumpulan data yang menghasilkan grafik seperti berikut ini, bagaimana saya secara algoritmik menentukan nilai x dari puncak yang ditampilkan (dalam hal ini tiga di antaranya):

47 data-visualization  mode 

Masalah saya : Baru-baru ini saya bertemu dengan ahli statistik yang memberi tahu saya bahwa splines hanya berguna untuk mengeksplorasi data dan mengalami overfitting, sehingga tidak berguna dalam prediksi. Dia lebih suka menjelajahi dengan polinomial sederhana ... Karena saya penggemar berat spline, dan ini bertentangan dengan intuisi saya, saya tertarik …

47 regression  splines 

Hari ini saya menemukan topik baru yang disebut Ekspektasi Matematika. Buku yang saya ikuti mengatakan, harapan adalah rata-rata aritmatika dari variabel acak yang berasal dari setiap distribusi probabilitas. Tetapi, ia mendefinisikan ekspektasi sebagai jumlah produk dari beberapa data dan probabilitasnya. Bagaimana keduanya (rata-rata dan harapan) bisa sama? Bagaimana jumlah probabilitas …

47 expected-value 

Saya mencoba meningkatkan kecepatan di Bayesian Statistics. Saya memiliki sedikit latar belakang statistik (STAT 101) tetapi tidak terlalu banyak - saya pikir saya bisa mengerti sebelumnya, posterior, dan kemungkinan: D. Saya tidak ingin membaca buku teks Bayesian dulu. Saya lebih suka membaca dari sumber (situs web pilihan) yang akan meningkatkan …

47 bayesian  references 

Saya cocok dengan keluarga binomial glm di R, dan saya memiliki seluruh kelompok variabel penjelas, dan saya perlu menemukan yang terbaik (R-kuadrat sebagai ukuran baik-baik saja). Singkat penulisan skrip untuk mengulang melalui kombinasi acak yang berbeda dari variabel penjelas dan kemudian merekam yang melakukan yang terbaik, saya benar-benar tidak tahu …

47 r  logistic 

Saya berencana untuk mulai menulis paket R. Saya pikir akan lebih baik untuk mempelajari kode sumber paket yang ada untuk mempelajari konvensi pembangunan paket. Kriteria saya untuk paket yang baik untuk dipelajari: Gagasan statistik / teknis yang sederhana : Intinya adalah mempelajari mekanisme pembuatan paket. Memahami paket seharusnya tidak membutuhkan …

47 r 

Kami ahli statistik menggunakan banyak kata dengan cara yang sedikit berbeda dari cara orang lain menggunakannya. Ini menyebabkan banyak masalah ketika kita mengajar atau menjelaskan apa yang sedang kita lakukan. Saya akan memulai daftar (dan sekarang saya akan menambahkan beberapa definisi, per komentar): Kekuatan adalah kemampuan untuk menolak hipotesis nol …

47 terminology  communication 

Saya memiliki data penjualan untuk serangkaian outlet, dan ingin mengategorikannya berdasarkan bentuk kurva mereka dari waktu ke waktu. Data terlihat kurang lebih seperti ini (tetapi jelas tidak acak, dan memiliki beberapa data yang hilang): n.quarters <- 100 n.stores <- 20 if (exists("test.data")){ rm(test.data) } for (i in 1:n.stores){ interval <- …

47 r  time-series  clustering 

Sepertinya ketika asumsi homogenitas varians terpenuhi bahwa hasil dari uji-t Welch yang disesuaikan dan uji-t standar hampir sama. Mengapa tidak selalu menggunakan t Welch yang disesuaikan?

47 variance  t-test  heteroscedasticity 

Pemahaman saya saat ini tentang gagasan "interval kepercayaan dengan tingkat kepercayaan " adalah bahwa jika kita mencoba menghitung interval kepercayaan berkali-kali (setiap kali dengan sampel baru), itu akan berisi parameter dari waktu.1 - α1 - α1−α1 - \alpha1 - α1−α1 - \alpha Meskipun saya menyadari bahwa ini tidak sama dengan …

47 confidence-interval