Statistik dan Big Data

Pesan ini dalam artikel Reuter dari 25.02.2019 saat ini ada di seluruh berita: Bukti untuk pemanasan global buatan manusia mencapai 'standar emas' [Ilmuwan] mengatakan keyakinan bahwa aktivitas manusia yang meningkatkan panas di permukaan bumi telah mencapai level "lima-sigma", ukuran statistik yang berarti hanya ada peluang satu-dalam-sejuta bahwa sinyal akan muncul …

35 p-value  intuition  application  communication  climate 

Dalam buku teks "Matematika Komprehensif Baru untuk Level O" oleh Greer (1983), saya melihat penyimpangan rata-rata dihitung seperti ini: Ringkas perbedaan absolut antara nilai tunggal dan rata-rata. Kemudian dapatkan rata-rata. Sepanjang bab istilah mean deviasi digunakan. Tetapi saya baru saja melihat beberapa referensi yang menggunakan istilah standar deviasi dan inilah …

35 distributions  standard-deviation  frequency  variability 

Komentar: Pertama saya ingin mengatakan besar terima kasih kepada penulis yang baru tsoutliers paket yang menerapkan Chen dan Liu deteksi time series outlier yang diterbitkan dalam Journal of American Association statistik pada tahun 1993 dalam perangkat lunak Open Source .RRR Paket mendeteksi 5 jenis pencilan yang berbeda secara iteratif dalam …

35 time-series  forecasting  arima  outliers 

Saya memiliki model GLM logistik dengan 8 variabel. Saya menjalankan uji chi-square di R anova(glm.model,test='Chisq')dan 2 dari variabel berubah menjadi prediksi ketika dipesan di bagian atas tes dan tidak begitu banyak ketika dipesan di bagian bawah. Itu summary(glm.model)menunjukkan bahwa koefisien mereka tidak signifikan (nilai p tinggi). Dalam hal ini tampaknya …

35 r  regression  logistic  statistical-significance  generalized-linear-model 

Bagaimana untuk membuktikan bahwa fungsi dasar radial k(x,y)=exp(−||x−y||2)2σ2)k(x,y)=exp⁡(−||x−y||2)2σ2)k(x, y) = \exp(-\frac{||x-y||^2)}{2\sigma^2})adalah sebuah kernel? Sejauh yang saya mengerti, untuk membuktikan ini kita harus membuktikan salah satu dari yang berikut: Untuk setiap set vektor x1,x2,...,xnx1,x2,...,xnx_1, x_2, ..., x_n matriks K(x1,x2,...,xn)K(x1,x2,...,xn)K(x_1, x_2, ..., x_n) = (k(xi,xj))n×n(k(xi,xj))n×n(k(x_i, x_j))_{n \times n} adalah semidefinite positif. Sebuah …

35 svm  kernel-trick 

Saya menyesuaikan model regresi linier berganda antara 4 variabel kategori (dengan masing-masing 4 level) dan output numerik. Dataset saya memiliki 43 pengamatan. Regresi memberi saya nilai- ppp berikut dari uji- ttt untuk setiap koefisien kemiringan: .15,.67,.27,.02.15,.67,.27,.02.15, .67, .27, .02 . Dengan demikian, koefisien untuk prediktor ke-4 signifikan pada tingkat kepercayaan …

35 regression  hypothesis-testing  multiple-comparisons  multiple-regression  t-test 

Semut ditempatkan di sudut kubus dan tidak bisa bergerak. Seekor laba-laba mulai dari sudut yang berlawanan, dan dapat bergerak di sepanjang tepi kubus ke segala arah dengan probabilitas sama . Rata-rata, berapa banyak langkah yang diperlukan laba-laba untuk sampai ke semut?( x , y, z)(x,y,z)(x,y,z)1 / 31/31/3 (Ini bukan pekerjaan …

35 probability  random-walk 

Apa set data yang tersedia secara bebas untuk klasifikasi dengan lebih dari 1000 fitur (atau titik sampel jika mengandung kurva)? Sudah ada wiki komunitas tentang kumpulan data gratis: Menemukan sampel data yang tersedia secara bebas Tapi di sini, akan menyenangkan untuk memiliki daftar yang lebih fokus yang dapat digunakan dengan …

35 machine-learning  classification  dataset  large-data 

Apa perbedaan antara desain longitudinal dan deret waktu?

35 time-series  panel-data 

Ketika menjalankan model regresi berganda dalam R, salah satu outputnya adalah kesalahan standar residual 0,0589 pada 95,161 derajat kebebasan. Saya tahu bahwa 95,161 derajat kebebasan diberikan oleh perbedaan antara jumlah pengamatan dalam sampel saya dan jumlah variabel dalam model saya. Apa kesalahan standar residual?

35 regression  standard-error  residuals 

Saya telah membaca bahwa jumlah variabel acak Gamma dengan parameter skala yang sama adalah variabel acak Gamma lainnya. Saya juga telah melihat makalah oleh Moschopoulos yang menggambarkan metode untuk penjumlahan set umum variabel acak Gamma. Saya telah mencoba menerapkan metode Moschopoulos tetapi belum berhasil. Seperti apa penjumlahan set umum variabel …

35 probability  distributions  gamma-distribution  summations  saddlepoint-approximation 

Saya memiliki data yang dikumpulkan dari percobaan yang diselenggarakan sebagai berikut: Dua situs, masing-masing dengan 30 pohon. 15 dirawat, 15 kontrol di setiap situs. Dari setiap pohon, kami mengambil sampel tiga potong batang, dan tiga potong akar, sehingga 6 tingkat 1 sampel per pohon yang diwakili oleh salah satu dari …

34 r  mixed-model  model  nested-data  lme4-nlme 

Katakanlah saya sedang mempelajari bagaimana bunga bakung merespons berbagai kondisi tanah. Saya telah mengumpulkan data tentang pH tanah versus ketinggian matang bakung. Saya mengharapkan hubungan linier, jadi saya menjalankan regresi linier. Namun, saya tidak menyadari ketika saya memulai penelitian saya bahwa populasi sebenarnya mengandung dua varietas bakung, yang masing-masing merespon …

34 regression  linear-model  dataset 

Saya telah melihat beberapa pertanyaan di sini tentang apa artinya dalam istilah awam, tetapi ini terlalu awam untuk tujuan saya di sini. Saya mencoba memahami secara matematis apa arti skor AIC. Tetapi pada saat yang sama, saya tidak ingin bukti yang kuat yang akan membuat saya tidak melihat poin yang …

34 self-study  model-selection  aic  entropy  information-theory 

Jika saya memiliki dataset dengan kelas positif yang sangat langka, dan saya mengambil sampel kelas negatif, kemudian melakukan regresi logistik, apakah saya perlu menyesuaikan koefisien regresi untuk mencerminkan fakta bahwa saya mengubah prevalensi kelas positif? Sebagai contoh, katakanlah saya memiliki dataset dengan 4 variabel: Y, A, B dan C. Y, …

34 logistic  unbalanced-classes  case-control-study