Statistik dan Big Data

Laporan berita mengatakan bahwa CERN akan mengumumkan besok bahwa boson Higgs telah secara eksperimental terdeteksi dengan 5 σσ\sigma bukti. Menurut artikel itu: 5 σσ\sigma setara dengan 99.99994% peluang bahwa data yang dilihat oleh detektor CMS dan ATLAS bukan hanya derau acak - dan peluang 0,00006% bahwa mereka telah ditipu; 5 …

33 hypothesis-testing  p-value  history 

Apa alasan mengapa kita menggunakan logaritma natural (ln) daripada log ke basis 10 dalam menentukan fungsi dalam ekonometrik?

33 econometrics 

Apa perbedaan antara varian terbatas dan tak terbatas? Pengetahuan statistik saya agak mendasar; Wikipedia / Google tidak banyak membantu di sini.

33 variance  intuition  partial-moments 

Saya memiliki empat seri pengukuran waktu yang berbeda: Konsumsi panas di dalam rumah Suhu di luar rumah Radiasi matahari Kecepatan angin Saya ingin dapat memprediksi konsumsi panas di dalam rumah. Ada tren musiman yang jelas, baik secara tahunan, dan setiap hari. Karena ada korelasi yang jelas antara seri yang berbeda, …

33 time-series  modeling  arima 

Statistik uji untuk uji Hosmer-Lemeshow (HLT) untuk goodness of fit (GOF) dari model regresi logistik didefinisikan sebagai berikut: Sampel kemudian dibagi menjadi d=10d=10d=10 desil, D1,D2,…,DdD1,D2,…,DdD_1, D_2, \dots , D_{d} , per desil menghitung jumlah berikut: O1d=∑i∈DdyiO1d=∑i∈DdyiO_{1d}=\displaystyle \sum_{i \in D_d} y_i , yaitu jumlah diamati dari kasus positif di desilDdDdD_d ; …

33 regression  logistic  goodness-of-fit  degrees-of-freedom  hosmer-lemeshow-test 

Ketika menghitung matriks kovarians sampel, adakah yang dijamin mendapatkan matriks simetris dan pasti positif? Saat ini masalah saya memiliki sampel 4600 vektor pengamatan dan 24 dimensi.

33 sampling  covariance 

Saya ingin tahu apakah ada varian boxplot yang disesuaikan dengan data yang didistribusikan Poisson (atau mungkin distribusi lainnya)? Dengan distribusi Gaussian, kumis ditempatkan pada L = Q1 - 1,5 IQR dan U = Q3 + 1,5 IQR, boxplot memiliki properti bahwa akan ada kira-kira banyak outlier rendah (poin di bawah …

33 data-visualization  poisson-distribution  boxplot 

Saya mengerti bahwa untuk kumpulan data tertentu seperti pemungutan suara, kinerjanya lebih baik. Mengapa regresi Poisson digunakan daripada regresi linier biasa atau regresi logistik? Apa motivasi matematika untuk itu?

33 count-data  poisson-regression 

Dengan dua histogram, bagaimana kita menilai apakah mereka serupa atau tidak? Apakah cukup dengan hanya melihat kedua histogram? Pemetaan sederhana ke satu memiliki masalah bahwa jika histogram sedikit berbeda dan sedikit bergeser maka kita tidak akan mendapatkan hasil yang diinginkan. Ada saran?

33 histogram  image-processing 

Saya telah menulis program komputer yang dapat mendeteksi koin dalam gambar statis (.jpeg, .png, dll.) Menggunakan beberapa teknik standar untuk penglihatan komputer (Gaussian Blur, thresholding, Hough-Transform dll.). Dengan menggunakan rasio koin yang diambil dari gambar yang diberikan, saya dapat menetapkan dengan pasti koin mana yang mana. Namun, saya ingin menambah …

33 image-processing 

Saya mencari buku / tutorial yang bagus untuk belajar tentang analisis survival. Saya juga tertarik pada referensi untuk melakukan analisis survival di R.

33 r  survival  references 

Saya mencoba memahami kesalahan "clustering" standar dan bagaimana mengeksekusi di R (itu sepele di Stata). Di RI telah gagal menggunakan salah satu plmatau menulis fungsi saya sendiri. Saya akan menggunakan diamondsdata dari ggplot2paket. Saya bisa melakukan efek tetap dengan salah satu variabel dummy > library(plyr) > library(ggplot2) > library(lmtest) > …

33 r  panel-data  standard-error  fixed-effects-model  clustered-standard-errors 

Saya akan membantu mengajar statistik kepada mahasiswa kedokteran semester ini. Saya telah mendengar banyak cerita horor tentang ketakutan para siswa ini dari belajar statistik. Adakah yang bisa menyarankan apa yang harus dilakukan dengan rasa takut ini? (Entah tautan ke orang yang sedang membahas ini, atau menawarkan saran dari pengalaman Anda …

33 teaching 

Katakanlah kita memiliki variabel acak XXX dengan varian dan mean yang diketahui. Pertanyaannya adalah: apa varian f(X)f(X)f(X) untuk beberapa fungsi yang diberikan f. Satu-satunya metode umum yang saya ketahui adalah metode delta, tetapi hanya memberikan aproximation. Sekarang saya tertarik pada f(x)=x−−√f(x)=xf(x)=\sqrt{x} , tetapi akan menyenangkan juga mengetahui beberapa metode umum. …

33 variance  random-variable  delta-method 

Ada beberapa implementasi model keluarga GBDT seperti: GBM XGBoost LightGBM Catboost. Apa perbedaan matematika antara implementasi yang berbeda ini? Catboost tampaknya mengungguli implementasi lainnya bahkan dengan hanya menggunakan parameter standarnya sesuai dengan tanda bangku ini , tetapi masih sangat lambat. Dugaan saya adalah bahwa catboost tidak menggunakan variabel dummi, sehingga …

33 boosting  xgboost