Statistik dan Big Data

Saya telah memperhatikan bahwa interval kepercayaan untuk nilai prediksi dalam regresi linier cenderung sempit di sekitar rata-rata prediktor dan lemak di sekitar nilai minimum dan maksimum prediktor. Ini dapat dilihat dalam plot 4 regresi linier ini: Saya awalnya berpikir ini karena sebagian besar nilai prediktor terkonsentrasi di sekitar rata-rata prediktor. …

69 regression  confidence-interval  linear-model  standard-error  prediction-interval 

Saya berharap koefisien korelasi akan sama dengan kemiringan regresi (beta), namun setelah membandingkan keduanya, mereka berbeda. Bagaimana mereka berbeda - informasi berbeda apa yang mereka berikan?

69 regression  correlation 

Dalam kasus-kasus manakah seseorang harus lebih memilih yang satu daripada yang lain? Saya menemukan seseorang yang mengklaim keuntungan untuk Kendall, karena alasan pedagogis , adakah alasan lain?

69 correlation  nonparametric  spearman-rho  kendall-tau 

Apa saja proyek-proyek open source Analisis Statistik berharga yang tersedia saat ini? Sunting: seperti yang ditunjukkan oleh Sharpie, berharga bisa berarti membantu Anda menyelesaikan sesuatu lebih cepat atau lebih murah.

69 software  open-source 

Saya memiliki data yang tidak seimbang kelas & saya ingin menyetel hyperparameter dari tress yang ditingkatkan menggunakan xgboost. Pertanyaan Apakah ada yang setara dengan gridsearchcv atau randomsearchcv untuk xgboost? Jika tidak, apa pendekatan yang disarankan untuk menyesuaikan parameter xgboost?

69 machine-learning  cross-validation  xgboost  boosting 

Apa yang mereka maksud ketika mereka mengatakan "variabel acak"?

69 mathematical-statistics  random-variable  intuition  definition 

Saya sebenarnya meninjau naskah di mana penulis membandingkan 5-6 model regresi logit dengan AIC. Namun, beberapa model memiliki istilah interaksi tanpa menyertakan istilah kovariat individu. Apakah masuk akal untuk melakukan ini? Misalnya (tidak spesifik untuk model logit): M1: Y = X1 + X2 + X1*X2 M2: Y = X1 + …

68 regression  modeling  interaction  aic 

Saya baru saja mendengar, bahwa itu adalah ide yang baik untuk memilih bobot awal dari jaringan saraf dari jangkauan (−1d√,1d√)(−1d,1d)(\frac{-1}{\sqrt d} , \frac{1}{\sqrt d}) , di mana ddd adalah jumlah input ke neuron yang diberikan. Diasumsikan, bahwa himpunan dinormalisasi - rata-rata 0, varian 1 (tidak tahu apakah ini penting). Mengapa …

68 neural-networks  normalization 

Saya ingat duduk di kursus statistik sebagai mahasiswa yang mendengar tentang mengapa ekstrapolasi adalah ide yang buruk. Selain itu, ada berbagai sumber online yang berkomentar tentang ini. Ada juga yang menyebutkannya di sini . Adakah yang bisa membantu saya memahami mengapa ekstrapolasi adalah ide yang buruk? Jika ya, bagaimana teknik …

68 regression  time-series  forecasting 

Saya memiliki 2 variabel dependen (DV) yang masing-masing skornya mungkin dipengaruhi oleh himpunan 7 variabel independen (IV). DVs adalah kontinu, sedangkan himpunan IV terdiri dari campuran variabel kode kontinu dan biner. (Dalam kode di bawah ini, variabel kontinu ditulis dalam huruf besar dan variabel biner dalam huruf kecil.) Tujuan dari …

68 r  multivariate-analysis  manova  multiple-regression  multivariate-regression 

Saya memiliki rata-rata bulanan untuk nilai dan standar deviasi yang sesuai dengan rata-rata itu. Sekarang saya menghitung rata-rata tahunan sebagai jumlah rata-rata bulanan, bagaimana saya bisa mewakili standar deviasi untuk jumlah rata-rata? Misalnya mempertimbangkan output dari ladang angin: Month MWh StdDev January 927 333 February 1234 250 March 1032 301 …

68 standard-deviation  descriptive-statistics 

Saya bertanya-tanya bagaimana cara menghasilkan titik yang terdistribusi secara merata di permukaan unit sphere 3-d? Juga setelah menghasilkan poin-poin itu, apa cara terbaik untuk memvisualisasikan dan memeriksa apakah mereka benar-benar seragam di permukaan x2+y2+z2=1x2+y2+z2=1x^2+y^2+z^2=1 ?

68 random-generation 

Suntingan: Saya telah menambahkan contoh sederhana: inferensi rata-rata . Saya juga sedikit mengklarifikasi mengapa interval kredibel tidak cocok dengan interval kepercayaan buruk.XiXiX_i Saya, seorang Bayesian yang cukup taat, berada di tengah krisis kepercayaan. Masalah saya adalah sebagai berikut. Asumsikan bahwa saya ingin menganalisis beberapa data IID . Apa yang akan …

68 bayesian  modeling  philosophical  misspecification 

Saya melihat artikel ini di The Economist tentang makalah yang tampaknya menghancurkan [1] yang meragukan "sekitar 40.000 studi [fMRI] yang dipublikasikan." Kesalahan, kata mereka, adalah karena "asumsi statistik yang salah." Saya membaca makalah dan melihat itu sebagian masalah dengan beberapa koreksi perbandingan, tetapi saya bukan ahli fMRI dan saya merasa …

67 hypothesis-testing  multiple-comparisons  spatial  neuroimaging  neuroscience 

Pada bulan Februari 2016, American Statistics Association merilis pernyataan resmi tentang signifikansi statistik dan nilai-p. Utas kami tentang ini membahas masalah ini secara luas. Namun, tidak ada otoritas yang muncul untuk menawarkan alternatif efektif yang diakui secara universal - sampai sekarang. American Statistical Society (ASS) telah menerbitkan tanggapannya, nilai-p: Apa …

67 hypothesis-testing  statistical-significance  p-value