Statistik dan Big Data

Saya memiliki dataset yang merupakan statistik dari forum diskusi web. Saya melihat distribusi jumlah balasan yang diharapkan dimiliki suatu topik. Secara khusus, saya telah membuat dataset yang memiliki daftar jumlah balasan topik, dan kemudian jumlah topik yang memiliki jumlah balasan tersebut. "num_replies","count" 0,627568 1,156371 2,151670 3,79094 4,59473 5,39895 6,30947 7,23329 …

22 r  regression  nonlinear-regression 

Untuk varians tak tertimbang terdapat varians sampel yang dikoreksi bias, ketika rerata diperkirakan dari data yang sama: Var(X):=1Var ( X) : = 1n∑saya( xsaya- μ )2Var(X): =1n∑saya(xsaya-μ)2\text{Var}(X):=\frac{1}{n}\sum_i(x_i - \mu)^2Var ( X) : = 1n - 1∑saya( xsaya- E[ X] )2Var(X): =1n-1∑saya(xsaya-E[X])2\text{Var}(X):=\frac{1}{n-1}\sum_i(x_i - E[X])^2 Saya sedang mencari mean dan varian tertimbang, …

22 variance  unbiased-estimator  weighted-mean  weighted-data  bias-correction 

Saya ingin menyesuaikan model linier (lm) di mana varians residual jelas tergantung pada variabel penjelas. Cara saya tahu untuk melakukan ini adalah dengan menggunakan glm dengan keluarga Gamma untuk memodelkan varians, dan kemudian menempatkan kebalikannya ke dalam bobot dalam fungsi lm (contoh: http://nitro.biosci.arizona.edu/r/chapter31 .pdf ) Aku ingin tahu: Apakah ini …

22 r  generalized-linear-model  linear-model  heteroscedasticity  gamlss 

Saya tahu dengan konstanta, jadi mengingat , mudah untuk dipecahkan. Saya juga tahu bahwa Anda tidak dapat menerapkannya ketika ini merupakan fungsi nonlinear, seperti dalam kasus ini , dan untuk menyelesaikannya, saya harus melakukan perkiraan dengan Taylor. Jadi pertanyaan saya adalah bagaimana cara menyelesaikan ?? apakah saya juga memperkirakan dengan …

22 mathematical-statistics 

Saya seorang insinyur perangkat lunak yang ingin membangun alat pengujian A / B. Saya tidak memiliki latar belakang statistik yang solid tetapi telah melakukan sedikit membaca selama beberapa hari terakhir. Saya mengikuti metodologi yang dijelaskan di sini dan akan merangkum poin-poin yang relevan, di bawah ini. Alat ini akan memungkinkan …

22 hypothesis-testing  statistical-significance  proportion  ab-test 

Konsistensi jelas merupakan penaksir properti yang alami dan penting, tetapi adakah situasi di mana mungkin lebih baik menggunakan penaksir yang tidak konsisten daripada yang konsisten? Lebih khusus lagi, adakah contoh estimator yang tidak konsisten yang mengungguli estimator konsisten yang masuk akal untuk semua n terbatasnnn (sehubungan dengan beberapa fungsi kerugian …

22 estimation  consistency 

Pertanyaan kedua adalah bahwa saya menemukan dalam suatu diskusi di suatu tempat di web berbicara tentang "pengelompokan terawasi", sejauh yang saya tahu, pengelompokan tanpa pengawasan, jadi apa sebenarnya arti di balik "pengelompokan yang diawasi"? Apa bedanya dengan "klasifikasi"? Ada banyak tautan yang membicarakan hal itu: http://www.cs.uh.edu/docs/cosc/technical-reports/2005/05_10.pdf http://books.nips.cc/papers/files/nips23/NIPS2010_0427.pdf http://engr.case.edu/ray_soumya/mlrg/supervised_clustering_finley_joachims_icml05.pdf http://www.public.asu.edu/~kvanlehn/Stringent/PDF/05CICL_UP_DB_PWJ_KVL.pdf http://www.machinelearning.org/proceedings/icml2007/papers/366.pdf …

22 clustering  classification  unsupervised-learning  statistical-learning 

Terlepas dari beberapa keadaan unik di mana kita benar-benar harus memahami hubungan rata-rata bersyarat, apa situasi di mana seorang peneliti harus memilih OLS daripada Regresi Kuantil? Saya tidak ingin jawabannya menjadi "jika tidak ada gunanya memahami hubungan ekor", karena kita bisa menggunakan regresi median sebagai pengganti OLS.

22 least-squares  econometrics  regression-strategies  quantile-regression  semiparametric 

Misalkan saya seorang konsultan dan saya ingin menjelaskan kegunaan interval kepercayaan kepada klien saya. Klien mengatakan kepada saya bahwa interval saya terlalu lebar untuk berguna dan dia lebih suka menggunakan yang setengah lebarnya. Bagaimana saya harus merespons?

22 confidence-interval  interpretation 

Terkunci . Pertanyaan ini dan jawabannya dikunci karena pertanyaannya di luar topik tetapi memiliki signifikansi historis. Saat ini tidak menerima jawaban atau interaksi baru. Apakah ada cara mudah dalam R untuk membuat regresi linier atas model dengan 100 parameter dalam R? Katakanlah kita memiliki vektor Y dengan 10 nilai dan …

22 r 

Misalkan variabel acak memiliki batas bawah dan atas [0,1]. Bagaimana cara menghitung varians dari variabel seperti itu?

22 variance  standard-deviation  measurement-error 

Sudah, katakanlah, data berikut: 8232302 684531 116857 89724 82267 75988 63871 23718 1696 436 439 248 235 Ingin cara sederhana untuk menyesuaikan ini (dan beberapa set data lainnya) ke distribusi Pareto. Idealnya itu akan menghasilkan nilai teoritis yang cocok, kurang ideal parameternya.

22 r  pareto-distribution 

Diberikan keluaran dari optim dengan matriks hessian, bagaimana cara menghitung interval kepercayaan parameter menggunakan matriks hessian? fit<-optim(..., hessian=T) hessian<-fit$hessian Saya sebagian besar tertarik pada konteks analisis kemungkinan maksimum, tetapi saya ingin tahu apakah metode ini dapat diperluas.

22 r  maximum-likelihood 

Pengantar: Saya memiliki dataset dengan "p besar, n kecil masalah" klasik. Jumlah sampel yang tersedia n = 150 sedangkan jumlah prediktor yang mungkin p = 400. Hasilnya adalah variabel kontinu. Saya ingin menemukan deskriptor yang paling "penting", yaitu, yang merupakan kandidat terbaik untuk menjelaskan hasil dan membantu membangun teori. Setelah …

22 regression  cross-validation  model-selection  feature-selection  elastic-net 

Saya memiliki deret waktu yang berisi komponen musiman ganda dan saya ingin menguraikan deret tersebut menjadi komponen deret waktu berikut (tren, komponen musiman 1, komponen musiman 2, dan komponen tidak teratur). Sejauh yang saya tahu, prosedur STL untuk mendekomposisi seri dalam R hanya memungkinkan satu komponen musiman, jadi saya telah …

22 r  time-series  forecasting  decomposition  multiple-seasonalities