Statistik dan Big Data

Apakah mungkin untuk menerapkan prosedur MLE biasa pada distribusi segitiga? - Saya mencoba tetapi saya tampaknya diblokir pada satu langkah atau yang lain dalam matematika dengan cara distribusi didefinisikan. Saya mencoba menggunakan fakta bahwa saya tahu jumlah sampel di atas dan di bawah c (tanpa mengetahui c): 2 angka ini …

12 distributions  mathematical-statistics  maximum-likelihood  triangular-distribution 

Parameter apa start, etastart, mustartdi GLM () function ? Saya telah mencari di dokumen dan internet tetapi saya belum menemukan penjelasan yang jelas apa artinya ini. Ini menyerupai "nilai awal" bayesian untuk rantai, tapi saya ragu ini terkait, karena fungsi glm () dalam R adalah statistik frequentist ...

12 r  generalized-linear-model  starting-values 

Bagaimana matriks kesalahan var / cov dihitung dengan paket analisis statistik dalam praktik? Ide ini jelas bagi saya dalam teori. Tetapi tidak dalam praktik. Maksud saya, jika saya memiliki vektor variabel acak X =( X1, X2, ... , Xn)⊤X=(X1,X2,...,Xn)⊤\textbf{X}=(X_{1}, X_{2}, \ldots, X_{n})^\top , saya mengerti bahwa matriks varians / kovarian …

12 variance  error  covariance-matrix  beta-regression 

Merupakan saran standar untuk menetapkan benih acak sehingga hasilnya dapat diperbanyak. Namun, karena seed dikembangkan sebagai nomor pseudo-random yang diambil, hasilnya dapat berubah jika ada bagian kode yang menarik nomor tambahan. Pada pandangan pertama, kontrol versi tampaknya menjadi solusi untuk ini, karena setidaknya akan memungkinkan Anda untuk kembali dan mereproduksi …

12 random-generation 

Saya mencoba model yang sangat sederhana: pas Normal di mana saya menganggap saya tahu presisi, dan saya hanya ingin menemukan mean. Kode di bawah ini tampaknya sesuai dengan Normal dengan benar. Tetapi setelah pas, saya ingin sampel dari model, yaitu menghasilkan data baru yang mirip dengan datavariabel saya . Saya …

12 mcmc  pymc 

Saya tidak tahu jarak mana fungsi antara individu untuk digunakan dalam kasus atribut nominal (kategori unordered). Saya membaca beberapa buku teks dan mereka menyarankan fungsi Simple Matching tetapi beberapa buku menyarankan agar saya mengubah nominal ke atribut biner dan menggunakan Koefisien Jaccard . Namun, bagaimana jika nilai atribut nominal bukan …

12 distance-functions  distance  similarities  association-measure  categorical-data 

Saya membaca Elemen Pembelajaran Statistik dan pada halaman 12 (bagian 2.3) model linier dinotasikan sebagai: Yˆ=XTβˆY^=XTβ^\widehat{Y} = X^{T} \widehat{\beta} ... di mana adalah transpos dari vektor kolom prediktor / variabel / input independen. (Ini menyatakan sebelumnya "semua vektor diasumsikan vektor kolom" sehingga tidak akan membuat ini X T vektor baris …

12 regression  references  statistical-learning 

Saya sedang mengerjakan beberapa teknik pengelompokan, di mana untuk kluster vektor d-dimensi yang diberikan, saya mengasumsikan distribusi normal multivariat dan menghitung sampel vektor rata-rata d-dimensi dan matriks kovarian sampel. Kemudian ketika mencoba untuk memutuskan apakah baru, tak terlihat, d-dimensi vektor milik klaster ini saya memeriksa jarak melalui ukuran ini: (Xi−μ^X)′σ^−1X(Xi−μ^X)>B0.95(p2,−p2)(Xi−μ^X)′σ^X−1(Xi−μ^X)>B0.95(p2,-hal2)\left(X_i-\hat{\mu}_X\right)'\hat{\sigma}_X^{-1}\left(X_i-\hat{\mu}_X\right)>B_{0.95}\left(\frac{p}{2},\frac{-p}{2}\right) …

12 clustering  multivariate-analysis  covariance  covariance-matrix  matrix-inverse 

Misalkan saya memiliki matriks X yang n oleh p, yaitu ia memiliki n pengamatan, dengan masing-masing pengamatan dalam ruang p-dimensi. Bagaimana cara menemukan varians dari n pengamatan ini? Dalam kasus di mana p = 1, saya hanya perlu menggunakan rumus varian biasa. Bagaimana dengan kasus di mana p> 1.

12 variance 

Apakah ada cara yang lebih ilmiah untuk menentukan jumlah digit signifikan untuk dilaporkan dengan rata-rata atau interval kepercayaan dalam situasi yang cukup standar - misalnya kelas tahun pertama di perguruan tinggi. Saya telah melihat Jumlah angka penting untuk dimasukkan ke dalam tabel , Mengapa kita tidak menggunakan angka signifikan dan …

12 standard-deviation  error  reporting  communication 

Dapatkah seseorang tolong jelaskan mengapa kita menggunakan Model Log Linear dalam istilah yang sangat awam? Saya berasal dari latar belakang Teknik, dan ini benar-benar menjadi subjek yang sulit bagi saya, statistik. Saya akan berterima kasih atas tanggapannya.

12 modeling  log-linear 

Katakanlah saya memiliki data berikut dan saya menjalankan model regresi: df=data.frame(income=c(5,3,47,8,6,5), won=c(0,0,1,1,1,0), age=c(18,18,23,50,19,39), home=c(0,0,1,0,0,1)) Di satu sisi, saya menjalankan model linier untuk memprediksi pendapatan: md1 = lm(income ~ age + home + home, data=df) Kedua, saya menjalankan model logit untuk memprediksi variabel yang dimenangkan: md2 = glm(factor(won) ~ age + …

12 r 

Adakah yang bisa mengilustrasikan, seperti yang dilakukan Greg, tetapi secara lebih rinci, bagaimana variabel acak dapat bergantung, tetapi tidak memiliki kovarian nol? Greg, poster di sini, memberi contoh menggunakan lingkaran di sini . Adakah yang bisa menjelaskan proses ini secara lebih rinci menggunakan urutan langkah-langkah yang menggambarkan proses pada beberapa …

12 random-variable  covariance  independence 

Saya menjalankan tes root unit berikut (Dickey-Fuller) pada serangkaian waktu menggunakan ur.df()fungsi dalam urcapaket. Perintahnya adalah: summary(ur.df(d.Aus, type = "drift", 6)) Outputnya adalah: ############################################### # Augmented Dickey-Fuller Test Unit Root Test # ############################################### Test regression drift Call: lm(formula = z.diff ~ z.lag.1 + 1 + z.diff.lag) Residuals: Min 1Q Median …

12 r  time-series  hypothesis-testing  unit-root 

Saya pikir fungsi tautan kanonik berasal dari parameter alami keluarga eksponensial. Katakan, pertimbangkan keluarga lalu adalah fungsi tautan kanonik. Ambil distribusi Bernoulli sebagai contoh, kami memiliki Jadi, fungsi tautan kanonikg(⋅)g(⋅)g(\cdot)f(y,θ,ψ)=exp{yθ−b(θ)a(ψ)−c(y,ψ)}f(y,θ,ψ)=exp⁡{yθ−b(θ)a(ψ)−c(y,ψ)} f(y,\theta,\psi)=\exp\left\{\frac{y\theta-b(\theta)}{a(\psi)}-c(y,\psi)\right\} θ=θ(μ)θ=θ(μ)\theta=\theta(\mu)P(Y=y)=μy(1−μ)1−y=exp{ylogμ1−μ+log(1−μ)}P(Y=y)=μy(1−μ)1−y=exp⁡{ylog⁡μ1−μ+log⁡(1−μ)} P(Y=y)=\mu^{y}(1-\mu)^{1-y}=\exp\left\{y\log\frac{\mu}{1-\mu}+\log{(1-\mu)}\right\} g(μ)=logμ1−μg(μ)=log⁡μ1−μg(\mu)=\log\frac{\mu}{1-\mu} Tetapi ketika saya melihat slide ini , ia mengklaim bahwa Meskipun dapat dengan mudah diverifikasi untuk …

12 generalized-linear-model  link-function