Statistik dan Big Data

Saya mendapatkan model untuk regresi logistik untuk multiclass yang diberikan oleh P(Y=j|X(i))=exp(θTjX(i))1+∑km=1exp(θTmX(i))P(Y=j|X(i))=exp⁡(θjTX(i))1+∑m=1kexp⁡(θmTX(i)) P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^TX^{(i)})}{1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})} di mana k adalah jumlah kelas theta adalah parameter yang harus diperkirakan j adalah kelas j Xi adalah data pelatihan Yah satu hal yang tidak saya dapatkan adalah bagaimana bagian penyebut menormalkan model. …

10 logistic  multinomial 

Misalkan saya amati iid , dan keinginan untuk menguji H 0 : A vech ( Σ - 1 ) = a untuk Selaras matriks A dan vektor a . Apakah ada pekerjaan yang diketahui untuk masalah ini?xsaya∼ N( μ , Σ )xi∼N(μ,Σ)x_i \sim \mathcal{N}\left(\mu,\Sigma\right)H0: A H0:A H_0: A\ ( Σ- …

10 hypothesis-testing  normal-distribution  multivariate-analysis  maximum-likelihood  covariance 

Apa asumsi yang tepat dari Regresi Logistik Multinomial? Dan apa tes terbaik untuk memenuhi asumsi ini menggunakan SPSS 18?

10 logistic  spss  assumptions  multinomial  multinomial-logit 

Saya mencoba untuk mereplikasi karya seorang kolega dan saya memindahkan analisis dari Stata ke R. Model yang dia gunakan memanggil opsi "cluster" dalam fungsi nbreg untuk mengelompokkan kesalahan standar. Lihat http://repec.org/usug2007/crse.pdf untuk deskripsi yang cukup lengkap tentang apa dan mengapa opsi ini Pertanyaan saya adalah bagaimana menjalankan opsi yang sama …

10 r  stata  negative-binomial 

Dalam pengaturan multivariat regresi berganda (vektor regressor dan regressand), empat tes utama untuk hipotesis umum (Wilk Lambda, Pillai-Bartlett, Hotelling-Lawley, dan Roy's Root Terbesar) semua tergantung pada nilai eigen dari matriks , di mana dan adalah matriks variasi 'dijelaskan' dan 'total'. H EHE−1HE−1H E^{-1}HHHEEE Saya telah memperhatikan bahwa statistik Pillai dan …

10 regression  multiple-regression  multivariate-analysis  manova 

Kami selalu mengatakan bahwa statistik hanya berurusan dengan data. Tetapi kita juga tahu bahwa informatika juga mendapatkan pengetahuan dari analisis data. Sebagai contoh, orang-orang bioinformatika dapat sepenuhnya pergi tanpa biostatistik. Saya ingin tahu apa perbedaan mendasar antara statistik dan informatika.

10 bioinformatics 

Jika saya mencocokkan data saya dengan sesuatu seperti lm(y~a*b), dalam sintaks R, di mana avariabel biner dan bvariabel numerik, maka a:bistilah interaksi adalah perbedaan antara kemiringan pada y~bat a= 0 dan at a= 1. Sekarang, katakanlah hubungan antara ydan bmelengkung. Jika saya sekarang cocok lm(y~a*poly(b,2)), maka a:poly(b,2)1perubahan dalam y~bkondisi bersyarat …

10 r  multiple-regression  splines 

Hanya didasarkan pada pola temporal klik mouse (daftar waktu klik ), apakah mungkin untuk memprediksi aktivitas pengguna komputer?[t1,t2,t3,…][t1,t2,t3,…][t_1,t_2,t_3,\ldots] Misalnya keluar dari: bekerja vs menghabiskan waktu di Facebook vs menonton foto vs bermain game komputer. Jika mereka prediksi yang lebih baik (misalnya bermain StarCraft vs Counter Strike vs SimCity) maka saya …

10 time-series  signal-processing  pattern-recognition 

Ada banyak metode untuk melakukan regularisasi - , , dan regularisasi berbasis misalnya. Menurut Friedman Hastie & Tibsharani , pembuat peraturan terbaik tergantung pada masalah: yaitu sifat fungsi target yang sebenarnya, dasar tertentu yang digunakan, rasio sinyal terhadap kebisingan, dan ukuran sampel.L 1 L 2L.0L0L_0L.1L1L_1L.2L2L_2 Adakah penelitian empiris yang membandingkan …

10 r  regression  machine-learning  regularization 

Saya mencoba menentukan apakah probabilitas sederhana akan bekerja untuk masalah saya atau apakah akan lebih baik menggunakan (dan mempelajari) metode yang lebih canggih seperti regresi logistik. Variabel respons dalam masalah ini adalah respons biner (0, 1). Saya memiliki sejumlah variabel prediktor yang semuanya kategorikal dan tidak berurutan. Saya mencoba menentukan …

10 r  probability  logistic 

Saya telah melakukan langkah-langkah berulang ANOVA tiga arah; Analisis post-hoc apa yang valid? Ini adalah desain yang sepenuhnya seimbang (2x2x2) dengan salah satu faktor memiliki pengukuran berulang dalam-subyek. Saya menyadari berbagai pendekatan multivariat untuk tindakan ANOVA yang berulang di R, tetapi insting pertama saya adalah melanjutkan dengan gaya aov () …

10 r  anova  repeated-measures  interaction  post-hoc 

Jika pernah ada kasus di mana ini menjadi jelas adalah dengan masalah Monty Hall. Bahkan Paul Erdos yang hebat pun tertipu oleh masalah ini. Pertanyaan saya yang mungkin sulit dijawab adalah tentang probabilitasnya sehingga kita bisa begitu yakin dengan jawaban yang kita peroleh dengan argumen intuisi dan salah. Hukum Benford …

10 probability  conditional-probability  paradox  heuristic 

Misalkan saya memiliki 'ahli', dari siapa saya ingin memperoleh distribusi sebelum pada beberapa variabel . Saya ingin memotivasi mereka dengan uang sungguhan . Idenya adalah untuk memperoleh prior, mengamati merealisasikan variabel acak , kemudian membagi beberapa 'dompet' yang telah ditentukan di antara para ahli berdasarkan pada seberapa baik prior mereka …

10 bayesian  prior 

Saya mungkin mencampurkan konsep deret waktu dan deret waktu saya, tetapi apa perbedaan antara model regresi yang menunjukkan korelasi serial dan model yang menunjukkan unit root? Selain itu, mengapa Anda dapat menggunakan tes Durbin-Watson untuk menguji korelasi serial, tetapi harus menggunakan tes Dickey-Fuller untuk unit root? (Buku teks saya mengatakan …

10 time-series  autocorrelation  unit-root 

Saya tertarik dengan definisi kuartil yang biasanya digunakan saat Anda menggunakan statistik dasar. Saya memiliki buku tipe Stat 101 dan hanya memberikan definisi intuitif. "Sekitar seperempat dari data jatuh pada atau di bawah kuartil pertama ..." Tapi, itu memberikan contoh di mana ia menghitung Q1, Q2, dan Q3 untuk set …

10 excel  quantiles