Statistik dan Big Data

Saya membaca sedikit tentang analisis survival dan sebagian besar buku pelajaran menyatakan itu h(t)=limΔt→0P(t&lt;T≤t+Δt|T≥t)Δt=f(t)1−F(t)(1)h(t)=limΔt→0P(t&lt;T≤t+Δt|T≥t)Δt=f(t)1−F(t)(1)h(t)= \lim_{ \Delta t \rightarrow 0} \frac{P(t < T \leq t+\Delta t |T \geq t )}{ \Delta t} =\frac{f(t)}{1-F(t)} (1) di mana h(t)h(t)h(t) adalah tingkat bahaya, f(t)=limΔt→0P(t&lt;T≤t+Δt)Δt(2)f(t)=limΔt→0P(t&lt;T≤t+Δt)Δt(2)f(t)=\lim_{\Delta t \rightarrow 0} \frac{P(t < T \leq t+\Delta t)}{ \Delta …

11 survival 

Regresi Ridge dapat dinyatakan sebagai mana adalah label yang diprediksi , yang mengidentifikasi matriks, obyek kita mencoba untuk menemukan label untuk, dan yang matriks benda sedemikian rupa sehingga: y akudd×dxXn×dnxi=(xi,1,...,Xi,d)∈Rdy^=(X′X+aId)−1Xxy^=(X′X+aId)−1Xx\hat{y} = (\mathbf{X'X} + a\mathbf{I}_d)^{-1}\mathbf{X}xy^y^\hat{y}IdId\mathbf{I}_dd×dd×dd \times dxx\mathbf{x}XX\mathbf{X}n × dn×dn \times dnnnxsaya= ( xsaya , 1, . . . , xsaya , …

11 regression  ridge-regression  kernel-trick 

Pertanyaan Saya sangat tertarik dengan metode Eigenmaps Laplacian. Saat ini, saya menggunakannya untuk melakukan pengurangan dimensi pada set data medis saya. Namun, saya mengalami masalah menggunakan metode ini. Sebagai contoh, saya punya beberapa data (sinyal spektra), dan saya bisa menggunakan PCA (atau ICA) untuk mendapatkan beberapa PC (atau IC). Masalahnya …

11 pca  ica 

Katakanlah saya punya tabel dengan kolom "A", "B" Apakah ada metode statistik untuk menentukan apakah "A" menyebabkan "B" terjadi? Seseorang tidak dapat menggunakan Pearson's r, karena: hanya menguji korelasi antara nilai-nilai korelasi bukanlah sebab-akibat Pearson's r hanya dapat menghubungkan hubungan linier Jadi, opsi apa lagi yang saya miliki di sini?

11 correlation  causality 

Kami mencoba membuat nilai acak berkorelasi otomatis yang akan digunakan sebagai rentang waktu. Kami tidak memiliki data yang ada yang kami rujuk dan hanya ingin membuat vektor dari awal. Di satu sisi kita tentu saja perlu proses acak dengan distribusi dan SD-nya. Di sisi lain autokorelasi yang memengaruhi proses acak …

11 r  time-series  random-variable  autocorrelation  lags 

Misalkan kita memiliki kumpulan data berikut: Men Women Dieting 10 30 Non-dieting 5 60 Jika saya menjalankan tes pasti Fisher di R maka apa yang alternative = greatermenyiratkan (atau kurang)? Sebagai contoh: mat = matrix(c(10,5,30,60), 2,2) fisher.test(mat, alternative="greater") Saya mendapatkan p-value = 0.01588dan odds ratio = 3.943534. Juga, ketika saya …

11 r  statistical-significance  contingency-tables  fishers-exact 

Saya menggunakan hutan acak pada data kelompok berdimensi tinggi (50 variabel input numerik) yang memiliki struktur hierarki. Data dikumpulkan dengan 6 replikasi pada 30 posisi dari 70 objek berbeda yang menghasilkan 12600 titik data, yang tidak independen. Tampaknya hutan acak terlalu pas data, karena kesalahan oob jauh lebih kecil dari …

11 regression  random-forest 

Apakah ada metode untuk memahami apakah dua garis paralel (kurang lebih)? Saya memiliki dua garis yang dihasilkan dari regresi linier dan saya ingin memahami jika mereka paralel. Dengan kata lain, saya ingin mendapatkan perbedaan dari kedua garis tersebut. Apakah ada fungsi R untuk menghitung ini? EDIT: ... dan bagaimana saya …

11 r  regression  interaction  linear-model 

Saya tidak begitu mengerti perbedaan antara distribusi eksponensial dan geometris.

11 distributions 

Saya memiliki dua seri data yang merencanakan usia rata-rata saat meninggal seiring waktu. Kedua seri menunjukkan peningkatan usia saat kematian dari waktu ke waktu, tetapi satu jauh lebih rendah dari yang lain. Saya ingin menentukan apakah kenaikan usia saat kematian dari sampel yang lebih rendah berbeda secara signifikan dibandingkan dengan …

11 time-series  correlation  stata 

Baru-baru ini saya diberitahu bahwa tidak mungkin untuk menggabungkan kovariat yang bervariasi waktu dalam model campuran longitudinal tanpa memperkenalkan jeda waktu untuk kovariat ini. Bisakah Anda mengkonfirmasi / menolak ini? Apakah Anda punya referensi tentang situasi ini? Saya mengusulkan situasi sederhana untuk mengklarifikasi. Misalkan saya telah mengulangi pengukuran (katakanlah lebih …

11 r  mixed-model  lme4-nlme 

Setelah bekerja sebagian besar dengan data cross sectional sejauh ini dan sangat baru-baru ini browsing, pemindaian tersandung melalui sekelompok literatur seri waktu pengantar Aku bertanya-tanya apa peran variabel penjelas peran yang dimainkan dalam analisis deret waktu. Saya ingin menjelaskan tren alih-alih tren. Sebagian besar dari apa yang saya baca sebagai …

11 r  time-series  multivariate-analysis 

Saya belum belajar statistik selama lebih dari 10 tahun (dan kemudian hanya kursus dasar), jadi mungkin pertanyaan saya agak sulit untuk dipahami. Bagaimanapun, apa yang ingin saya lakukan adalah mengurangi jumlah titik data dalam suatu seri. Sumbu x adalah jumlah milidetik sejak dimulainya pengukuran dan sumbu y adalah bacaan untuk …

11 data-visualization 

Pertimbangkan masalah statistik di mana Anda memiliki responsevariabel yang ingin Anda jelaskan kondisional pada explanatoryvariabel dan nestedvariabel, di mana variabel bersarang hanya muncul sebagai variabel yang bermakna untuk nilai-nilai tertentu dari variabel penjelas . Dalam kasus di mana variabel penjelas tidak mengakui variabel bertingkat yang berarti, yang terakhir biasanya dikodekan …

11 regression  generalized-linear-model  glmm  nested-data 

Tentukan "koin memiliki probabilitas 1 untuk mendarat" Asumsikan bahwa seseorang memiliki kepercayaan sebelumnya: . Namun setelah melempar koin setelah mendaratkan ekor ( "koin mendaratkan ekor"). Bagaimana seharusnya seorang Bayesian memperbarui keyakinannya agar tetap koheren? tidak terdefinisi, karena P (E) = 0 . Namun, bagi saya tampaknya karena kepercayaannya sebelumnya sangat …

11 probability  bayesian  philosophical