Statistik dan Big Data

Saya telah menghitung autokorelasi pada data deret waktu tentang pola pergerakan ikan berdasarkan posisinya: X ( x.ts) dan Y ( y.ts). Dengan menggunakan R, saya menjalankan fungsi berikut dan menghasilkan plot berikut: acf(x.ts,100) acf(y.ts,100) Pertanyaan saya adalah, bagaimana saya menafsirkan plot ini? Informasi apa yang diperlukan untuk melaporkan segala jenis …

13 r  time-series  autocorrelation 

Dalam kasus khusus ini saya mengacu pada hari di mana sebuah danau membeku. Tanggal "es" ini hanya terjadi setahun sekali, tetapi kadang-kadang tidak terjadi sama sekali (jika musim dingin hangat). Jadi pada satu tahun danau itu mungkin membeku pada hari 20 (20 Januari), dan satu tahun lagi mungkin tidak membeku …

13 regression  time-series  survival  data-transformation  recurrent-events 

Saya ditanya pertanyaan ini dengan dalam sebuah wawancara. Apakah ada jawaban yang "benar"?( n , k ) = ( 400 , 220 )(n,k)=(400,220)(n, k) = (400, 220) Asumsikan lemparannya iid dan probabilitas kepala adalah . Distribusi jumlah head dalam 400 kali lemparan harus dekat dengan Normal (200, 10 ^ 2), …

13 probability  hypothesis-testing  self-study  prior 

Saya telah belajar bahwa ketika memilih sejumlah cluster, Anda harus mencari titik siku untuk nilai K. yang berbeda. Saya telah merencanakan nilai withinss untuk nilai k dari 1 hingga 10, tetapi saya tidak melihat dengan jelas siku. Apa yang Anda lakukan dalam kasus seperti ini?

13 clustering  k-means 

Saat ini saya mencoba menghitung BIC untuk kumpulan data mainan saya (ofc iris (:). Saya ingin mereproduksi hasil seperti yang ditunjukkan di sini (Gbr. 5). Makalah itu juga merupakan sumber saya untuk formula BIC. Saya memiliki 2 masalah dengan ini: Notasi: nsayanin_i = jumlah elemen dalam klastersayaii CsayaCiC_i = pusat …

13 python  k-means  scikit-learn  bic 

Saya mencoba memahami regresi logistik Firth (metode penanganan pemisahan logistik sempurna / lengkap atau kuasi-lengkap) sehingga saya dapat menjelaskannya kepada orang lain dalam istilah yang disederhanakan. Adakah yang punya penjelasan bodoh tentang modifikasi estimasi Firth yang dibuat untuk MLE? Saya telah membaca, semampu saya, Firth (1993) dan saya mengerti koreksi …

13 logistic  maximum-likelihood  separation 

Adapun judulnya, idenya adalah menggunakan informasi timbal balik, di sini dan setelah MI, untuk memperkirakan "korelasi" (didefinisikan sebagai "seberapa banyak yang saya ketahui tentang A ketika saya tahu B") antara variabel kontinu dan variabel kategorikal. Saya akan memberi tahu Anda pemikiran saya tentang masalah ini sebentar lagi, tetapi sebelum saya …

13 correlation  information-theory  mutual-information 

Saya mengerti prinsip dasar di balik algoritma untuk LLE terdiri dari tiga langkah. Menemukan lingkungan setiap titik data dengan beberapa metrik seperti k-nn. Temukan bobot untuk setiap tetangga yang menunjukkan efek yang dimiliki tetangga pada titik data. Bangun penyisipan data dimensi rendah berdasarkan bobot yang dihitung. Tetapi penjelasan matematis dari …

13 machine-learning  model-selection  feature-selection  dimensionality-reduction  nonlinear 

Saya belajar Model Grafis Probabilistik , sebuah buku untuk belajar mandiri. Apakah tepi dalam grafik asiklik terarah (DAG) mewakili hubungan sebab akibat? Bagaimana jika saya ingin membangun jaringan Bayesian , tetapi saya tidak yakin tentang arah panah di dalamnya? Semua data akan memberi tahu saya adalah korelasi yang diamati, bukan …

13 causality  graphical-model  bayesian-network  dag 

Ini adalah pertanyaan visualisasi data - Saya harap tidak ada masalah untuk menanyakannya di sini. Kapan tepat menggunakan isian di bawah grafik garis untuk rangkaian waktu, seperti grafik di bawah ini? (yang menampilkan waktu ping lebih dari sehari) Saya kira lebih umum menggunakan garis polos, tanpa isian di bawahnya, tetapi …

13 data-visualization 

Saya ingin menggunakan imputasi untuk mengganti nilai yang hilang dalam kumpulan data saya di bawah batasan tertentu. Sebagai contoh, saya ingin variabel yang diperhitungkan x1menjadi lebih besar atau sama dengan jumlah dari dua variabel saya yang lain, katakan x2dan x3. Saya juga ingin x3diperhitungkan oleh salah satu 0atau >= 14dan …

13 r  spss  missing-data  multiple-imputation 

Saya telah membaca beberapa penjelasan tentang sifat-sifat model linear vs nonlinear, tetapi masih saya kadang-kadang tidak yakin apakah model di tangan adalah linear atau nonlinear. Sebagai contoh, apakah model berikut ini linear atau nonlinier? yt=β0+β1B(L;θ)Xt+εtyt=β0+β1B(L;θ)Xt+εty_t=\beta_0 + \beta_1B(L;\theta)X_t+\varepsilon_t Dengan: B(L;θ)=∑k=1Kb(k;θ)LkB(L;θ)=∑k=1Kb(k;θ)LkB(L;\theta)=\sum_{k=1}^{K}b(k;\theta)L^k LkXt=Xt−kLkXt=Xt−kL^kX_t=X_{t-k} Di mana mewakili (a meluruh) Alon fungsi Polinomial Eksponensial dari …

13 linear-model  nonlinear-regression  nonlinear 

Saya menjalankan kmeans untuk mengidentifikasi kelompok pelanggan. Saya memiliki sekitar 100 variabel untuk mengidentifikasi cluster. Masing-masing variabel ini mewakili% pengeluaran oleh pelanggan pada suatu kategori. Jadi, jika saya memiliki 100 kategori, saya memiliki 100 variabel ini sehingga jumlah dari variabel-variabel ini adalah 100% untuk setiap pelanggan. Sekarang, variabel-variabel ini sangat …

13 clustering  data-mining  k-means  multicollinearity  compositional-data 

Buku pelajaran yang berbeda mengutip kondisi yang berbeda untuk keberadaan matriks informasi Fisher. Beberapa kondisi seperti tercantum di bawah ini, masing-masing muncul dalam beberapa, tetapi tidak semua, definisi "matriks informasi Fisher". Apakah ada standar, serangkaian kondisi minimal? Dari 5 kondisi di bawah ini, mana yang bisa dilakukan? Jika salah satu …

13 fisher-information 

Pertanyaan di atas mengatakan semuanya. Pada dasarnya pertanyaan saya adalah untuk fungsi pemasangan generik (bisa rumit semena-mena) yang akan nonlinier dalam parameter yang saya coba perkirakan, bagaimana cara memilih nilai awal untuk menginisialisasi fit? Saya mencoba melakukan kuadrat terkecil nonlinier. Apakah ada strategi atau metode? Apakah ini sudah dipelajari? Ada …

13 least-squares  nonlinear-regression  starting-values