Statistik dan Big Data

Misalkan saya telah memasangkan pengamatan yang ditarik iid sebagai untuk . Misalkan dan dilambangkan dengan yang th nilai yang diamati terbesar . Apa distribusi (bersyarat) ? (atau setara dengan )Xi∼N(0,σ2x),Yi∼N(0,σ2y),Xi∼N(0,σx2),Yi∼N(0,σy2),X_i \sim \mathcal{N}\left(0,\sigma_x^2\right), Y_i \sim \mathcal{N}\left(0,\sigma_y^2\right),i=1,2,…,ni=1,2,…,ni=1,2,\ldots,nZi=Xi+Yi,Zi=Xi+Yi,Z_i = X_i + Y_i,ZijZijZ_{i_j}jjjZZZXijXijX_{i_j}YijYijY_{i_j} Yaitu, apa distribusi bersyarat pada menjadi yang ke- terbesar dari nilai …

9 distributions  order-statistics  shrinkage 

Saya bingung tentang analisis permutasi untuk pemilihan fitur dalam konteks regresi logistik. Bisakah Anda memberikan penjelasan yang jelas tentang tes permutasi acak dan bagaimana hal itu berlaku untuk pemilihan fitur? Mungkin dengan algoritma dan contoh yang tepat. Akhirnya, Bagaimana perbandingannya dengan metode penyusutan lain seperti Lasso atau LAR?

9 regression  logistic  feature-selection  permutation-test  shrinkage 

Saya melakukan dekomposisi SVD dan penskalaan multidimensi dari matriks data 6 dimensi, untuk mendapatkan pemahaman yang lebih baik tentang struktur data. Sayangnya, semua nilai singular memiliki urutan yang sama, menyiratkan bahwa dimensi data memang 6.. Namun, saya ingin dapat menafsirkan nilai-nilai vektor singular. Misalnya, yang pertama tampaknya kurang lebih sama …

9 pca  interpretation  dimensionality-reduction  svd 

Saya bekerja dengan serangkaian waktu skor anomali (latar belakang adalah deteksi anomali di jaringan komputer). Setiap menit, saya mendapatkan sebuah anomali mencetak yang memberitahu saya bagaimana "tak terduga" atau abnormal keadaan saat ini jaringan. Semakin tinggi skor, semakin abnormal kondisi saat ini. Skor mendekati 5 secara teori dimungkinkan tetapi terjadi …

9 time-series  outliers  threshold 

Menurut wiki kriteria konvergensi yang paling banyak digunakan adalah "tugas belum berubah". Saya bertanya-tanya apakah bersepeda dapat terjadi jika kita menggunakan kriteria konvergensi? Saya akan senang jika ada orang yang menunjuk referensi ke artikel yang memberikan contoh bersepeda atau membuktikan bahwa ini tidak mungkin.

9 clustering  algorithms  k-means 

Saya memodelkan Prediksi Diabetes menggunakan Regresi Logistik. Dataset yang digunakan adalah Sistem Pengawasan Faktor Risiko Perilaku (BRFSS) dari Center for Disease Control (CDC). Salah satu variabel independen adalah Tekanan Darah Tinggi. Ini adalah kategori dengan level berikut 'Ya', 'Tidak', 'Tidak tahu / Ditolak'. Haruskah saya menghapus baris dengan 'Tidak tahu …

9 logistic  missing-data 

Kebanyakan algoritma pengelompokan yang saya lihat dimulai dengan membuat jarak masing-masing untuk setiap titik, yang menjadi masalah pada kumpulan data yang lebih besar. Apakah ada yang tidak melakukannya? Atau apakah itu dalam semacam pendekatan parsial / perkiraan / terhuyung-huyung? Algoritma / implementasi clustering mana yang membutuhkan waktu kurang dari O …

9 clustering  algorithms  large-data 

Saya telah memasukkan dua model persamaan estimasi umum (GEE) ke data saya: 1) Model 1: Hasil adalah variabel Ya / Tidak longitudinal (A) (tahun 1,2,3,4,5) dengan prediktor kontinu longitudinal (B) untuk tahun 1,2,3,4,5. 2) Model 2: Hasil adalah variabel Ya / Tidak longitudinal yang sama (A), tetapi sekarang dengan prediktor …

9 logistic  gee 

Konteks: Saya memiliki dua set data dari kuesioner yang sama selama dua tahun. Setiap pertanyaan diukur menggunakan skala 5-Likert. T1: Skema pengkodean Saat ini, saya telah mengkodekan respons saya pada interval [0, 1], dengan 0 yang berarti "respons paling negatif", 1 yang berarti "respons paling positif", dan respons lain berjarak …

9 statistical-significance  likert 

Saya melihat data yang sangat tidak linier dimana model ARMA / ARIMA tidak berfungsi dengan baik. Padahal, saya melihat beberapa autokorelasi, dan saya curiga memiliki hasil yang lebih baik untuk autokorelasi non linier. 1 / adakah yang setara dengan PACF untuk korelasi peringkat? (dalam R?) 2 / apakah ada model …

9 r  correlation  nonparametric  garch  arma 

Paket libsvm yang luar biasa menyediakan antarmuka python dan file "easy.py" yang secara otomatis mencari parameter pembelajaran (biaya & gamma) yang memaksimalkan akurasi classifier. Dalam satu set parameter pembelajaran kandidat tertentu, keakuratan dioperasionalkan dengan validasi silang, tetapi saya merasa seperti ini merusak tujuan validasi silang. Yaitu, sejauh parameter pembelajaran itu …

9 cross-validation  svm 

Saya memiliki dua set data dari studi asosiasi genome. Satu-satunya informasi yang tersedia adalah rasio ganjil dan interval kepercayaan mereka (95%) untuk setiap SNP genotipe. Saya ingin membuat plot hutan yang membandingkan dua rasio odds ini, tetapi saya tidak dapat menemukan cara untuk menghitung interval kepercayaan gabungan untuk memvisualisasikan efek …

9 confidence-interval  meta-analysis  genetics  odds-ratio 

Tim sepak bola Inggris memainkan serangkaian pertandingan melawan lawan yang berbeda dari berbagai kemampuan. Taruhan menawarkan peluang untuk setiap pertandingan, apakah itu pertandingan kandang, menang tandang, atau seri. Bagian-jalan melalui musim, tim telah memainkan pertandingan dan telah menarik dari mereka, yang lebih dari yang diharapkan dari peluang.nnnkkk Berapa probabilitas bahwa …

9 probability  games  gambling 

Terkunci . Pertanyaan ini dan jawabannya dikunci karena pertanyaannya di luar topik tetapi memiliki signifikansi historis. Saat ini tidak menerima jawaban atau interaksi baru. Saya berasumsi R memiliki built-in ini. Bagaimana saya merujuknya?

9 r  normal-distribution 

Kumpulan data saya terdiri dari angka kematian total atau kelangsungan hidup suatu organisme pada tiga tipe lokasi, inshore, midchannel, dan offshore. Angka-angka dalam tabel di bawah ini mewakili jumlah situs. 100% Mortality 100% Survival Inshore 30 31 Midchannel 10 20 Offshore 1 10 Saya ingin tahu apakah # situs tempat …

9 logistic  multiple-comparisons  chi-squared  r  text-mining  clustering  classification  feature-selection  unsupervised-learning  time-series  references  mode  hypothesis-testing  confidence-interval  bootstrap  normal-distribution  order-statistics  correlation  statistical-significance  spss  bayesian  beta-binomial