Statistik dan Big Data

Saya perlu menggunakan variabel biner (nilai 0 & 1) dalam k-means. Tetapi k-means hanya bekerja dengan variabel kontinu. Saya tahu beberapa orang masih menggunakan variabel-variabel biner ini dalam k-means mengabaikan fakta bahwa k-means hanya dirancang untuk variabel kontinu. Bagi saya ini tidak bisa diterima. Pertanyaan: Jadi apa cara yang benar …

27 r  clustering  binary-data  k-means  mixed-type-data 

Saya ingin mempelajari peristiwa langka dalam populasi terbatas. Karena saya tidak yakin tentang strategi mana yang paling cocok, saya akan menghargai tips dan referensi yang berkaitan dengan masalah ini, meskipun saya sangat menyadari bahwa strategi ini telah banyak dibahas. Aku benar-benar tidak tahu harus mulai dari mana. Masalah saya adalah …

27 logistic  rare-events 

Dapatkah seseorang tolong beri tahu saya perbedaan antara kernel di SVM: Linier Polinomial Gaussian (RBF) Sigmoid Karena seperti yang kita ketahui bahwa kernel digunakan untuk memetakan ruang input kami ke ruang fitur berdimensi tinggi. Dan dalam ruang fitur itu, kami menemukan batas yang dapat dipisahkan secara linear .. Kapan mereka …

27 machine-learning  svm  pattern-recognition  kernel-trick 

Jika dan adalah dua vektor satuan acak independen di (didistribusikan secara seragam pada unit sphere), apa distribusi produk skalar mereka (produk titik) ?y R D x ⋅ yxx\mathbf{x}yy\mathbf{y}RDRD\mathbb{R}^Dx⋅yx⋅y\mathbf x \cdot \mathbf y Saya kira ketika menumbuhkan distribusi dengan cepat (?) Menjadi normal dengan rata-rata nol dan penurunan varians dalam dimensi …

27 mathematical-statistics  linear-algebra  beta-distribution 

Dalam algoritma hutan acak, Breiman (penulis) membangun matriks kesamaan sebagai berikut: Kirimkan semua contoh pembelajaran di setiap pohon di hutan Jika dua contoh mendarat di kenaikan daun yang sama elemen yang sesuai dalam matriks kesamaan dengan 1 Normalisasikan matriks dengan jumlah pohon Dia berkata: Perkiraan antara kasus n dan k …

27 random-forest  distance  similarities  euclidean 

Mengikuti pertanyaan saya di sini , saya bertanya-tanya apakah ada pandangan yang kuat untuk atau menentang penggunaan deviasi standar untuk mendeteksi outlier (misalnya setiap titik data yang lebih dari 2 deviasi standar adalah outlier). Saya tahu ini tergantung pada konteks penelitian, misalnya titik data, 48kg, pasti akan menjadi pencilan dalam …

27 outliers 

K-fold cross-validation dapat digunakan untuk memperkirakan kemampuan generalisasi dari classifier yang diberikan. Bisakah saya (atau harus saya) juga menghitung varians yang dikumpulkan dari semua validasi berjalan untuk mendapatkan estimasi yang lebih baik dari variansnya? Jika tidak, mengapa? Saya telah menemukan makalah yang menggunakan deviasi standar gabungan lintas berjalan validasi . …

27 machine-learning  cross-validation 

Langkah pra-pemrosesan umum untuk algoritma pembelajaran mesin adalah memutihkan data. Sepertinya itu selalu baik untuk melakukan pemutihan karena tidak berkorelasi dengan data, membuatnya lebih mudah untuk dimodelkan. Kapan pemutihan tidak disarankan? Catatan: Saya merujuk pada de-korelasi data.

27 data-transformation 

Saya menjalankan GEE pada data tidak seimbang 3-level, menggunakan tautan logit. Bagaimana hal ini berbeda (dalam hal kesimpulan yang dapat saya gambar dan arti dari koefisien) dari GLM dengan efek campuran (GLMM) dan tautan logit? Lebih detail: Pengamatan adalah uji coba bernoulli tunggal. Mereka dikelompokkan dikelompokkan ke dalam ruang kelas …

27 logistic  mixed-model  generalized-linear-model  interpretation  gee 

Saya telah belajar bahwa saya harus menguji normalitas bukan pada data mentah tetapi residu mereka. Haruskah saya menghitung residu dan kemudian melakukan tes W Shapiro-Wilk? Apakah residu dihitung sebagai: ?Xsaya- berartiXsaya-berartiX_i - \text{mean} Silakan lihat pertanyaan sebelumnya untuk data saya dan desainnya.

27 normality-assumption  residuals  assumptions 

Saya bertanya-tanya apakah ada cara sederhana untuk menghasilkan daftar variabel menggunakan for for, dan memberikan nilainya. for(i in 1:3) { noquote(paste("a",i,sep=""))=i } Pada kode di atas, saya mencoba untuk membuat a1, a2, a3, yang menetapkan dengan nilai-nilai 1, 2, 3. Namun, R memberikan pesan kesalahan. Terima kasih atas bantuan Anda.

27 r 

Apakah ada 99 persen, atau 100 persen? Dan apakah mereka kelompok angka, atau garis pembagi, atau petunjuk ke nomor individu? Saya kira pertanyaan yang sama akan berlaku untuk kuartil atau kuantil apa pun. Saya telah membaca bahwa indeks angka pada persentil tertentu (p), diberikan n item, adalah i = (p …

27 quantiles 

Saya terkejut ini belum ditanyakan sebelumnya, tetapi saya tidak dapat menemukan pertanyaan di stats.stackexchange. Ini adalah rumus untuk menghitung varians dari sampel yang terdistribusi normal: ∑(X−X¯)2n−1∑(X−X¯)2n−1\frac{\sum(X - \bar{X}) ^2}{n-1} Ini adalah rumus untuk menghitung rata-rata kesalahan kuadrat pengamatan dalam regresi linier sederhana: ∑(yi−y^i)2n−2∑(yi−y^i)2n−2\frac{\sum(y_i - \hat{y}_i) ^2}{n-2} Apa perbedaan antara kedua …

27 variance  error 

Adakah yang bisa memberi tahu saya cara menilai apakah model pembelajaran mesin yang diawasi sesuai atau tidak? Jika saya tidak memiliki dataset validasi eksternal, saya ingin tahu apakah saya dapat menggunakan ROC validasi silang 10 kali lipat untuk menjelaskan overfitting. Jika saya memiliki dataset validasi eksternal, apa yang harus saya …

27 machine-learning 

Apa perbedaan antara tes Kwiatkowski – Phillips – Schmidt-Shin (KPSS) dan tes augmented Dickey-Fuller (ADF)? Apakah mereka menguji hal yang sama? Atau apakah kita perlu menggunakannya dalam situasi yang berbeda?

27 time-series  stationarity  unit-root  augmented-dickey-fuller  kpss-test