Statistik dan Big Data

Jika dalam kernel PCA saya memilih kernel linear , apakah hasilnya akan berbeda dari PCA linear biasa ? Apakah solusinya berbeda secara mendasar atau apakah ada hubungan yang didefinisikan dengan baik?K(x,y)=x⊤yK(x,y)=x⊤yK(\mathbf{x},\mathbf{y}) = \mathbf x^\top \mathbf y

17 pca  kernel-trick 

Misalkan kita memiliki fungsi yang hanya dapat kita amati melalui beberapa noise. Kami tidak dapat menghitung f ( x ) secara langsung, hanya f ( x ) + η di mana η adalah noise acak. (Dalam praktiknya: Saya menghitung f ( x ) menggunakan beberapa metode Monte Carlo.)f(x)f(x)f(x)f(x)f(x)f(x)f(x)+ηf(x)+ηf(x) + \etaηη\etaf(x)f(x)f(x) …

17 approximation 

Maksud saya bukan nilai yang mendekati nol (dibulatkan menjadi nol oleh beberapa perangkat lunak statistik) melainkan nilai yang benar-benar nol. Jika demikian, apakah itu berarti bahwa probabilitas mendapatkan data yang diperoleh dengan asumsi hipotesis nol benar juga nol? Apa (beberapa contoh) dari uji statistik yang dapat mengembalikan hasil seperti ini? …

17 hypothesis-testing  statistical-significance  p-value 

Saya menjalankan regresi logistik ordinal ini di R: mtcars_ordinal <- polr(as.factor(carb) ~ mpg, mtcars) Saya mendapatkan ringkasan model ini: summary(mtcars_ordinal) Re-fitting to get Hessian Call: polr(formula = as.factor(carb) ~ mpg, data = mtcars) Coefficients: Value Std. Error t value mpg -0.2335 0.06855 -3.406 Intercepts: Value Std. Error t value 1|2 …

17 r  regression  logistic  interpretation  ordered-logit 

Saya seorang siswa yang mengambil kursus Statistik pertama saya sekarang. Saya bingung dengan istilah "statistik uji". Berikut ini (saya melihat ini di beberapa buku teks), tampaknya merupakan nilai spesifik yang dihitung dari sampel tertentu. tttt=x¯¯¯−μ0s/n−−√t=x¯−μ0s/n t=\frac{\overline{x} - \mu_0}{s / \sqrt{n}} Namun, berikut ini (saya melihat ini di beberapa buku teks …

17 hypothesis-testing  t-test  random-variable  definition 

Saya mencoba mengidentifikasi model terbaik untuk memprediksi harga mobil, menggunakan harga dan fitur yang tersedia di situs iklan baris mobil. Untuk ini saya menggunakan beberapa model dari perpustakaan scikit-belajar dan model jaringan saraf dari pybrain dan neurolab. Pendekatan yang saya gunakan sejauh ini adalah menjalankan jumlah data tetap melalui beberapa …

17 machine-learning  neural-networks  random-forest  r-squared  elastic-net 

Saya mencoba mencari cara untuk menghitung Rand Index dari algoritma cluster, tapi saya terjebak pada titik bagaimana menghitung negatif benar dan salah. Saat ini saya menggunakan contoh dari buku An Introduction to Information Retrieval (Manning, Raghavan & Schütze, 2009). Di halaman 359 mereka berbicara tentang bagaimana cara menghitung indeks Rand. …

17 clustering 

Saya memiliki dua distribusi di mana hanya ringkasan 5-angka (minimum, kuartil 1, median, kuartil ke-3, maksimum) dan ukuran sampel diketahui. Cntrary ke pertanyaan di sini , tidak semua titik data tersedia. Apakah ada tes statistik non-parametrik yang memungkinkan saya untuk memeriksa apakah distribusi yang mendasari keduanya berbeda? Terima kasih!

17 distributions  nonparametric 

Saya memiliki dua efek utama, V1 dan V2. Efek V1 dan V2 pada variabel respon negatif. Namun, untuk beberapa alasan saya mendapatkan koefisien positif untuk istilah interaksi V1 * V2. Bagaimana saya bisa menafsirkan ini? apakah situasi seperti itu mungkin?

17 regression  interaction 

Konteks Pertanyaan ini menggunakan R, tetapi tentang masalah statistik umum. Saya sedang menganalisis efek dari faktor kematian (% kematian karena penyakit dan parasitisme) pada tingkat pertumbuhan populasi ngengat dari waktu ke waktu, di mana populasi larva diambil sampelnya dari 12 lokasi setahun sekali selama 8 tahun. Data tingkat pertumbuhan populasi …

17 model-selection  autocorrelation  residuals  panel-data  spatio-temporal 

Saya tidak mengerti penjelasan dalam Rfile bantuan untuk efek () : Untuk model linier yang dipasang oleh lmatau aov, pengaruhnya adalah nilai derajat kebebasan tunggal yang tidak berkorelasi yang diperoleh dengan memproyeksikan data ke subruang ortogonal yang dihasilkan oleh dekomposisi QR selama proses pemasangan. Adakah yang bisa menjelaskan apa artinya …

17 r  regression 

Saya memiliki variabel independen yang disebut "kualitas"; variabel ini memiliki 3 modalitas respons (kualitas buruk; kualitas sedang; kualitas tinggi). Saya ingin memperkenalkan variabel independen ini ke dalam regresi linier berganda. Ketika saya memiliki variabel independen biner (variabel dummy, saya dapat kode 0/ 1) mudah untuk memperkenalkannya ke dalam model regresi …

17 r  regression  categorical-data  multicollinearity  categorical-encoding 

Artikel Wikipedia tentang analisis komponen utama menyatakan itu Algoritma yang efisien ada untuk menghitung SVD tanpa harus membentuk matriks X T X , jadi menghitung SVD sekarang menjadi cara standar untuk menghitung analisis komponen utama dari matriks data, kecuali hanya segelintir komponen yang diperlukan.XXXXTXXTXX^TX Bisakah seseorang memberi tahu saya apa …

17 pca  algorithms  svd  numerics 

Saya memiliki histogram data jumlah berikut. Dan saya ingin mencocokkan distribusi diskrit dengannya. Saya tidak yakin bagaimana saya harus melakukan ini. Haruskah saya pertama menempatkan superimpose distribusi diskrit, katakanlah distribusi Binomial Negatif, pada histogram sehingga saya akan mendapatkan parameter distribusi diskrit dan kemudian menjalankan tes Kolmogorov-Smirnov untuk memeriksa nilai-p? Saya …

17 r  poisson-distribution  discrete-data  computational-statistics  negative-binomial 

Saat ini saya mencoba memahami Prinsip Kemungkinan dan saya terus terang tidak mengerti sama sekali. Jadi, saya akan menulis semua pertanyaan saya sebagai daftar, bahkan jika itu mungkin pertanyaan yang cukup mendasar. Apa sebenarnya arti frasa "semua informasi" dalam konteks prinsip ini? (seperti dalam semua informasi dalam sampel terkandung dalam …

17 bayesian  likelihood  likelihood-principle