Statistik dan Big Data

Saya cukup baru dalam pembelajaran mesin, teknik-teknik CART dan sejenisnya, dan saya harap kenaifan saya tidak terlalu jelas. Bagaimana Random Forest menangani struktur data multi-level / hierarkis (misalnya ketika interaksi lintas-level menarik)? Yaitu, kumpulan data dengan unit analisis pada beberapa tingkatan hierarkis ( mis . Siswa bersarang di sekolah, dengan …

13 machine-learning  random-forest  multilevel-analysis  cart 

Saat membaca tentang PCA, saya menemukan penjelasan berikut: Misalkan kita memiliki kumpulan data di mana setiap titik data mewakili skor siswa tunggal pada tes matematika, tes fisika, tes membaca pemahaman, dan tes kosa kata. Kami menemukan dua komponen utama pertama, yang menangkap 90% variabilitas dalam data, dan menginterpretasikan pemuatannya. Kami …

13 pca 

Saya memiliki dua 2 jam data GPS dengan tingkat pengambilan sampel 1 Hz (7200 pengukuran). Data diberikan dalam bentuk , di mana adalah ketidakpastian pengukuran.(X,Xσ,Y,Yσ,Z,Zσ)(X,Xσ,Y,Yσ,Z,Zσ)(X, X_\sigma, Y, Y_\sigma, Z, Z_\sigma)NσNσN_\sigma Ketika saya mengambil rata-rata dari semua pengukuran (misalnya nilai Z rata-rata dari dua jam itu), apa standar deviasinya? Tentu saja …

13 time-series  mean  standard-deviation 

Apa metode mutakhir dalam deduplikasi rekor? Deduplikasi juga kadang-kadang disebut: record linkage, resolusi entitas, resolusi identitas, gabungan / pembersihan. Saya tahu misalnya tentang CBLOCK [1]. Saya akan sangat menghargai jika jawaban juga termasuk referensi ke perangkat lunak yang ada yang menerapkan metode ini. Saya tahu misalnya bahwa Mahout mengimplementasikan kanopi-clustering …

13 clustering  data-cleaning  record-linkage 

Mengapa distribusi geometrik dan distribusi hipergeometrik masing-masing disebut "geometris" dan "hypergoemetric"? Apakah karena PMF mereka mengambil bentuk khusus? Terima kasih!

13 distributions  terminology  history 

Saya memahami konsep penskalaan matriks data untuk digunakan dalam model regresi linier. Misalnya, dalam R Anda dapat menggunakan: scaled.data <- scale(data, scale=TRUE) Satu-satunya pertanyaan saya adalah, untuk pengamatan baru yang ingin saya prediksi nilai outputnya, bagaimana mereka diskalakan dengan benar? Apakah itu , scaled.new <- (new - mean(data)) / std(data)?

13 r  regression  prediction  scales 

Saya tidak tahu distribusi multimoda. Mengapa semua distribusi dikenal unimodal? Apakah ada distribusi "terkenal" yang memiliki lebih dari satu mode? Tentu saja, campuran distribusi seringkali multimodal, tetapi saya ingin tahu apakah ada distribusi "non-campuran" yang memiliki lebih dari satu mode.

13 distributions  mode 

Standar error dari istilah intercept ( β 0 ) di y = β 1 x + β 0 + ε diberikan oleh S E ( β 0 ) 2 = σ 2 [ 1β^0β^0\hat{\beta}_0y=β1x+β0+εy=β1x+β0+εy=\beta_1x+\beta_0+\varepsilonSE(β^0)2=σ2[1n+x¯2∑ni=1(xi−x¯)2]SE(β^0)2=σ2[1n+x¯2∑i=1n(xi−x¯)2]SE(\hat{\beta}_0)^2 = \sigma^2\left[\frac{1}{n}+\frac{\bar{x}^2}{\sum_{i=1}^n(x_i-\bar{x})^2}\right] di manax¯x¯\bar{x}adalah mean darixixix_i's. Dari apa yang saya mengerti, SE mengkuantifikasi uncertainty- Anda misalnya, …

13 regression  interpretation  standard-error 

DBSCAN adalah algoritma pengelompokan yang paling banyak dikutip menurut beberapa literatur dan dapat menemukan bentuk cluster berdasarkan kepadatan. Ini memiliki dua parameter eps (sebagai radius lingkungan) dan minPts (sebagai tetangga minimum untuk mempertimbangkan titik sebagai titik inti) yang saya percaya sangat tergantung pada mereka. Apakah ada metode rutin atau umum …

13 clustering  dbscan 

Asumsikan bahwa saya memiliki variabel yang distribusinya condong positif ke tingkat yang sangat tinggi, sehingga mengambil log tidak akan cukup untuk membawanya dalam kisaran skewness untuk distribusi normal. Apa opsi saya saat ini? Apa yang bisa saya lakukan untuk mengubah variabel menjadi distribusi normal?

13 data-transformation  skewness 

Saya telah membaca tentang uji-t Student tetapi tampaknya berfungsi ketika kita dapat berasumsi bahwa distribusi asli terdistribusi secara normal. Dalam kasus saya, mereka pasti tidak. Juga, jika saya memiliki 13 distribusi, apakah saya perlu melakukan 13^2tes?

13 r  hypothesis-testing  distributions 

Untuk model linear , kita dapat memiliki interpretasi geometris yang bagus dari model yang diestimasi melalui OLS: . adalah proyeksi y ke ruang yang direntang oleh x dan residual tegak lurus dengan ruang ini yang direntang oleh x.y= x β+ ey=xβ+ey=x\beta+ey^= x β^+ e^y^=xβ^+e^\hat{y}=x\hat{\beta}+\hat{e}y^y^\hat{y}e^e^\hat{e} Sekarang, pertanyaan saya adalah: apakah ada …

13 regression  model  geometry 

Kapan lebih baik menggunakan Estimasi Kemungkinan Maksimum alih-alih Kuadrat Terkecil Biasa? Apa kekuatan dan keterbatasan masing-masing? Saya mencoba untuk mengumpulkan pengetahuan praktis tentang di mana harus menggunakan masing-masing dalam situasi umum.

13 regression  maximum-likelihood  least-squares 

Dalam mempelajari jarak Kullback-Leibler, ada dua hal yang kita pelajari dengan sangat cepat adalah bahwa itu tidak menghormati baik ketidaksetaraan segitiga maupun simetri, sifat-sifat yang diperlukan dari metrik. Pertanyaan saya adalah apakah ada metrik fungsi kepadatan probabilitas yang memenuhi semua batasan metrik .

13 distributions  distance  metric 

Saya bekerja di R melalui tutorial PCA yang sangat baik oleh Lindsay I Smith dan saya terjebak di tahap terakhir. Script R di bawah ini membawa kita ke tahap (pada hal.19) di mana data asli sedang direkonstruksi dari Komponen Utama (tunggal dalam hal ini), yang akan menghasilkan plot garis lurus …

13 r  pca