Pertanyaan yang diberi tag «clustering»

Saya memiliki dataset X yang memiliki 10 dimensi, 4 di antaranya adalah nilai diskrit. Faktanya, keempat variabel diskrit tersebut adalah ordinal, yaitu nilai yang lebih tinggi menyiratkan semantik yang lebih tinggi / lebih baik. 2 dari variabel-variabel diskrit ini bersifat kategorikal dalam arti bahwa untuk masing-masing variabel ini, jarak misal …

33 clustering  k-means  discrete-data  continuous-data  gaussian-mixture 

Saya melakukan pengelompokan hierarkis pada data yang telah saya kumpulkan dan diproses dari dump data reddit di Google BigQuery. Proses saya adalah sebagai berikut: Dapatkan 1000 posting terbaru di / r / politik Kumpulkan semua komentar Memproses data dan menghitung n x mmatriks data (n: pengguna / sampel, m: posting …

33 clustering  distance  unsupervised-learning  hierarchical-clustering 

Latar Belakang : Saya ingin mengklasifikasikan area perumahan kota ke dalam kelompok berdasarkan karakteristik sosial-ekonomi mereka, termasuk kepadatan unit perumahan, kepadatan populasi, area ruang hijau, harga perumahan, jumlah sekolah / pusat kesehatan / pusat penitipan anak, dll. Saya ingin memahami berapa banyak kelompok yang berbeda di daerah perumahan dapat dibagi …

32 clustering  pca  k-means  dimensionality-reduction 

Saya telah menemukan literatur yang luas yang mengusulkan segala macam kriteria (misalnya Glenn et al. 1985 (pdf) dan Jung et al. 2002 (pdf)). Namun, sebagian besar tidak mudah diimplementasikan (setidaknya dari sudut pandang saya). Saya menggunakan scipy.cluster.hierarchy untuk mendapatkan hierarki klaster, dan saya sekarang mencoba untuk memutuskan bagaimana membentuk cluster …

32 clustering 

Saya memiliki masalah berikut: Saya memiliki daftar kata yang sangat panjang, mungkin nama, nama keluarga, dll. Saya perlu mengelompokkan daftar kata ini, sehingga kata-kata yang serupa, misalnya kata-kata dengan jarak pengeditan (Levenshtein) yang serupa muncul di cluster yang sama. Misalnya "algoritma" dan "alogrithm" harus memiliki peluang tinggi untuk muncul di …

31 clustering  k-means  pattern-recognition 

Apa perbedaan dalam kesimpulan yang dapat dibuat dari analisis kelas laten (LCA) versus analisis cluster? Apakah benar bahwa LCA mengasumsikan variabel laten yang mendasari yang menimbulkan kelas, sedangkan analisis cluster adalah deskripsi empiris atribut berkorelasi dari algoritma clustering? Tampaknya dalam ilmu sosial, LCA telah mendapatkan popularitas dan dianggap lebih unggul …

30 clustering  latent-variable  latent-class 

Saya akan menjelaskan masalah saya dengan sebuah contoh. Misalkan Anda ingin memprediksi penghasilan seseorang yang diberikan beberapa atribut: {Usia, Jenis Kelamin, Negara, Wilayah, Kota}. Anda memiliki dataset pelatihan seperti itu train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23)) …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

[Judul awal "Pengukuran kesamaan untuk hierarki pohon clustering" kemudian diubah oleh @ttnphns untuk lebih mencerminkan topik] Saya melakukan sejumlah analisis kluster hierarkis pada kerangka data catatan pasien (misalnya mirip dengan http://www.biomedcentral.com/1471-2105/5/126/figure/F1?highres=y ) Saya bereksperimen dengan langkah-langkah jarak yang berbeda, bobot parameter yang berbeda dan metode hierarkis yang berbeda , untuk …

28 r  clustering  distance-functions  similarities  dendrogram 

Saya baru saja menemukan makalah ini , yang menjelaskan bagaimana menghitung pengulangan (alias reliabilitas, alias korelasi intraclass) dari pengukuran melalui pemodelan efek campuran. Kode R adalah: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = attr(vc,'sc')^2 intercept_var = attr(vc$id,'stddev')[1]^2 #compute the unadjusted repeatability R …

28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit 

Saya ingin memahami, apa perbedaan implementasi utama antara algoritma klaster standar dan k-means. Dalam setiap langkah, k-means menghitung jarak antara vektor elemen dan centroid cluster, dan menugaskan kembali dokumen ke cluster ini, yang centroid adalah yang terdekat. Kemudian, semua centroid dihitung ulang. Dalam k-means bola, semua vektor dinormalisasi, dan ukuran …

28 clustering  data-mining  algorithms  k-means 

Saya memiliki matriks di mana a (i, j) memberi tahu saya berapa kali individu yang saya lihat halaman j. Ada 27K individu dan 95K halaman. Saya ingin memiliki beberapa "dimensi" atau "aspek" dalam ruang halaman yang sesuai dengan set halaman yang sering dilihat bersama. Tujuan utama saya adalah untuk kemudian …

28 r  clustering  dimensionality-reduction 

Saya perlu menggunakan variabel biner (nilai 0 & 1) dalam k-means. Tetapi k-means hanya bekerja dengan variabel kontinu. Saya tahu beberapa orang masih menggunakan variabel-variabel biner ini dalam k-means mengabaikan fakta bahwa k-means hanya dirancang untuk variabel kontinu. Bagi saya ini tidak bisa diterima. Pertanyaan: Jadi apa cara yang benar …

27 r  clustering  binary-data  k-means  mixed-type-data 

Saat melakukan pengelompokan hierarkis, seseorang dapat menggunakan banyak metrik untuk mengukur jarak antar cluster. Dua metrik seperti itu menyiratkan perhitungan centroid dan cara titik data dalam kelompok. Apa perbedaan antara mean dan centroid? Bukankah ini titik yang sama di cluster?

26 clustering  mean 

Saya menyelidiki berbagai teknik yang digunakan dalam pengelompokan dokumen dan saya ingin menghapus beberapa keraguan tentang PCA (analisis komponen utama) dan LSA (analisis semantik laten). Hal pertama - apa perbedaan di antara mereka? Saya tahu bahwa di PCA, dekomposisi SVD diterapkan ke matriks term-kovarians, sedangkan di LSA itu adalah matriks …

25 clustering  pca  data-mining  svd  lsa 

Saya telah melakukan analisis data yang mencoba mengelompokkan data longitudinal menggunakan paket R dan kml . Data saya berisi sekitar 400 lintasan individu (seperti yang disebut di koran). Anda dapat melihat hasil saya di gambar berikut: Setelah membaca bab 2.2 "Memilih jumlah cluster yang optimal" di makalah yang sesuai saya …

25 r  clustering  panel-data