Mengelompokkan daftar panjang string (kata-kata) ke dalam kelompok kesamaan

Saya memiliki masalah berikut: Saya memiliki daftar kata yang sangat panjang, mungkin nama, nama keluarga, dll. Saya perlu mengelompokkan daftar kata ini, sehingga kata-kata yang serupa, misalnya kata-kata dengan jarak pengeditan (Levenshtein) yang serupa muncul di cluster yang sama. Misalnya "algoritma" dan "alogrithm" harus memiliki peluang tinggi untuk muncul di cluster yang sama.

Saya sangat menyadari metode pengelompokan tanpa pengawasan klasik seperti k-means clustering, EM clustering dalam literatur Pattern Recognition. Masalahnya di sini adalah bahwa metode ini bekerja pada titik-titik yang berada dalam ruang vektor. Saya memiliki kata-kata string di tangan saya di sini. Tampaknya, pertanyaan tentang bagaimana merepresentasikan string dalam ruang vektor numerik dan untuk menghitung "berarti" cluster string tidak cukup dijawab, menurut upaya survei saya sampai sekarang. Pendekatan naif untuk menyerang masalah ini adalah dengan menggabungkan pengelompokan k-Means dengan jarak Levenshtein, tetapi pertanyaannya tetap "Bagaimana untuk mewakili" berarti "dari string?". Ada bobot yang disebut bobot TF-IDF, tetapi tampaknya sebagian besar terkait dengan area pengelompokan "dokumen teks", bukan untuk pengelompokan kata tunggal. http://pike.psu.edu/cleandb06/papers/CameraReady_120.pdf

Pencarian saya di area ini masih berlangsung, tetapi saya juga ingin mendapatkan ide dari sini. Apa yang akan Anda rekomendasikan dalam kasus ini, adakah yang mengetahui metode apa pun untuk masalah seperti ini?

Rekomendasi Seconding @ mican untuk propagasi afinitas .

Dari kertas: L Frey, Brendan J., dan Delbert Dueck. "Clustering dengan mengirimkan pesan antar titik data." ilmu 315.5814 (2007): 972-976. .

Sangat mudah digunakan melalui banyak paket. Ini bekerja pada apa pun yang Anda dapat menentukan satu kesamaan berpasangan. Yang bisa Anda dapatkan dengan mengalikan jarak Levenshtein dengan -1.

Saya mengumpulkan contoh cepat menggunakan paragraf pertama dari pertanyaan Anda sebagai masukan. Dengan Python 3:

import numpy as np
import sklearn.cluster
import distance

words = "YOUR WORDS HERE".split(" ") #Replace this line
words = np.asarray(words) #So that indexing with a list will work
lev_similarity = -1*np.array([[distance.levenshtein(w1,w2) for w1 in words] for w2 in words])

affprop = sklearn.cluster.AffinityPropagation(affinity="precomputed", damping=0.5)
affprop.fit(lev_similarity)
for cluster_id in np.unique(affprop.labels_):
    exemplar = words[affprop.cluster_centers_indices_[cluster_id]]
    cluster = np.unique(words[np.nonzero(affprop.labels_==cluster_id)])
    cluster_str = ", ".join(cluster)
    print(" - *%s:* %s" % (exemplar, cluster_str))

Output tadinya (contoh dalam huruf miring ke kiri dari cluster yang menjadi contohnya):

• miliki: peluang, edit, tangan, miliki, tinggi
• berikut: berikut
• masalah: masalah
• I: I, a, at, dll, dalam, daftar, dari
• mungkin: mungkin
• cluster: cluster
• kata: Untuk, dan, untuk, panjang, perlu, harus, sangat, kata, kata-kata
• mirip: mirip
• Levenshtein: Levenshtein
• jarak: jarak
• the: that, the, this, to, with
• sama: contoh, daftar, nama, sama, seperti, nama keluarga
• algoritma: algoritma, alogrithm
• muncul: muncul, muncul

Menjalankannya di daftar 50 nama depan acak :

• Diane: Deana, Diane, Dionne, Gerald, Irina, Lisette, Minna, Nicki, Ricki
• Jani: Clair, Jani, Jason, Jc, Kimi, Lang, Marcus, Maxima, Randi, Raul
• Verline: Takdir, Kellye, Marylin, Mercedes, Sterling, Verline
• Glenn: Elenor, Glenn, Gwenda
• Armandina: Armandina, Augustina
• Shiela: Ahmed, Estella, Milissa, Shiela, Thresa, Wynell
• Laureen: Musim Gugur, Haydee, Laureen, Lauren
• Alberto: Albertha, Alberto, Robert
• Lore: Ammie, Doreen, Eura, Josef, Lore, Lori, Porter

Terlihat sangat bagus bagi saya (itu menyenangkan).

Gunakan algoritma pengelompokan grafik, seperti pengelompokan Louvain, Clustering Pencarian Lingkungan Terbatas (RNSC), Clustering Affinity Propgation (APC), atau algoritma Markov Cluster (MCL).

Anda dapat mencoba model ruang vektor dengan n-gram kata-kata sebagai entri ruang vektor. Saya pikir Anda harus menggunakan ukuran seperti cosinus similarity dalam hal ini alih-alih jarak sunting.