Saya ingin melakukan pengurangan dimensionalitas pada hampir 1 juta vektor masing-masing dengan 200 dimensi ( doc2vec
). Saya menggunakan TSNE
implementasi dari sklearn.manifold
modul untuk itu dan masalah utama adalah kompleksitas waktu. Bahkan dengan method = barnes_hut
, kecepatan komputasi masih rendah. Beberapa waktu bahkan kehabisan Memori.
Saya menjalankannya pada prosesor 48 core dengan RAM 130G. Apakah ada metode untuk menjalankannya secara paralel atau memanfaatkan sumber daya yang berlimpah untuk mempercepat proses.