Pertanyaan yang diberi tag «dimensionality-reduction»

Dari wikipedia, pengurangan dimensi atau pengurangan dimensi adalah proses mengurangi jumlah variabel acak yang sedang dipertimbangkan, dan dapat dibagi menjadi pemilihan fitur dan ekstraksi fitur. Apa perbedaan antara pemilihan fitur dan ekstraksi fitur? Apa contoh pengurangan dimensi dalam tugas Pemrosesan Bahasa Alami?

58 feature-selection  feature-extraction  dimensionality-reduction 

Saya memiliki sejumlah besar data (sekitar 8GB). Saya ingin menggunakan pembelajaran mesin untuk menganalisisnya. Jadi, saya pikir saya harus menggunakan SVD kemudian PCA untuk mengurangi dimensi data untuk efisiensi. Namun, MATLAB dan Oktaf tidak dapat memuat set data besar tersebut. Alat apa yang dapat saya gunakan untuk melakukan SVD dengan …

29 bigdata  data-mining  dimensionality-reduction 

Saya memiliki database dari aplikasi Facebook saya dan saya mencoba menggunakan pembelajaran mesin untuk memperkirakan usia pengguna berdasarkan situs Facebook yang mereka sukai. Ada tiga karakteristik penting dari basis data saya: distribusi usia di set pelatihan saya (12k jumlah pengguna) condong ke pengguna yang lebih muda (yaitu saya memiliki 1157 …

25 machine-learning  dimensionality-reduction  python 

Ada banyak teknik untuk memvisualisasikan kumpulan data berdimensi tinggi, seperti T-SNE, isomap, PCA, PCA yang diawasi, dll. Dan kami melalui gerakan memproyeksikan data ke ruang 2D atau 3D, jadi kami memiliki "gambar-gambar cantik" ". Beberapa metode penanaman (manifold learning) ini dijelaskan di sini . Tapi apakah "gambar cantik" ini benar-benar …

23 machine-learning  dimensionality-reduction  visualization 

Apakah ada arti untuk dimensi embedding t-sne? Seperti halnya PCA, kami memiliki perasaan ini untuk memaksimalkan varians linear, tetapi untuk t-sne apakah ada intuisi selain hanya ruang yang kami tetapkan untuk pemetaan dan minimalisasi jarak-KL?

18 dimensionality-reduction  tsne 

Saya ingin melakukan pengurangan dimensionalitas pada hampir 1 juta vektor masing-masing dengan 200 dimensi ( doc2vec). Saya menggunakan TSNEimplementasi dari sklearn.manifoldmodul untuk itu dan masalah utama adalah kompleksitas waktu. Bahkan dengan method = barnes_hut, kecepatan komputasi masih rendah. Beberapa waktu bahkan kehabisan Memori. Saya menjalankannya pada prosesor 48 core dengan …

18 python  bigdata  nlp  scikit-learn  dimensionality-reduction 

Saya memiliki matriks jarang pengguna dan item yang mereka sukai (dalam urutan pengguna 1M dan item 100K, dengan tingkat sparsitas yang sangat rendah). Saya mencari cara di mana saya bisa melakukan pencarian kNN di atasnya. Mengingat ukuran dataset saya dan beberapa tes awal yang saya lakukan, asumsi saya adalah bahwa …

17 machine-learning  distributed  map-reduce  dimensionality-reduction 

Ekstraksi fitur dan pemilihan fitur pada dasarnya mengurangi dimensi data, tetapi ekstraksi fitur juga membuat data lebih dapat dipisahkan, jika saya benar. Teknik mana yang lebih disukai daripada yang lain dan kapan? Saya berpikir, karena pemilihan fitur tidak mengubah data asli dan sifat-sifatnya, saya berasumsi bahwa Anda akan menggunakan pemilihan …

16 feature-selection  feature-extraction  dimensionality-reduction 

Saya mengerti dari makalah Hinton bahwa T-SNE melakukan pekerjaan dengan baik dalam menjaga kesamaan lokal dan pekerjaan yang layak dalam melestarikan struktur global (klasterisasi). Namun saya tidak jelas apakah poin yang muncul lebih dekat dalam visualisasi t-sne 2D dapat dianggap sebagai titik data "lebih mirip". Saya menggunakan data dengan 25 …

14 visualization  dimensionality-reduction  tsne  manifold 

Karena berbagai kutukan dimensi , keakuratan dan kecepatan banyak teknik prediksi umum menurun pada data dimensi tinggi. Apa saja teknik / trik / heuristik yang paling berguna yang membantu menangani data dimensi tinggi secara efektif? Sebagai contoh, Apakah metode statistik / pemodelan tertentu berfungsi baik pada dataset dimensi tinggi? Bisakah …

14 machine-learning  statistics  dimensionality-reduction 

Saya bukan ahli autoencoder atau jaringan saraf dengan cara apa pun, jadi maafkan saya jika ini adalah pertanyaan konyol. Untuk tujuan pengurangan dimensi atau memvisualisasikan cluster dalam data dimensi tinggi, kita dapat menggunakan autoencoder untuk membuat representasi 2 dimensi (lossy) dengan memeriksa output dari lapisan jaringan dengan 2 node. Sebagai …

13 neural-network  dimensionality-reduction  autoencoder 

Hai punya dataframe dengan nilai kategori besar lebih dari 1600 kategori apakah ada cara saya bisa menemukan alternatif sehingga saya tidak memiliki lebih dari 1.600 kolom. Saya menemukan ini di bawah ini tautan menarik http://amunategui.github.io/feature-hashing/#sourcecode Tetapi mereka mengkonversi ke kelas / objek yang tidak saya inginkan. Saya ingin hasil akhir …

13 machine-learning  dataset  dimensionality-reduction  encoding 

Kalimat yang sering terdengar dalam Pembelajaran Mesin tanpa pengawasan adalah Input dimensi tinggi biasanya hidup di atau dekat manifold dimensi rendah Apa itu dimensi? Apa itu bermacam-macam? Apa bedanya? Bisakah Anda memberi contoh untuk menggambarkan keduanya? Berjenis dari Wikipedia: Dalam matematika, berjenis adalah ruang topologis yang menyerupai ruang Euclidean di …

13 machine-learning  dimensionality-reduction 

Saya memiliki dataset dengan baris ~ 1M dan ~ fitur 500K jarang. Saya ingin mengurangi dimensi ke suatu tempat dalam urutan fitur padat 1K-5K. sklearn.decomposition.PCAtidak berfungsi pada data yang jarang, dan saya sudah mencoba menggunakan sklearn.decomposition.TruncatedSVDtetapi mendapatkan kesalahan memori dengan cukup cepat. Apa pilihan saya untuk pengurangan dimensi efisien pada …

12 python  scikit-learn  dimensionality-reduction 

Saya membuat prototipe aplikasi dan saya membutuhkan model bahasa untuk menghitung kebingungan pada beberapa kalimat yang dihasilkan. Apakah ada model bahasa terlatih dalam python yang bisa saya gunakan? Sesuatu yang sederhana seperti model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = model.perplexity('Bunny lamp robert junior pancake') …

11 python  nlp  language-model  r  statistics  linear-regression  machine-learning  classification  random-forest  xgboost  python  sampling  data-mining  orange  predictive-modeling  recommender-system  statistics  dimensionality-reduction  pca  machine-learning  python  deep-learning  keras  reinforcement-learning  neural-network  image-classification  r  dplyr  deep-learning  keras  tensorflow  lstm  dropout  machine-learning  sampling  categorical-data  data-imputation  machine-learning  deep-learning  machine-learning-model  dropout  deep-network  pandas  data-cleaning  data-science-model  aggregation  python  neural-network  reinforcement-learning  policy-gradients  r  dataframe  dataset  statistics  prediction  forecasting  r  k-means  python  scikit-learn  labels  python  orange  cloud-computing  machine-learning  neural-network  deep-learning  rnn  recurrent-neural-net  logistic-regression  missing-data  deep-learning  autoencoder  apache-hadoop  time-series  data  preprocessing  classification  predictive-modeling  time-series  machine-learning  python  feature-selection  autoencoder  deep-learning  keras  tensorflow  lstm  word-embeddings  predictive-modeling  prediction  machine-learning-model  machine-learning  classification  binary  theory  machine-learning  neural-network  time-series  lstm  rnn  neural-network  deep-learning  keras  tensorflow  convnet  computer-vision