Pertanyaan yang diberi tag «scikit-learn»

Baru-baru ini saya mulai belajar untuk bekerja sklearndan baru saja menemukan hasil yang aneh ini. Saya menggunakan digitsdataset yang tersedia sklearnuntuk mencoba berbagai model dan metode estimasi. Ketika saya diuji model Support Vector Machine pada data, saya menemukan ada dua kelas yang berbeda di sklearnklasifikasi SVM: SVCdan LinearSVC, di mana …

19 svm  scikit-learn 

Saya pemula di pembelajaran mesin dan keras dan sekarang bekerja masalah klasifikasi gambar multi-kelas menggunakan keras. Input ditandai gambar. Setelah beberapa pra-pemrosesan, data pelatihan diwakili dalam daftar Python sebagai: [["dog", "path/to/dog/imageX.jpg"],["cat", "path/to/cat/imageX.jpg"], ["bird", "path/to/cat/imageX.jpg"]] "anjing", "kucing", dan "burung" adalah label kelas. Saya pikir pengkodean satu-panas harus digunakan untuk masalah ini, …

18 machine-learning  scikit-learn  tensorflow  keras  encoding 

Saya ingin melakukan pengurangan dimensionalitas pada hampir 1 juta vektor masing-masing dengan 200 dimensi ( doc2vec). Saya menggunakan TSNEimplementasi dari sklearn.manifoldmodul untuk itu dan masalah utama adalah kompleksitas waktu. Bahkan dengan method = barnes_hut, kecepatan komputasi masih rendah. Beberapa waktu bahkan kehabisan Memori. Saya menjalankannya pada prosesor 48 core dengan …

18 python  bigdata  nlp  scikit-learn  dimensionality-reduction 

Saya memiliki masalah mengelompokkan kalimat dalam jumlah besar ke dalam kelompok dengan artinya. Ini mirip dengan masalah ketika Anda memiliki banyak kalimat dan ingin mengelompokkannya berdasarkan artinya. Algoritma apa yang disarankan untuk melakukan ini? Saya tidak tahu jumlah cluster di muka (dan karena semakin banyak data yang datang, cluster juga …

17 clustering  text-mining  algorithms  scikit-learn 

Saya memiliki fitur jarang yang bersifat prediksi, juga saya memiliki beberapa fitur padat yang juga dapat memprediksi. Saya perlu menggabungkan fitur-fitur ini bersama-sama untuk meningkatkan kinerja keseluruhan classifier. Sekarang, masalahnya adalah ketika saya mencoba untuk menggabungkan ini bersama-sama, fitur padat cenderung lebih mendominasi fitur jarang, maka hanya memberikan peningkatan 1% …

17 machine-learning  classification  predictive-modeling  scikit-learn  supervised-learning 

Saya sedang membangun alur kerja untuk membuat model pembelajaran mesin (dalam kasus saya, menggunakan Python pandasdan sklearnpaket - paket) dari data yang diambil dari database yang sangat besar (di sini, Vertica melalui SQL dan pyodbc), dan langkah penting dalam proses itu melibatkan memasukkan hilang nilai-nilai prediktor. Ini sangat mudah dalam …

16 machine-learning  python  pandas  scikit-learn 

Saya telah melakukan masalah klasifikasi dan saya telah membaca banyak kode orang dan tutorial. Satu hal yang saya perhatikan adalah banyak orang menggunakan np.logatau logvariabel kontinu seperti loan_amountatauapplicant_income dll Saya hanya ingin memahami alasan di baliknya. Apakah ini membantu meningkatkan akurasi prediksi model kami. Apakah ini wajib? atau apakah ada …

16 machine-learning  python  classification  scikit-learn 

Saya membuat corr()df dari df asli. The corr()df keluar 70 X 70 dan tidak mungkin untuk memvisualisasikan heatmap tersebut ... sns.heatmap(df). Jika saya mencoba untuk menampilkan corr = df.corr(), tabel tidak cocok dengan layar dan saya bisa melihat semua korelasinya. Apakah ini cara untuk mencetak keseluruhan dfterlepas dari ukurannya atau …

16 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

Apakah implementasi hutan acak di scikit-belajar menggunakan akurasi rata-rata sebagai metode penilaian untuk memperkirakan kesalahan generalisasi dengan sampel out-of-bag? Ini tidak disebutkan dalam dokumentasi, tetapi metode skor () melaporkan akurasi rata-rata. Saya memiliki dataset yang sangat tidak seimbang, dan saya menggunakan AUC ROC sebagai metrik penilaian saya dalam pencarian kisi. …

16 random-forest  scikit-learn 

Saya mencari untuk memecahkan masalah berikut: Saya memiliki satu set kalimat sebagai dataset saya, dan saya ingin dapat mengetikkan kalimat baru, dan menemukan kalimat yang paling mirip dengan yang ada di dataset. Contohnya akan terlihat seperti: Kalimat baru: " I opened a new mailbox" Prediksi berdasarkan dataset: Sentence | Similarity …

15 python  nlp  scikit-learn  similarity  text 

Saya melihat tutorial ini: https://www.dataquest.io/mission/75/improving-your-submission Pada bagian 8, menemukan fitur terbaik, itu menunjukkan kode berikut. import numpy as np from sklearn.feature_selection import SelectKBest, f_classif predictors = ["Pclass", "Sex", "Age", "SibSp", "Parch", "Fare", "Embarked", "FamilySize", "Title", "FamilyId"] # Perform feature selection selector = SelectKBest(f_classif, k=5) selector.fit(titanic[predictors], titanic["Survived"]) # Get the raw …

15 python  scikit-learn 

Saya mencoba menjalankan xgboost di scikit belajar. Dan saya hanya menggunakan Panda untuk memuat data ke dalam dataframe. Bagaimana saya bisa menggunakan panda df dengan xgboost. Saya bingung dengan rutin DMatrix yang diperlukan untuk menjalankan xgboost algo.

14 scikit-learn  pandas  xgboost 

Saya mencoba menggunakan fitur penting dari Random Forests untuk melakukan beberapa pilihan fitur empiris untuk masalah regresi di mana semua fitur bersifat kategoris dan banyak dari mereka memiliki banyak tingkatan (pada urutan 100-1000). Mengingat bahwa pengodean satu-panas membuat variabel dummy untuk setiap level, kepentingan fitur adalah untuk setiap level dan …

12 scikit-learn  feature-selection  random-forest  xgboost  categorical-data 

Saya memiliki bingkai data panda dengan banyak kolom kategori, yang saya rencanakan untuk digunakan di pohon keputusan dengan scikit-belajar. Saya perlu mengubahnya menjadi nilai numerik (bukan satu vektor panas). Saya dapat melakukannya dengan LabelEncoder dari scikit-learn. Masalahnya ada terlalu banyak, dan saya tidak ingin mengonversinya secara manual. Apa yang akan …

12 scikit-learn  pandas  categorical-data  labels 

Saya telah merencanakan fitur penting di hutan acak dengan scikit-learn . Untuk meningkatkan prediksi menggunakan hutan acak, bagaimana saya bisa menggunakan informasi plot untuk menghapus fitur? Apakah cara menemukan apakah fitur tidak berguna atau bahkan lebih buruk dari kinerja hutan acak, berdasarkan informasi plot? Plot didasarkan pada atribut feature_importances_dan saya …

12 feature-selection  random-forest  scikit-learn