Pertanyaan yang diberi tag «pandas»

Saya telah menggunakan panda untuk beberapa waktu. Tapi, saya tidak mengerti apa perbedaan antara isna()dan isnull()dalam panda. Dan, yang lebih penting, yang mana yang akan digunakan untuk mengidentifikasi nilai yang hilang dalam kerangka data. Apa perbedaan mendasar yang mendasari bagaimana suatu nilai terdeteksi sebagai salah satu naatau null?

73 python  pandas  dataframe 

Saya sudah menggunakan SQL sejak 1996, jadi saya mungkin bias. Saya telah menggunakan MySQL dan SQLite 3 secara ekstensif, tetapi juga menggunakan Microsoft SQL Server dan Oracle. Sebagian besar operasi yang saya lihat dilakukan dengan Panda dapat dilakukan dengan lebih mudah dengan SQL. Ini termasuk memfilter dataset, memilih kolom tertentu …

69 pandas  sql 

Saya mendapat ValueError saat memprediksi data uji menggunakan model RandomForest. Kode saya: clf = RandomForestClassifier(n_estimators=10, max_depth=6, n_jobs=1, verbose=2) clf.fit(X_fit, y_fit) df_test.fillna(df_test.mean()) X_test = df_test.values y_pred = clf.predict(X_test) Kesalahan: ValueError: Input contains NaN, infinity or a value too large for dtype('float32'). Bagaimana cara menemukan nilai buruk dalam dataset uji? Juga, saya …

42 python  random-forest  pandas 

Saya memiliki kerangka data panda dengan beberapa entri, dan saya ingin menghitung korelasi antara pendapatan beberapa jenis toko. Ada sejumlah toko dengan data pendapatan, klasifikasi area aktivitas (teater, toko pakaian, makanan ...) dan data lainnya. Saya mencoba membuat bingkai data baru dan menyisipkan kolom dengan pendapatan semua jenis toko yang …

35 python  statistics  visualization  pandas 

Saat ini saya mencoba untuk membuka file dengan panda dan python untuk tujuan pembelajaran mesin, akan ideal bagi saya untuk memiliki semuanya dalam DataFrame. Sekarang file tersebut berukuran 18GB dan RAM saya 32 GB tetapi saya terus mendapatkan kesalahan memori. Dari pengalaman Anda, mungkinkah? Jika tidak, apakah Anda tahu cara …

33 python  bigdata  pandas  anaconda 

Saya mencoba mengonversi daftar daftar yang terlihat seperti yang berikut ini menjadi Bingkai Data Pandas [['New York Yankees ', '"Acevedo Juan" ', 900000, ' Pitcher\n'], ['New York Yankees ', '"Anderson Jason"', 300000, ' Pitcher\n'], ['New York Yankees ', '"Clemens Roger" ', 10100000, ' Pitcher\n'], ['New York Yankees ', '"Contreras Jose"', …

30 pandas 

Saya mencoba untuk melatih model peningkatan gradien lebih dari 50k contoh dengan 100 fitur numerik. XGBClassifiermenangani 500 pohon dalam waktu 43 detik pada mesin saya, sementara GradientBoostingClassifierhanya menangani 10 pohon (!) dalam 1 menit dan 2 detik :( Saya tidak repot-repot mencoba menumbuhkan 500 pohon karena akan memakan waktu berjam-jam. …

29 scikit-learn  xgboost  gbm  data-mining  classification  data-cleaning  machine-learning  reinforcement-learning  data-mining  bigdata  dataset  nlp  language-model  stanford-nlp  machine-learning  neural-network  deep-learning  randomized-algorithms  machine-learning  beginner  career  xgboost  loss-function  neural-network  software-recommendation  naive-bayes-classifier  classification  scikit-learn  feature-selection  r  random-forest  cross-validation  data-mining  python  scikit-learn  random-forest  churn  python  clustering  k-means  machine-learning  nlp  sentiment-analysis  machine-learning  programming  python  scikit-learn  nltk  gensim  visualization  data  csv  neural-network  deep-learning  descriptive-statistics  machine-learning  supervised-learning  text-mining  orange  data  parameter-estimation  python  pandas  scraping  r  clustering  k-means  unsupervised-learning 

Saya memiliki program pemodelan dan penilaian yang banyak menggunakan DataFrame.isin fungsi panda, mencari melalui daftar facebook "seperti" catatan pengguna individu untuk masing-masing dari beberapa ribu halaman tertentu. Ini adalah bagian yang paling memakan waktu dari program, lebih dari pemodelan atau penilaian, hanya karena hanya berjalan pada satu inti sedangkan sisanya …

25 performance  python  pandas  parallel 

Saya ingin membandingkan satu kolom df dengan df lainnya. Kolom adalah nama dan nama belakang. Saya ingin memeriksa apakah seseorang dalam satu frame data ada di frame lain.

23 pandas  dataframe 

Saya memiliki Pandaf DataFrame seperti ini: df = pd.DataFrame({ 'Date': ['2017-1-1', '2017-1-1', '2017-1-2', '2017-1-2', '2017-1-3'], 'Groups': ['one', 'one', 'one', 'two', 'two'], 'data': range(1, 6)}) Date Groups data 0 2017-1-1 one 1 1 2017-1-1 one 2 2 2017-1-2 one 3 3 2017-1-2 two 4 4 2017-1-3 two 5 Bagaimana saya bisa …

21 python  pandas  dataframe 

Misalkan saya memiliki bingkai data 5 * 3 di mana kolom ketiga berisi nilai yang hilang 1 2 3 4 5 NaN 7 8 9 3 2 NaN 5 6 NaN Saya berharap untuk menghasilkan nilai untuk aturan berbasis nilai yang hilang itu kolom kedua produk pertama 1 2 3 …

19 pandas 

Saya sedang mengerjakan tantangan Kaggle di mana beberapa variabel diwakili oleh baris, bukan kolom (Telstra Network Disrupt). Saat ini saya sedang mencari yang setara dengan kumpulkan (), pisahkan () dan sebarkan (), yang dapat ditemukan di alat Rtidyr.

18 r  python  dataset  data-cleaning  pandas 

Saya sedang membangun alur kerja untuk membuat model pembelajaran mesin (dalam kasus saya, menggunakan Python pandasdan sklearnpaket - paket) dari data yang diambil dari database yang sangat besar (di sini, Vertica melalui SQL dan pyodbc), dan langkah penting dalam proses itu melibatkan memasukkan hilang nilai-nilai prediktor. Ini sangat mudah dalam …

16 machine-learning  python  pandas  scikit-learn 

Saya membuat corr()df dari df asli. The corr()df keluar 70 X 70 dan tidak mungkin untuk memvisualisasikan heatmap tersebut ... sns.heatmap(df). Jika saya mencoba untuk menampilkan corr = df.corr(), tabel tidak cocok dengan layar dan saya bisa melihat semua korelasinya. Apakah ini cara untuk mencetak keseluruhan dfterlepas dari ukurannya atau …

16 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

https://github.com/Rdatatable/data.table/wiki/Benchmarks-%3A-Grouping Benchmark data.table belum diperbarui sejak 2014. Saya mendengar di suatu tempat yang Pandassekarang lebih cepat daripada data.table. Apakah ini benar? Adakah yang melakukan benchmark? Saya belum pernah menggunakan Python sebelumnya tetapi akan mempertimbangkan beralih jika pandasbisa mengalahkan data.table?

16 python  r  pandas  data  data.table