Pertanyaan yang diberi tag «dataframe»

Saya ingin menemukan semua nilai dalam kerangka data Pandas yang berisi spasi putih (jumlah sembarang) dan mengganti nilai-nilai itu dengan NaNs. Adakah ide bagaimana hal ini dapat diperbaiki? Pada dasarnya saya ingin mengubah ini: A B C 2000-01-01 -0.532681 foo 0 2000-01-02 1.490752 bar 1 2000-01-03 -1.387326 foo 2 2000-01-04 …

150 python  pandas  dataframe 

Saya mengalami masalah dengan kerangka data dan saya sendiri tidak bisa menyelesaikan masalah itu: Kerangka data memiliki sifat sewenang-wenang sebagai kolom dan setiap baris mewakili satu set data . Pertanyaannya adalah: Bagaimana cara menyingkirkan kolom di mana untuk SEMUA baris nilainya NA ?

149 r  apply  dataframe 

Apa cara pandas paling umum untuk memilih / memfilter baris dataframe yang indeksnya adalah MultiIndex ? Mengiris berdasarkan satu nilai / label Mengiris berdasarkan beberapa label dari satu atau lebih level Pemfilteran pada kondisi dan ekspresi boolean Metode mana yang dapat diterapkan dalam keadaan apa Asumsi untuk kesederhanaan: input dataframe …

147 python  pandas  dataframe  slice  multi-index 

Saya memiliki data yang disimpan dalam database postgreSQL. Saya menanyakan data ini menggunakan Python2.7 dan mengubahnya menjadi Pandas DataFrame. Namun, kolom terakhir dari kerangka data ini memiliki kamus (atau daftar?) Dari nilai-nilai di dalamnya. DataFrame terlihat seperti ini: [1] df Station ID Pollutants 8809 {"a": "46", "b": "3", "c": "12"} …

146 python  pandas  dictionary  dataframe 

Saya mencoba untuk mengisi nilai dalam dataframe Pandas dengan 0 untuk hanya beberapa subset kolom. Ketika saya melakukannya: import pandas as pd df = pd.DataFrame(data={'a':[1,2,3,None],'b':[4,5,None,6],'c':[None,None,7,8]}) print df df.fillna(value=0, inplace=True) print df Hasil: a b c 0 1.0 4.0 NaN 1 2.0 5.0 NaN 2 3.0 NaN 7.0 3 NaN 6.0 …

144 python  pandas  dataframe 

Diberikan kerangka data panda berisi kemungkinan nilai NaN yang tersebar di sana-sini: Pertanyaan: Bagaimana cara menentukan kolom mana yang berisi nilai NaN? Secara khusus, dapatkah saya mendapatkan daftar nama kolom yang berisi NaN?

144 python  pandas  dataframe  nan 

Saya memiliki DataFrame yang dihasilkan sebagai berikut: df.groupBy($"Hour", $"Category") .agg(sum($"value") as "TotalValue") .sort($"Hour".asc, $"TotalValue".desc)) Hasilnya terlihat seperti: +----+--------+----------+ |Hour|Category|TotalValue| +----+--------+----------+ | 0| cat26| 30.9| | 0| cat13| 22.1| | 0| cat95| 19.6| | 0| cat105| 1.3| | 1| cat67| 28.5| | 1| cat4| 26.8| | 1| cat13| 12.6| | 1| …

143 sql  scala  apache-spark  dataframe  apache-spark-sql 

Saya mencoba: x=pandas.DataFrame(...) s = x.take([0], axis=1) Dan smendapat DataFrame, bukan Seri.

142 python  dataframe  pandas  series 

Misalkan saya memiliki DataFrame dengan beberapa NaNs: >>> import pandas as pd >>> df = pd.DataFrame([[1, 2, 3], [4, None, None], [None, None, 9]]) >>> df 0 1 2 0 1 2 3 1 4 NaN NaN 2 NaN NaN 9 Apa yang perlu saya lakukan adalah mengganti setiap NaNdengan …

140 python  python-3.x  pandas  dataframe  nan 

Saya membuat data.frame di R yang tidak terlalu besar, tetapi perlu waktu cukup lama untuk membuatnya. Saya akan menyimpannya sebagai file, yang dapat saya buka lagi di R?

140 r  dataframe 

Saya ingin menambahkan kolom dalam DataFramedengan nilai arbitrer (sama untuk setiap baris). Saya mendapatkan kesalahan saat menggunakan withColumnsebagai berikut: dt.withColumn('new_column', 10).head(5) --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) <ipython-input-50-a6d0257ca2be> in <module>() 1 dt = (messages 2 .select(messages.fromuserid, messages.messagetype, floor(messages.datetime/(1000*60*5)).alias("dt"))) ----> 3 dt.withColumn('new_column', 10).head(5) /Users/evanzamir/spark-1.4.1/python/pyspark/sql/dataframe.pyc in withColumn(self, colName, col) 1166 [Row(age=2, …

137 python  apache-spark  dataframe  pyspark  apache-spark-sql 

Saya memiliki kerangka data dengan nama kolom, dan saya ingin menemukan yang berisi string tertentu, tetapi tidak sama persis dengan itu. Aku mencari 'spike'di kolom nama seperti 'spike-2', 'hey spike', 'spiked-in'(yang 'spike'bagian selalu terus-menerus). Saya ingin nama kolom dikembalikan sebagai string atau variabel, jadi saya mengakses kolom nanti dengan df['name']atau …

137 python  python-3.x  string  pandas  dataframe 

Saya punya panda DataFrameseperti berikut. df = pd.DataFrame({'id' : [1,1,1,2,2,3,3,3,3,4,4,5,6,6,6,7,7], 'value' : ["first","second","second","first", "second","first","third","fourth", "fifth","second","fifth","first", "first","second","third","fourth","fifth"]}) Saya ingin mengelompokkan ini berdasarkan ["id", "value"] dan mendapatkan baris pertama dari setiap grup. id value 0 1 first 1 1 second 2 1 second 3 2 first 4 2 second 5 3 first …

137 python  pandas  dataframe 

Saya memiliki kerangka data panda dengan kolom tipe campuran, dan saya ingin menerapkan min_max_scaler sklearn ke beberapa kolom. Idealnya, saya ingin melakukan transformasi ini di tempat, tetapi belum menemukan cara untuk melakukan itu. Saya telah menulis kode berikut yang berfungsi: import pandas as pd import numpy as np from sklearn …

137 python  pandas  scikit-learn  dataframe 

Saya bekerja dengan file csv besar dan di sebelah kolom terakhir memiliki string teks yang ingin saya pisahkan dengan pembatas tertentu. Saya bertanya-tanya apakah ada cara sederhana untuk melakukan ini menggunakan panda atau python? CustNum CustomerName ItemQty Item Seatblocks ItemExt 32363 McCartney, Paul 3 F04 2:218:10:4,6 60 31316 Lennon, John …

137 python  pandas  dataframe