Letakkan baris dengan semua nol dalam bingkai data panda

Saya dapat menggunakan pandas dropna()fungsionalitas untuk menghapus baris dengan beberapa atau semua kolom ditetapkan sebagai NA's. Apakah ada fungsi yang setara untuk menjatuhkan baris dengan semua kolom bernilai 0?

P   kt  b   tt  mky depth
1   0   0   0   0   0
2   0   0   0   0   0
3   0   0   0   0   0
4   0   0   0   0   0
5   1.1 3   4.5 2.3 9.0

Dalam contoh ini, kami ingin melepaskan 4 baris pertama dari bingkai data.

Terima kasih!

Ternyata ini dapat diekspresikan dengan baik dalam mode vektor:

> df = pd.DataFrame({'a':[0,0,1,1], 'b':[0,1,0,1]})
> df = df[(df.T != 0).any()]
> df
   a  b
1  0  1
2  1  0
3  1  1

Satu baris. Tidak diperlukan transpos:

df.loc[~(df==0).all(axis=1)]

Dan bagi mereka yang menyukai simetri, ini juga berfungsi ...

df.loc[(df!=0).any(axis=1)]

Saya mencari pertanyaan ini sebulan sekali dan selalu harus menggali jawaban terbaik dari komentar:

df.loc[(df!=0).any(1)]

Terima kasih Dan Allan!

Ganti nol dengan nandan kemudian jatuhkan baris dengan semua entri sebagai nan. Setelah itu ganti nandengan angka nol.

import numpy as np
df = df.replace(0, np.nan)
df = df.dropna(how='all', axis=0)
df = df.replace(np.nan, 0)

Saya pikir solusi ini adalah yang terpendek:

df= df[df['ColName'] != 0]

Beberapa solusi yang menurut saya berguna saat mencari ini, terutama untuk kumpulan data yang lebih besar:

df[(df.sum(axis=1) != 0)]       # 30% faster 
df[df.values.sum(axis=1) != 0]  # 3X faster 

Melanjutkan contoh dari @ U2EF1:

In [88]: df = pd.DataFrame({'a':[0,0,1,1], 'b':[0,1,0,1]})

In [91]: %timeit df[(df.T != 0).any()]
1000 loops, best of 3: 686 µs per loop

In [92]: df[(df.sum(axis=1) != 0)]
Out[92]: 
   a  b
1  0  1
2  1  0
3  1  1

In [95]: %timeit df[(df.sum(axis=1) != 0)]
1000 loops, best of 3: 495 µs per loop

In [96]: %timeit df[df.values.sum(axis=1) != 0]
1000 loops, best of 3: 217 µs per loop

Pada kumpulan data yang lebih besar:

In [119]: bdf = pd.DataFrame(np.random.randint(0,2,size=(10000,4)))

In [120]: %timeit bdf[(bdf.T != 0).any()]
1000 loops, best of 3: 1.63 ms per loop

In [121]: %timeit bdf[(bdf.sum(axis=1) != 0)]
1000 loops, best of 3: 1.09 ms per loop

In [122]: %timeit bdf[bdf.values.sum(axis=1) != 0]
1000 loops, best of 3: 517 µs per loop

import pandas as pd

df = pd.DataFrame({'a' : [0,0,1], 'b' : [0,0,-1]})

temp = df.abs().sum(axis=1) == 0      
df = df.drop(temp)

Hasil:

>>> df
   a  b
2  1 -1

Anda dapat menggunakan lambdafungsi cepat untuk memeriksa apakah semua nilai dalam baris tertentu adalah 0. Kemudian Anda bisa menggunakan hasil penerapan itu lambdasebagai cara untuk memilih hanya baris yang cocok atau tidak cocok dengan kondisi itu:

import pandas as pd
import numpy as np

np.random.seed(0)

df = pd.DataFrame(np.random.randn(5,3), 
                  index=['one', 'two', 'three', 'four', 'five'],
                  columns=list('abc'))

df.loc[['one', 'three']] = 0

print df
print df.loc[~df.apply(lambda row: (row==0).all(), axis=1)]

Hasil:

              a         b         c
one    0.000000  0.000000  0.000000
two    2.240893  1.867558 -0.977278
three  0.000000  0.000000  0.000000
four   0.410599  0.144044  1.454274
five   0.761038  0.121675  0.443863

[5 rows x 3 columns]
             a         b         c
two   2.240893  1.867558 -0.977278
four  0.410599  0.144044  1.454274
five  0.761038  0.121675  0.443863

[3 rows x 3 columns]

Alternatif lain:

# Is there anything in this row non-zero?
# df != 0 --> which entries are non-zero? T/F
# (df != 0).any(axis=1) --> are there 'any' entries non-zero row-wise? T/F of rows that return true to this statement.
# df.loc[all_zero_mask,:] --> mask your rows to only show the rows which contained a non-zero entry.
# df.shape to confirm a subset.

all_zero_mask=(df != 0).any(axis=1) # Is there anything in this row non-zero?
df.loc[all_zero_mask,:].shape

Bagi saya kode ini: df.loc[(df!=0).any(axis=0)] tidak berhasil. Ini mengembalikan set data yang tepat.

Sebagai gantinya, saya menggunakan df.loc[:, (df!=0).any(axis=0)] dan menjatuhkan semua kolom dengan nilai 0 dalam dataset

Fungsi .all()menjatuhkan semua kolom yang mana ada nilai nol dalam dataset saya.

df = df [~( df [ ['kt'  'b'   'tt'  'mky' 'depth', ] ] == 0).all(axis=1) ]

Coba perintah ini bekerja dengan sempurna.

Untuk menghapus semua kolom dengan nilai 0 di baris mana pun:

new_df = df[df.loc[:]!=0].dropna()