Cara menjatuhkan baris Pandas DataFrame yang nilainya dalam kolom tertentu adalah NaN

Saya memiliki ini DataFramedan hanya ingin catatan yang EPSkolomnya bukan NaN:

>>> df
                 STK_ID  EPS  cash
STK_ID RPT_Date                   
601166 20111231  601166  NaN   NaN
600036 20111231  600036  NaN    12
600016 20111231  600016  4.3   NaN
601009 20111231  601009  NaN   NaN
601939 20111231  601939  2.5   NaN
000001 20111231  000001  NaN   NaN

... Yaitu sesuatu yang ingin df.drop(....)mendapatkan kerangka data yang dihasilkan ini:

                  STK_ID  EPS  cash
STK_ID RPT_Date                   
600016 20111231  600016  4.3   NaN
601939 20111231  601939  2.5   NaN

Bagaimana aku melakukan itu?

Jangan jatuhkan, ambil saja baris di mana EPS bukan NA:

df = df[df['EPS'].notna()]

Pertanyaan ini sudah diselesaikan, tetapi ...

... juga pertimbangkan solusi yang disarankan oleh Wouter dalam komentar aslinya . Kemampuan untuk menangani data yang hilang, termasuk dropna(), dibangun ke dalam panda secara eksplisit. Selain berpotensi meningkatkan kinerja daripada melakukannya secara manual, fungsi-fungsi ini juga dilengkapi dengan berbagai opsi yang mungkin berguna.

In [24]: df = pd.DataFrame(np.random.randn(10,3))

In [25]: df.iloc[::2,0] = np.nan; df.iloc[::4,1] = np.nan; df.iloc[::3,2] = np.nan;

In [26]: df
Out[26]:
          0         1         2
0       NaN       NaN       NaN
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
4       NaN       NaN  0.050742
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
8       NaN       NaN  0.637482
9 -0.310130  0.078891       NaN

In [27]: df.dropna()     #drop all rows that have any NaN values
Out[27]:
          0         1         2
1  2.677677 -1.466923 -0.750366
5 -1.250970  0.030561 -2.678622
7  0.049896 -0.308003  0.823295

In [28]: df.dropna(how='all')     #drop only if ALL columns are NaN
Out[28]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
4       NaN       NaN  0.050742
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
8       NaN       NaN  0.637482
9 -0.310130  0.078891       NaN

In [29]: df.dropna(thresh=2)   #Drop row if it does not have at least two values that are **not** NaN
Out[29]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
5 -1.250970  0.030561 -2.678622
7  0.049896 -0.308003  0.823295
9 -0.310130  0.078891       NaN

In [30]: df.dropna(subset=[1])   #Drop only if NaN in specific column (as asked in the question)
Out[30]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
9 -0.310130  0.078891       NaN

Ada juga opsi lain (Lihat dokumen di http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.dropna.html ), termasuk menjatuhkan kolom alih-alih baris.

Cukup berguna!

Saya tahu ini sudah dijawab, tetapi hanya demi solusi panda murni untuk pertanyaan khusus ini yang bertentangan dengan deskripsi umum dari Aman (yang luar biasa) dan jika ada orang lain yang mengalami hal ini:

import pandas as pd
df = df[pd.notnull(df['EPS'])]

Anda bisa menggunakan ini:

df.dropna(subset=['EPS'], how='all', inplace=True)

Sederhana dari semua solusi:

filtered_df = df[df['EPS'].notnull()]

Solusi di atas jauh lebih baik daripada menggunakan np.isfinite ()

Anda bisa menggunakan metode dataframe notnull atau kebalikan dari isnull , atau numpy.isnan :

In [332]: df[df.EPS.notnull()]
Out[332]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN


In [334]: df[~df.EPS.isnull()]
Out[334]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN


In [347]: df[~np.isnan(df.EPS)]
Out[347]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN

Cara sederhana dan mudah

df.dropna(subset=['EPS'],inplace=True)

sumber: https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.dropna.html

solusi lain yang menggunakan fakta bahwa np.nan != np.nan:

In [149]: df.query("EPS == EPS")
Out[149]:
                 STK_ID  EPS  cash
STK_ID RPT_Date
600016 20111231  600016  4.3   NaN
601939 20111231  601939  2.5   NaN

Versi lain:

df[~df['EPS'].isna()]

Dalam kumpulan data yang memiliki jumlah kolom yang besar, lebih baik untuk melihat berapa banyak kolom yang mengandung nilai nol dan berapa banyak yang tidak.

print("No. of columns containing null values")
print(len(df.columns[df.isna().any()]))

print("No. of columns not containing null values")
print(len(df.columns[df.notna().all()]))

print("Total no. of columns in the dataframe")
print(len(df.columns))

Sebagai contoh dalam dataframe saya itu berisi 82 ​​kolom, dimana 19 berisi setidaknya satu nilai nol.

Lebih lanjut Anda juga dapat secara otomatis menghapus cols dan rows bergantung pada yang memiliki lebih banyak nilai null
Berikut adalah kode yang melakukan ini dengan cerdas:

df = df.drop(df.columns[df.isna().sum()>len(df.columns)],axis = 1)
df = df.dropna(axis = 0).reset_index(drop=True)

Catatan: Kode di atas menghapus semua nilai nol Anda. Jika Anda ingin nilai nol, proses sebelumnya.

Dapat ditambahkan pada saat itu '&' dapat digunakan untuk menambahkan kondisi tambahan misalnya

df = df[(df.EPS > 2.0) & (df.EPS <4.0)]

Perhatikan bahwa ketika mengevaluasi pernyataan, panda membutuhkan tanda kurung.

Untuk beberapa alasan tidak ada jawaban yang dikirimkan sebelumnya bekerja untuk saya. Solusi dasar ini:

df = df[df.EPS >= 0]

Padahal tentu saja itu akan menjatuhkan baris dengan angka negatif juga. Jadi, jika Anda menginginkannya, mungkin pintar untuk menambahkan ini juga.

df = df[df.EPS <= 0]

Salah satu solusinya bisa

df = df[df.isnull().sum(axis=1) <= Cutoff Value]

Cara lain bisa jadi

df= df.dropna(thresh=(df.shape[1] - Cutoff_value))

Saya harap ini bermanfaat.