Bagaimana cara memeriksa apakah spark dataframe kosong?

Sekarang, saya harus menggunakan df.count > 0untuk memeriksa apakah DataFramekosong atau tidak. Tapi ini agak tidak efisien. Apakah ada cara yang lebih baik untuk melakukan itu?

Terima kasih.

PS: Saya mau cek kalau kosong jadi saya simpan saja DataFramekalau tidak kosong

Untuk Spark 2.1.0, saran saya adalah menggunakan head(n: Int)atau take(n: Int)dengan isEmpty, mana saja yang memiliki maksud paling jelas untuk Anda.

df.head(1).isEmpty
df.take(1).isEmpty

dengan padanan Python:

len(df.head(1)) == 0  # or bool(df.head(1))
len(df.take(1)) == 0  # or bool(df.take(1))

Menggunakan df.first()dan df.head()akan mengembalikan java.util.NoSuchElementExceptionjika DataFrame kosong. first()panggilan head()langsung, yang memanggil head(1).head.

def first(): T = head()
def head(): T = head(1).head

head(1)mengembalikan Array, jadi mengambil headArray itu menyebabkan java.util.NoSuchElementExceptionkapan DataFrame kosong.

def head(n: Int): Array[T] = withAction("head", limit(n).queryExecution)(collectFromPlan)

Jadi, alih-alih memanggil head(), gunakan head(1)langsung untuk mendapatkan array lalu Anda bisa menggunakan isEmpty.

take(n)juga setara dengan head(n)...

def take(n: Int): Array[T] = head(n)

Dan limit(1).collect()setara dengan head(1)(perhatikan limit(n).queryExecutiondalam head(n: Int)metode), jadi berikut ini semua setara, setidaknya dari apa yang saya tahu, dan Anda tidak perlu menangkap java.util.NoSuchElementExceptionpengecualian saat DataFrame kosong.

df.head(1).isEmpty
df.take(1).isEmpty
df.limit(1).collect().isEmpty

Saya tahu ini adalah pertanyaan lama, jadi semoga ini akan membantu seseorang yang menggunakan versi Spark yang lebih baru.

Saya akan mengatakan untuk mengambil yang mendasarinya RDD. Di Scala:

df.rdd.isEmpty

dengan Python:

df.rdd.isEmpty()

Yang sedang berkata, semua ini adalah panggilan take(1).length, jadi itu akan melakukan hal yang sama seperti yang dijawab Rohan ... mungkin sedikit lebih eksplisit?

Anda dapat memanfaatkan fungsi head()(atau first()) untuk melihat apakah DataFramememiliki satu baris. Jika demikian, itu tidak kosong.

Jika Anda melakukannya df.count > 0. Dibutuhkan jumlah semua partisi di semua pelaksana dan menambahkannya di Driver. Ini membutuhkan waktu lama ketika Anda berurusan dengan jutaan baris.

Cara terbaik untuk melakukannya adalah dengan melakukan df.take(1)dan memeriksa apakah nilainya null. Ini akan kembali java.util.NoSuchElementExceptionjadi lebih baik untuk mencobanya df.take(1).

Dataframe mengembalikan kesalahan saat take(1)selesai, bukan baris kosong. Saya telah menyoroti baris kode tertentu di mana ia melempar kesalahan.

Sejak Spark 2.4.0 ada Dataset.isEmpty.

Itu implementasi adalah:

def isEmpty: Boolean = 
  withAction("isEmpty", limit(1).groupBy().count().queryExecution) { plan =>
    plan.executeCollect().head.getLong(0) == 0
}

Perhatikan bahwa a DataFramebukan lagi kelas di Scala, itu hanya alias tipe (mungkin diubah dengan Spark 2.0):

type DataFrame = Dataset[Row]

Untuk pengguna Java, Anda dapat menggunakan ini di set data:

public boolean isDatasetEmpty(Dataset<Row> ds) {
        boolean isEmpty;
        try {
            isEmpty = ((Row[]) ds.head(1)).length == 0;
        } catch (Exception e) {
            return true;
        }
        return isEmpty;
}

Ini memeriksa semua kemungkinan skenario (kosong, null).

Di Scala, Anda dapat menggunakan implik untuk menambahkan metode isEmpty()dan nonEmpty()ke DataFrame API, yang akan membuat kode sedikit lebih bagus untuk dibaca.

object DataFrameExtensions {
  implicit def extendedDataFrame(dataFrame: DataFrame): ExtendedDataFrame = 
    new ExtendedDataFrame(dataFrame: DataFrame)

  class ExtendedDataFrame(dataFrame: DataFrame) {
    def isEmpty(): Boolean = dataFrame.head(1).isEmpty // Any implementation can be used
    def nonEmpty(): Boolean = !isEmpty
  }
}

Di sini, metode lain juga dapat ditambahkan. Untuk menggunakan konversi implisit, gunakan import DataFrameExtensions._file yang ingin Anda gunakan dengan fungsionalitas yang diperluas. Setelah itu, metode dapat digunakan secara langsung sebagai berikut:

val df: DataFrame = ...
if (df.isEmpty) {
  // Do something
}

Saya memiliki pertanyaan yang sama, dan saya menguji 3 solusi utama:

1. df! = null df.count> 0
2. df.head (1) .isEmpty () seperti yang disarankan @ hulin003
3. df.rdd.isEmpty sebagai saran @Justin Pihony

dan tentu saja 3 berfungsi, namun dalam hal kinerja, inilah yang saya temukan, ketika menjalankan metode ini pada DF yang sama di mesin saya, dalam hal waktu eksekusi:

1. dibutuhkan ~ 9366ms
2. dibutuhkan ~ 5607ms
3. dibutuhkan ~ 1921ms
   

oleh karena itu saya pikir solusi terbaik adalah df.rdd.isEmpty seperti yang disarankan @Justin Pihony

Saya menemukan itu pada beberapa kasus:

>>>print(type(df))
<class 'pyspark.sql.dataframe.DataFrame'>

>>>df.take(1).isEmpty
'list' object has no attribute 'isEmpty'

ini sama untuk "length" atau ganti take () dengan head ()

[Solusi] untuk masalah yang bisa kita gunakan.

>>>df.limit(2).count() > 1
False

Jika Anda menggunakan Pypsark, Anda juga dapat melakukan:

len(df.head(1)) > 0

Pada PySpark, Anda juga dapat menggunakan ini bool(df.head(1))untuk mendapatkan Truedari Falsenilai

Ia kembali Falsejika dataframe tidak berisi baris

df1.take(1).length>0

The takeMetode mengembalikan array baris, jadi jika ukuran array sama dengan nol, tidak ada catatan di df.

dataframe.limit(1).count > 0

Ini juga memicu pekerjaan tetapi karena kami memilih satu catatan, bahkan dalam kasus catatan skala miliar konsumsi waktu bisa jauh lebih rendah.

Dari: https://medium.com/checking-emptiness-in-distributed-objects/count-vs-isempty-surprised-to-see-the-impact-fa70c0246ee0

Anda bisa melakukannya seperti:

val df = sqlContext.emptyDataFrame
if( df.eq(sqlContext.emptyDataFrame) )
    println("empty df ")
else 
    println("normal df")