Ubah kolom DataFrame spark ke daftar python

Saya mengerjakan kerangka data dengan dua kolom, mvv dan hitungan.

+---+-----+
|mvv|count|
+---+-----+
| 1 |  5  |
| 2 |  9  |
| 3 |  3  |
| 4 |  1  |

saya ingin mendapatkan dua daftar yang berisi nilai mvv dan nilai hitungan. Sesuatu seperti

mvv = [1,2,3,4]
count = [5,9,3,1]

Jadi, saya mencoba kode berikut: Baris pertama harus mengembalikan daftar baris python. Saya ingin melihat nilai pertama:

mvv_list = mvv_count_df.select('mvv').collect()
firstvalue = mvv_list[0].getInt(0)

Tetapi saya mendapatkan pesan kesalahan dengan baris kedua:

AttributeError: getInt

Lihat, mengapa cara yang Anda lakukan ini tidak berhasil. Pertama, Anda mencoba mendapatkan integer dari Row Type, output dari collect Anda adalah seperti ini:

>>> mvv_list = mvv_count_df.select('mvv').collect()
>>> mvv_list[0]
Out: Row(mvv=1)

Jika Anda mengambil sesuatu seperti ini:

>>> firstvalue = mvv_list[0].mvv
Out: 1

Anda akan mendapatkan mvvnilainya. Jika Anda menginginkan semua informasi dari array Anda dapat mengambil sesuatu seperti ini:

>>> mvv_array = [int(row.mvv) for row in mvv_list.collect()]
>>> mvv_array
Out: [1,2,3,4]

Tetapi jika Anda mencoba hal yang sama untuk kolom lain, Anda mendapatkan:

>>> mvv_count = [int(row.count) for row in mvv_list.collect()]
Out: TypeError: int() argument must be a string or a number, not 'builtin_function_or_method'

Ini terjadi karena countmetode bawaan. Dan kolom tersebut memiliki nama yang sama dengan count. Solusi untuk melakukan ini adalah mengubah nama kolom countmenjadi _count:

>>> mvv_list = mvv_list.selectExpr("mvv as mvv", "count as _count")
>>> mvv_count = [int(row._count) for row in mvv_list.collect()]

Tetapi solusi ini tidak diperlukan, karena Anda dapat mengakses kolom menggunakan sintaks kamus:

>>> mvv_array = [int(row['mvv']) for row in mvv_list.collect()]
>>> mvv_count = [int(row['count']) for row in mvv_list.collect()]

Dan akhirnya akan berhasil!

Mengikuti satu baris memberikan daftar yang Anda inginkan.

mvv = mvv_count_df.select("mvv").rdd.flatMap(lambda x: x).collect()

Ini akan memberi Anda semua elemen sebagai daftar.

mvv_list = list(
    mvv_count_df.select('mvv').toPandas()['mvv']
)

Kode berikut akan membantu Anda

mvv_count_df.select('mvv').rdd.map(lambda row : row[0]).collect()

Pada data saya, saya mendapatkan tolok ukur ini:

>>> data.select(col).rdd.flatMap(lambda x: x).collect()

0,52 dtk

>>> [row[col] for row in data.collect()]

0,271 dtk

>>> list(data.select(col).toPandas()[col])

0,427 dtk

Hasilnya sama saja

Jika Anda mendapatkan error di bawah ini:

AttributeError: objek 'list' tidak memiliki atribut 'kumpulkan'

Kode ini akan menyelesaikan masalah Anda:

mvv_list = mvv_count_df.select('mvv').collect()

mvv_array = [int(i.mvv) for i in mvv_list]

Saya menjalankan analisis benchmarking dan list(mvv_count_df.select('mvv').toPandas()['mvv'])merupakan metode tercepat. Saya sangat terkejut.

Saya menjalankan pendekatan yang berbeda pada 100 ribu / 100 juta kumpulan data baris menggunakan cluster 5 node i3.xlarge (setiap node memiliki 30,5 GB RAM dan 4 core) dengan Spark 2.4.5. Data didistribusikan secara merata pada 20 file Parket terkompresi tajam dengan satu kolom.

Berikut hasil benchmarking (runtime dalam detik):

+-------------------------------------------------------------+---------+-------------+
|                          Code                               | 100,000 | 100,000,000 |
+-------------------------------------------------------------+---------+-------------+
| df.select("col_name").rdd.flatMap(lambda x: x).collect()    |     0.4 | 55.3        |
| list(df.select('col_name').toPandas()['col_name'])          |     0.4 | 17.5        |
| df.select('col_name').rdd.map(lambda row : row[0]).collect()|     0.9 | 69          |
| [row[0] for row in df.select('col_name').collect()]         |     1.0 | OOM         |
| [r[0] for r in mid_df.select('col_name').toLocalIterator()] |     1.2 | *           |
+-------------------------------------------------------------+---------+-------------+

* cancelled after 800 seconds

Aturan emas yang harus diikuti saat mengumpulkan data di node driver:

• Cobalah untuk menyelesaikan masalah dengan pendekatan lain. Mengumpulkan data ke node driver itu mahal, tidak memanfaatkan kekuatan cluster Spark, dan harus dihindari jika memungkinkan.
• Kumpulkan baris sesedikit mungkin. Gabungkan, hapus duplikat, filter, dan pangkas kolom sebelum mengumpulkan data. Kirim data sesedikit mungkin ke node driver.

toPandas meningkat secara signifikan di Spark 2.3 . Ini mungkin bukan pendekatan terbaik jika Anda menggunakan versi Spark lebih awal dari 2.3.

Lihat di sini untuk detail lebih lanjut / hasil pembandingan.

Solusi yang mungkin adalah menggunakan collect_list()fungsi dari pyspark.sql.functions. Ini akan menggabungkan semua nilai kolom menjadi larik pyspark yang diubah menjadi daftar python saat dikumpulkan:

mvv_list   = df.select(collect_list("mvv")).collect()[0][0]
count_list = df.select(collect_list("count")).collect()[0][0]