Ganti semua nilai numerik dalam bingkai data pyspark dengan nilai konstan

Pertimbangkan kerangka data pyspark yang terdiri dari elemen 'nol' dan elemen numerik. Secara umum, elemen numerik memiliki nilai yang berbeda. Bagaimana mungkin untuk mengganti semua nilai numerik dari dataframe dengan nilai numerik yang konstan (misalnya dengan nilai 1)? Terima kasih sebelumnya!

Contoh untuk kerangka data pyspark:

$$\begin{array}{c|lcr} & \text{c1} & \text{c2} & \text{c3} \\ \hline 1 & 0.04 & 1 & 1.35 \\ 2 & -1 & null & -1.2 \\ 3 & null & 1.2 & null \end{array}$$

Hasilnya harus:

$$\begin{array}{c|lcr} & \text{c1} & \text{c2} & \text{c3} \\ \hline 1 & 1 & 1 & 1 \\ 2 & 1 & null & 1 \\ 3 & null & 1 & null \end{array}$$

Menggunakan litakan mengonversi semua nilai kolom ke nilai yang diberikan.

Untuk melakukannya hanya untuk nilai-nilai dataframe yang bukan nol, Anda harus memfilter nilai-nilai yang bukan nol dari setiap kolom dan mengganti nilai Anda. whendapat membantu Anda mencapai ini.

from pyspark.sql.functions import when   

df.withColumn('c1', when(df.c1.isNotNull(), 1))
  .withColumn('c2', when(df.c2.isNotNull(), 1))
  .withColumn('c3', when(df.c3.isNotNull(), 1))

Ini akan menghasilkan:

$$\begin{array}{c|lcr} & \text{c1} & \text{c2} & \text{c3} \\ \hline 1 & 1 & 1 & 1 \\ 2 & 1 & null & 1 \\ 3 & null & 1 & null \end{array}$$

Juga, jika Anda ingin mengganti nilai-nilai nol itu dengan beberapa nilai lain juga, Anda dapat menggunakan otherwisedalam kombinasi dengan when. Katakanlah Anda ingin menyalahkan di 0sana:

from pyspark.sql.functions import when   

df.withColumn('c1', when(df.c1.isNotNull(), 1).otherwise(0))
  .withColumn('c2', when(df.c2.isNotNull(), 1).otherwise(0))
  .withColumn('c3', when(df.c3.isNotNull(), 1).otherwise(0))

Ini akan menghasilkan:

$$\begin{array}{c|lcr} & \text{c1} & \text{c2} & \text{c3} \\ \hline 1 & 1 & 1 & 1 \\ 2 & 1 & 0 & 1 \\ 3 & 0 & 1 & 0 \end{array}$$

Sesuai masalah Anda, saya pikir itu akan lebih mudah untuk digunakan menyala . Coba ini-

from pyspark.sql.functions import lit
new_df = df.withColumn('column_name', lit(1))

Semoga ini bisa membantu!

Ini akan lebih mudah jika Anda memiliki banyak kolom:

from pyspark.sql.functions import when   
cols = df.columns # list of all columns
for col in cols:
    df= df.withColumn(col, when(df[col]>0,1).otherwise(0))