Pyspark veri çerçevesindeki her sütun için Null ve Nan değerlerinin sayısı nasıl bulunur? Her sütun için boş nan deyince/ile

Question

import numpy as np 

df = spark.createDataFrame(
    [(1, 1, None), (1, 2, float(5)), (1, 3, np.nan), (1, 4, None), (1, 5, float(10)), (1, 6, float('nan')), (1, 6, float('nan'))], 
    ('session', "timestamp1", "id2")) 

Beklenen çıkış

dataframe

Not: ben boş & değil nan için sadece denetler yığın taşması bulundu önceki sorular. Bu yüzden yeni bir soru oluşturdum.

Kıvılcım sütununda Boş değerlerin sayısını bulmak için kıvılcımda isnull() işlevini kullanabileceğimi biliyorum, ancak Spark veri çerçevesindeki Nan değerlerini nasıl bulabilirim?

Answer 1

için isNullisnan ile here gösterilen yöntemi kullanmak yerine kullanılabilir:

from pyspark.sql.functions import isnan, when, count, col 

df.select([count(when(isnan(c), c)).alias(c) for c in df.columns]).show() 
+-------+----------+---+ 
|session|timestamp1|id2| 
+-------+----------+---+ 
|  0|   0| 3| 
+-------+----------+---+ 

veya

df.select([count(when(isnan(c) | col(c).isNull(), c)).alias(c) for c in df.columns]).show() 
+-------+----------+---+ 
|session|timestamp1|id2| 
+-------+----------+---+ 
|  0|   0| 5| 
+-------+----------+---+ 

Answer 2

için ckeck bir UDF oluşturabilir hem null ve NaN ve

filtre boolean değer iade

val isNaN = udf((value : Float) => { 
    if (value.equals(Float.NaN) || value == null) true else false }) 

val result = data.filter(isNaN(data("column2"))).count() 

Bu yardımcı olur umarız!