PySpark'ta Patlatma

Question

Her bir kelime kendi satırında bir DataFrame'e sözcük listelerini içeren bir DataFrame'den dönüştürmek istiyorum.

DataFrame'deki bir sütunda nasıl patlayabilirim?

Aşağıda, her bir kod satırını engelleyebileceğiniz ve aşağıdaki yorumda listelenen hatayı alabileceğiniz bazı girişimlerimden bir örnek verilmiştir. PySpark'ı Spark 1.6.1 ile Python 2.7'de kullanıyorum.

from pyspark.sql.functions import split, explode 
DF = sqlContext.createDataFrame([('cat \n\n elephant rat \n rat cat',)], ['word']) 
print 'Dataset:' 
DF.show() 
print '\n\n Trying to do explode: \n' 
DFsplit_explode = (
DF 
.select(split(DF['word'], ' ')) 
# .select(explode(DF['word'])) # AnalysisException: u"cannot resolve 'explode(word)' due to data type mismatch: input to function explode should be array or map type, not StringType;" 
# .map(explode) # AttributeError: 'PipelinedRDD' object has no attribute 'show' 
# .explode() # AttributeError: 'DataFrame' object has no attribute 'explode' 
).show() 

# Trying without split 
print '\n\n Only explode: \n' 

DFsplit_explode = (
DF 
.select(explode(DF['word'])) # AnalysisException: u"cannot resolve 'explode(word)' due to data type mismatch: input to function explode should be array or map type, not StringType;" 
).show() 

Answer 1

explode ve split SQL fonksiyonları tavsiye ediniz. Her ikisi de SQL Column'da çalışır. split, Java argümanını ikinci argüman olarak alır. Eğer keyfi boşluk verileri ayırmak istiyorsanız böyle bir şey gerekir:

df = sqlContext.createDataFrame(
    [('cat \n\n elephant rat \n rat cat',)], ['word'] 
) 

df.select(explode(split(col("word"), "\s+")).alias("word")).show() 

## +--------+ 
## | word| 
## +--------+ 
## |  cat| 
## |elephant| 
## |  rat| 
## |  rat| 
## |  cat| 
## +--------+ 

Answer 2

where madde eklemek, boşluklarla ayrılır ve aynı zamanda boş satırlar kaldırın.

DF = sqlContext.createDataFrame([('cat \n\n elephant rat \n rat cat\nmat\n',)], ['word']) 

>>> (DF.select(explode(split(DF.word, "\s")).alias("word")) 
     .where('word != ""') 
     .show()) 

+--------+ 
| word| 
+--------+ 
|  cat| 
|elephant| 
|  rat| 
|  rat| 
|  cat| 
|  mat| 
+--------+