RDT'den DataFrame'e geçirmek için StructType oluşturma nasıl otomatikleştirilir

Question

RDD bir parke dosyası olarak kaydetmek istiyorum. Bunu yapmak için, ben DataFrame için RDD geçmek ve sonra bir parke dosyası olarak DataFrame kaydetmek için bir yapıyı kullanın:

val aStruct = new StructType(Array(StructField("id",StringType,nullable = true), 
             StructField("role",StringType,nullable = true))) 
    val newDF = sqlContext.createDataFrame(filtered, aStruct) 

soru nasıl hepsi StringType olduğunu varsayarak bütün sütunlar için otomatik aStruct yaratmaktır? Ayrıca, nullable = true'un anlamı nedir? Tüm boş değerlerin Null ile değiştirileceği anlamına mı geliyor?

Answer 1

Neden dahili toDF'u kullanmıyorsunuz?

scala> val myRDD = sc.parallelize(Seq(("1", "roleA"), ("2", "roleB"), ("3", "roleC"))) 
myRDD: org.apache.spark.rdd.RDD[(String, String)] = ParallelCollectionRDD[60] at parallelize at <console>:27 

scala> val colNames = List("id", "role") 
colNames: List[String] = List(id, role) 

scala> val myDF = myRDD.toDF(colNames: _*) 
myDF: org.apache.spark.sql.DataFrame = [id: string, role: string] 

scala> myDF.show 
+---+-----+ 
| id| role| 
+---+-----+ 
| 1|roleA| 
| 2|roleB| 
| 3|roleC| 
+---+-----+ 

scala> myDF.printSchema 
root 
|-- id: string (nullable = true) 
|-- role: string (nullable = true) 

scala> myDF.write.save("myDF.parquet") 

nullable=true sadece (Bu, özellikle normal olarak bir null değere sahip değildir int sütun için faydalı olabilir. - Int bir NA veya null vardır) belirtilen sütun null değerleri içeren anlamına gelir.