Toplama sütunları nasıl adlandırılır?

Question

Spark içinde Scala kullanıyorum ve birleştirilmiş sütunlarım anonim. Veri kümesinden birden çok sütun yeniden adlandırmak için uygun bir yol var mı? Ben as ile bir şema empoze düşündüm ama anahtar sütun bir yapıdır (groupBy işlemi nedeniyle), ve bir case class bir StructType ile tanımlamak nasıl bulamıyorum.

ben şöyle bir şema tanımlama çalıştı:

val returnSchema = StructType(StructField("edge", StructType(StructField("src", IntegerType, true), 
                  StructField("dst", IntegerType), true)), 
           StructField("count", LongType, true)) 
edge_count.as[returnSchema] 

ama bir derleme hatası var:

Message: <console>:74: error: overloaded method value apply with alternatives: 
    (fields: Array[org.apache.spark.sql.types.StructField])org.apache.spark.sql.types.StructType <and> 
    (fields: java.util.List[org.apache.spark.sql.types.StructField])org.apache.spark.sql.types.StructType <and> 
    (fields: Seq[org.apache.spark.sql.types.StructField])org.apache.spark.sql.types.StructType 
cannot be applied to (org.apache.spark.sql.types.StructField, org.apache.spark.sql.types.StructField, Boolean) 
     val returnSchema = StructType(StructField("edge", StructType(StructField("src", IntegerType, true), 

Answer 1

select deyimiyle alias es kullanarak bitti;

> ds.printSchema 

root 
|-- key: struct (nullable = false) 
| |-- src: short (nullable = false) 
| |-- dst: short (nullable = false) 
|-- sum(count): long (nullable = true) 

Answer 2

iyi çözüm örn açıkça Sütunlarınızın isim olduğunu

df 
    .groupBy('a, 'b) 
    .agg(
    expr("count(*) as cnt"), 
    expr("sum(x) as x"), 
    expr("sum(y)").as("y") 
) 

Veri kümesi kullanıyorsanız, sütunlarınızın türünü belirtmeniz gerekir, örneğin, expr("count(*) as cnt").as[Long].

DSL'yi doğrudan kullanabilirsiniz, ancak genellikle bunu basit SQL ifadelerinden daha ayrıntılı olarak bulurum.

Toplu yeniden adlandırma yapmak isterseniz, Map ve ardından foldLeft veri aralığını kullanın.