Spark ORC dizinlerini nasıl kullanırım?

Question

Kıvılcımdan veya endekslenmeyi etkinleştirmek için seçenek nedir?

  df 
      .write() 
      .option("mode", "DROPMALFORMED") 
      .option("compression", "snappy") 
      .mode("overwrite") 
      .format("orc") 
      .option("index", "user_id") 
      .save(...); 

ben orc gelen endeks sütun "user_id" orada koymak ne olurdu, yukarı .option("index", uid) yapıyorum.

Answer 1

Denediniz mi: .partitionBy("user_id")?

df 
     .write() 
     .option("mode", "DROPMALFORMED") 
     .option("compression", "snappy") 
     .mode("overwrite") 
     .format("orc") 
     .partitionBy("user_id") 
     .save(...)