Python Spark Dataframes: Grupları metin dosyasına dışa aktarmanın daha iyi bir yolu

Question

Verileri ayrı metin dosyalarına vermek istiyorum; Bu kesmek ile yapabilirsiniz:

for r in sqlContext.sql("SELECT DISTINCT FIPS FROM MY_DF").map(lambda r: r.FIPS).collect(): 
    sqlContext.sql("SELECT * FROM MY_DF WHERE FIPS = '%s'" % r).rdd.saveAsTextFile('county_{}'.format(r)) 

Spark 1.3.1/Python dataframes ile yapmak doğru yolu nedir? N (veya N + 1) işlerinin aksine tek bir işte yapmak istiyorum.

olabilir: genel olarak

saveAsTextFileByKey()

Answer 1

Kıvılcım birden çıkışları ile RDD faaliyeti bulunmamaktadır. Ama dosya yazmak için güzel bir hile var: Write to multiple outputs by key Spark - one Spark job