Spark Streaming - ikili veri dosyasını işliyor

Question

pyspark 1.6.0 kullanıyorum.

AWS S3 grubundan ikili veri dosyasını okumak için pyspark kodum var. Diğer Kıvılcım/Python kodları, verideki bitleri int, string, boolean ve vs'ye dönüştürmek için ayrıştırır. Her bir ikili dosyanın bir veri kaydı vardır. sc.binaryFiles ("S3N: // .......")

Bu harika çalışıyor bir bir başlığın (dosya adı ve verir PYSPARK yılında

Ben kullanarak ikili dosyasını okumak veri) ama bir dize olarak ikili dosyayı okumak için eşdeğer bir PYSPARK akış API'sini bulmaya çalışıyorum (umarım dosya ismi de olabilir). binaryRecordsStream (dizin, RecordLength)

ama bu çalışma alamadım ...

kimse PYSPARK akış ikili veri dosyasını okumak nasıl bazı ışıklar paylaşabilir:

Denedim?

Answer 1

Spark Streaming'de, ilgili kavram Scala ve Java'da bulunan ancak Python'da bulunmayan fileStream API'sidir - burada belgelere not edilmiştir: http://spark.apache.org/docs/latest/streaming-programming-guide.html#basic-sources. Okuduğunuz dosya bir metin dosyası olarak okunabiliyorsa, textFileStream API

'u kullanabilirsiniz.