Kıvılcım dizisindeki ham bayt dizilerini yazıp oku - Sıralı Dosya Sırası Dizisini KullanarakDosya

Question

Apache Spark kullanarak bir dosyaya nasıl RDD[Array[Byte]] yazıyorsunuz ve tekrar okuyorsunuz?

Answer 1

Sık karşılaşılan sorunlar, BytesWritable'dan NullWritable'a tuhaf bir istisna alamıyor gibi görünüyor. Diğer yaygın sorun ise BytesWritable getBytes, bayt almayan, anlamsız bir anlamsız saçmalık yığınıdır. getBytes'un ne yapması, byte'ları elde etmekten ziyade, sonuna kadar bir ton sıfır ekler! copyBytes

val rdd: RDD[Array[Byte]] = ??? 

// To write 
rdd.map(bytesArray => (NullWritable.get(), new BytesWritable(bytesArray))) 
    .saveAsSequenceFile("/output/path", codecOpt) 

// To read 
val rdd: RDD[Array[Byte]] = sc.sequenceFile[NullWritable, BytesWritable]("/input/path") 
    .map(_._2.copyBytes())