:Kıvrım, Küçült, Aggregate için Spark Async arabirimi? Resmi Kıvılcım RDD API olarak
https://spark.apache.org/docs/2.1.0/api/java/org/apache/spark/rdd/AsyncRDDActions.html
sayımı, foreach toplamak ve hepsinde Geleceği iade zaman uyumsuz varyantları vardır alır.
Neden bu uyumsuz/gelecekteki arabirime sahip değilsiniz, katlamayın, azaltın ve bir araya getirmeyin? Bu oldukça önemli görünüyor.
TL; DR: https://spark.apache.org/docs/2.2.0/rdd-programming-guide.html#rdd-operations
Bildirimi, bir zaman uyumsuz seçeneği ile listelenen tüm işler kıvılcım "eylemler" olduğunu: fark "dönüşümler" vs kıvılcım "eylemler" arasında, yani verileri hemen işlemeye başlayacak ve eşzamanlı olarak dönmeye çalışacaklar. Çok fazla veri varsa uzun zaman alabilir, bu yüzden eşzamansız bir seçeneğe sahip olmak güzel bir şey.
arada, bir zaman uyumsuz seçeneği olmadan listelenen işlemleri anında işi yapmak için bir plan oluşturur anlamına gelir, ancak uygulayana kadar aslında hiçbir veri işlemez, hangi lazily değerlendirilir kıvılcım "dönüşümler" vardır sonuçları döndürmek için daha sonra bir "eylem".
Bu arada, belirli bir kod veya bu sorunu çözmeye çalıştığınız bir sorun var mı?
Ve saveAsObjectFile – arivero