pyspark'ta sürgülü pencere işlemleri nasıl yapılır?

Question

Bir dizi verim var, RDD'ye dönüşüyor.

filteredRDD.collect() 

[0, 1, 2, 3, 5, 9] 

Delta akımı bir olsun ister - önceki değeri, çıkış [1, 1, 1, 2, 4].

Nasıl bir pencere işlevi kıvılcım 1.6 var? İstediğiniz sonucu elde etmek için ne yapabilirsiniz

Answer 1

zipWithIndex

olduğunu Sen zipWithIndex senin RDD (o [Uzun, Int] rdd1 diyoruz) olabilir sonra

val rdd2 = rdd1.map{case(index, value) => (index + 1, value)} Şimdi eğer val rdd3 = rdd1.join(rdd2).mapValues(case (a, b) => a -b).values

sizin row wise delta budur. Bu, çok fazla kargaşaya girmediğinden çok verimlidir.

Teşekkürler Manas