kıvılcım - filtre içinde harita

Question

İç harita fonksiyon filtreleme çalışıyorum. Temelde, klasik harita küçültmede bunu yapabilmenin yolu, filtre kriterleri karşılandığında, eşleştiricinin içeriğe bir şey yazmamasıdır. Kıvılcımla nasıl benzerlik kazanabilirim? Eşleme adımında başarısız olduğu için null işlev işlevinden döndüremiyorum. Filtre işlevini kullanabilirim ancak aynı görevi harita sırasında gerçekleştirirken gereksiz veri yineleme gibi görünüyor. Ayrıca null kukla anahtarla çıktı almayı deneyebilirim ama bu kötü bir çözümdür.

rdd.flatMap:

Answer 1

birkaç seçenek vardır rdd.flatMap RDD içine Traversable koleksiyonunu dümdüz olacak. Öğeleri seçmek için, dönüşümün sonucu olarak genellikle bir Option döndürürsünüz.

rdd.flatMap(elem => if (filter(elem)) Some(f(elem)) else None) 

rdd.collect(pf: PartialFunction)

filtre ve orijinal RDD öğeler dönüştürmek kısmi işlevi sağlamak için olanak sağlar. Bu yöntemle tüm desen eşleştirme gücünü kullanabilirsiniz. Dekan Wampler yorumlardaki bahisler gibi

rdd.collect{case t if (cond(t)) => f(t)} 
rdd.collect{case t:GivenType => f(t)} 

, rdd.map(f(_)).filter(cond(_)) kadar iyi ve daha hızlı yukarıda bahsedilen diğer daha 'veciz' seçeneklere göre olabilir.

f, bir dönüştürme (veya harita) işlevidir.