fark?

Question

rdd.collect(). ToMap yerine RDD'de collectAsMap kullandığımda herhangi bir performans etkisi var mı?

Anahtar değer rdd'im var ve HashMap'e dönüştürmek istediğim kadarıyla topladığım için() sürücüde çalıştığı için büyük veri kümelerinde etkin olmadığım için collectAsMap'i kullanabilir miyim, bunun yerine herhangi bir performans etkisi var mı?

Orijinal:

val QuoteHashMap=QuoteRDD.collect().toMap 
val QuoteRDDData=QuoteHashMap.values.toSeq 
val QuoteRDDSet=sc.parallelize(QuoteRDDData.map(x => x.toString.replace("(","").replace(")",""))) 
QuoteRDDSet.saveAsTextFile(Quotepath) 

Değişimi:

val QuoteHashMap=QuoteRDD.collectAsMap() 
val QuoteRDDData=QuoteHashMap.values.toSeq 
val QuoteRDDSet=sc.parallelize(QuoteRDDData.map(x => x.toString.replace("(","").replace(")",""))) 
QuoteRDDSet.saveAsTextFile(Quotepath) 

Answer 1

collectAsMap uygulanması Böylece aşağıdaki

def collectAsMap(): Map[K, V] = self.withScope { 
    val data = self.collect() 
    val map = new mutable.HashMap[K, V] 
    map.sizeHint(data.length) 
    data.foreach { pair => map.put(pair._1, pair._2) } 
    map 
    } 

olduğunu collect ve collectAsMap arasında performans farkı collectAsMap çünkü orada unde çağırır kaput ayrıca collect.

Answer 2

Fark yok. Paralellik kavramını yok ettiği ve verileri sürücüde topladığı için topla() 'yı kullanmaktan kaçının.