distributed-computing

0ısı

1cevap

OpenMPI'de hangi MCA parametrelerinin kullanıldığı nasıl kontrol edilir?

OpenMPI kod tabanında, her modülün birden çok varyantı vardır. mpirun numaralı telefonu ararken, kullanmak istediğiniz Modular Component Architecture (MCA) modüllerini seçebilirsiniz. seçenek ... içer

5ısı

1cevap

(p) COMPSs kümeleri

yükleme sırasında başarısız Autoreconf Supercomputers için yükleme komut dosyasını kullanarak bir Cluster sistemde pyCOMPSs (v1.4) yüklemeyi denedim. komut dosyası aşağıdaki hata ile sona erer: libtoo

6ısı

1cevap

C COMPSs uygulamasında başarısız olan tüm işler

COMPS 1.4'ü ve http://www.bsc.es/computer-sciences/grid-computing/comp-superscalar/downloads-and-documentation bazı test programlarını indirdim ve bunları test etmeye çalışıyorum. Java infazları iyi g

9ısı

1cevap

Verilerim bölümler arasında nasıl dengelenir?

Düzenle: Yanıt yardımcı oluyor, ancak çözümüm şu adreste açıklandı: memoryOverhead issue in Spark. Ben başkaları tarafından oluşturulan bir veri kümesi okur 202.092 bölümleri, bir RDD var. Container k

6ısı

1cevap

COMPS'lerle paylaşılan diskler

Farklı düğümler arasında paylaşılan bir diske sahip bir kümem var. Dosya aktarımlarını önlemek için COMP superscalar'ı bu paylaşılan diski dikkate alacak şekilde nasıl yapılandırabilirim?

6ısı

1cevap

COMPSs Monitör herhangi bir uygulamayı göstermiyor

COMPSs Sample Application Manual'da gösterilen COMPSs Increment uygulamasıyla çalışıyorum. Ben izleme özelliğini etkinleştirmek için -M bayrak eklemiş: $ runcompss -m --debug increment.Increment 5 1 2

11ısı

1cevap

Kıvılcım Caching: RDD sadece% 8'i aşağıda benim kod parçacığı için

önbelleğe: val levelsFile = sc.textFile(levelsFilePath) val levelsSplitedFile = levelsFile.map(line => line.split(fileDelimiter, -1)) val levelPairRddtemp = levelsSplitedFile .filter(lin

7ısı

2cevap

fark?

rdd.collect(). ToMap yerine RDD'de collectAsMap kullandığımda herhangi bir performans etkisi var mı? Anahtar değer rdd'im var ve HashMap'e dönüştürmek istediğim kadarıyla topladığım için() sürücüde ça

3ısı

3cevap

Kafka 0.9.0'da çok parçalı tüketici nasıl kullanılır? tanımlamaktadır aşağıdaki yaklaşık

Kafka'nın doc bir yaklaşım vermek: Konu Başına Bir Tüketiciyi: Basit bir seçenek her biri kendi tüketici> örneğini iplik vermektir. Kodum: public class KafkaConsumerRunner implements Runnable {

0ısı

1cevap

Öntanımlı anahtarlar olarak aynı düğüme IMap girişleri alın [Hazelcast]

Büyük miktarda veri dağıtımı yapmak için Hazelcast 3.6 IMap kullanıyorum (1B öğelerinde test ettik). 2 IMap örneğine anahtarlarla katılmak istiyorum, ancak bunu yapmak için yerleşik bir işlev yok gibi