emr

0ısı

1cevap

Spark, kümeyi oluştururken Amazon'un EMR çekirdek/çalışan düğümleri/örneklerine nasıl yüklenir?

Spark (1.6.0) ve Hadoop (Dağıtım: Amazon 2.7.1) uygulamaları ile EMR kümesi başlatmaya çalışıyorum. Ayırma etiketi, emr-4.4.0'dur. Küme gerektiği şekilde kurulum yapıyor ancak Spark master'ı (ana örne

1ısı

1cevap

Tüm kıvılcım boyunca kıvılcım iletimi ile bir kıvılcım işinin çalıştırılması

Kısa süre önce Amazon emrinde 1 master ve 2 slave içeren bir Spark kümesi oluşturdum. pyspark'u çalıştırabilir ve spark-submit numaralı işleri gönderebilirim. sc=SparkContext("local", "App Name") Bu

1ısı

1cevap

AWS EMR - iş sayaçlarının limiti aşıldı 120

Devraldığım ve EMR'de çalışmaya çalıştığım bir veritabanı kod tabanım var. Ama iş sayaçlarıyla ilgili sorunlara karışıyorum. 120'lik varsayılan sınırı aştığımı söyleyen bir hata alıyorum. Koduma baktı

0ısı

1cevap

Yükseltme EMR Kümesi?

EMR ile Spark, Zeppelin, Hue, vs gibi küçük, uzun süredir çalışan bir kümem var. Hue kullanıcılarını yapılandırdım, Zeppelin'de kullandığım birkaç not defterim var ... hepsi iyi çalışıyor . Ancak, emr

5ısı

1cevap

AWS Emr'de Mxnet başarısızken Hadoop akış işi

AWS veri yolunda bir emr adımı ayarlıyorum. adım komut şuna benzer: /usr/lib/hadoop-mapreduce/hadoop-streaming.jar,-input,s3n://input-bucket/input-file,-output,s3://output/output-dir,-mapper,/bin/cat,

7ısı

1cevap

Komut satırından bir iplik yapılandırması alın

EMR'de, yarn komutunu kullanarak yapılandırma anahtarı verilen yapılandırmanın belirli bir değerini almanın bir yolu var mı? Mesela ben Biraz olmayan sezgisel var bu yarn get-config yarn.scheduler.max

7ısı

1cevap

AW-EMR 5.0

üzerinde çalışan boto3'te MR işine akış adımı ekle AWS EMR 2.4'ten AWS EMR 5.0'a python'da yazdığım birkaç MR işini geçirmeye çalışıyorum. Şimdiye kadar boto 2.4 kullanıyordum, ancak EMR 5.0'ı destekl

6ısı

2cevap

Özel log4j.properties AWS üzerinde EMR

Ben Amazon EMR üzerinde bir özel log4j.properties geçersiz ve kullanamıyorum. EMR'de (Yarn) Spark kullanıyorum ve özel log4j'yi denemek ve kullanmak için Spark-Submit'teki tüm kombinasyonları denedim.

5ısı

1cevap

Airflow - EMR operatöründe Görev Örneği

Airflow'ta, job_flow_id emr adımlarından birine geçmem gereken sorunla karşı karşıyayım. Operatörden job_flow_id'u alma yeteneğine sahibim, ancak kümeye gönderilecek adımları oluşturacağım zaman, task

7ısı

1cevap

PySpark'ı (yerel makine) EMR kümeme nasıl bağlarım?

Apache Spark ile önyüklemiş 3 düğümlü bir AWS ElasticMapReduce küme yerleştirdim. Benim yerel makinede, ben SSH ile ana düğümünü erişebilirsiniz: Bir kez ana düğüm haline ssh'd ssh -i <key> [email pro