yarn

7ısı

1cevap

Kıvılcım, SparkException EMR içinde atanırken yanlış davranış

EMR'de kaynak yöneticisi olarak ve 2 düğümde YARN ile bir kıvılcım çalıştırıyorum. Koşulum yerine getirilmediyse, adımı bilerek başarısız olmam gerekiyor, bu yüzden sonraki adım yapılandırmaya göre yü

6ısı

2cevap

Kovan sorgusu çok yavaş ve

başarısız Ben txt masayı Hive içinde sorguda "gruplama" select day,count(*) from mts_order where source="MTS_REG_ORDER" group by day; bir yürütme ettik ama gösterilmektedir: Error: Error while proce

2ısı

1cevap

Linux komutlarıyla Ambari HDFS'de klasörün oluşturulma tarihini nasıl edinebilirim?

Yo, Birkaç klasörün oluşturulma tarihini almaya çalışıyorum. Tarih 14 gün önce ise, kaldırmak istiyorum. AMA, Oluşturma tarihini almak için uygun hdfs komutunu bulamıyorum. benim aklıma: hdfs dfs -ls

0ısı

1cevap

Kovan İşi, bazen

işlendikten sonra durduruyor Kovanı bağımsız bir makinede çalıştırıyorum. Hadoop sahte dağıtılmış modda çalışıyor. Ben iki tabloya katılır kovan sorgu çalıştırıyorum (bir tablo 7M ve başka 51M kayıtla

1ısı

2cevap

İplik Kıvılcımı: Çoklu kıvılcım işlerinin planlanması nasıl önlenir

Kıvılcım ipliği ile - Eşzamanlı işlerin planlanmasını önlemek için bir yol göremiyorum. Tamamen toplu işlem yapmak için mimarlık ayarım var. Aşağıdaki nedenlerden dolayı bu gerekir: Kaynak kısıtları U

0ısı

1cevap

YARN

aracılığıyla Spark üzerinde bellek yoğun programı çalıştırılamıyor Spark kullanarak bir programı bir Azure kümesinde karşılaştırmaya çalışıyorum. Bunu daha önce EC2'de çalıştırdık ve 150 GB RAM'in yet

1ısı

1cevap

kıvılcım kabuğu ERROR YarnScheduler: Kaybolan yürütücü

Kıvılcım kabuğunun içinde Yorum gönderim arasında aşağıdaki hata mesajını almaya devam ediyorum. Bunlar hakkında ne olabilir? scala> 16/04/12 12:49:14 HATA YarnScheduler: Kayıp XXXXXXXX infaz 2: Uzak

6ısı

1cevap

Hadoop -getmerge nasıl çalışır? Hadoop getmerge açıklamada

Kullanımı: HDF'ler dfs -getmerge src localdst [addnl] getmerge neden kendisini HDF'ler değil yerel hedefe birleştirerek neden Sorum şu? Bu soru şu soruna sahip olduğum için sorulmuştum Birleştirilecek

5ısı

1cevap

oozie akışı

( Why does the oozie luncher consume 2 yarn containers? göre) 1900 çekirdek ve 11TB RAM küme olması için tek bir uygulama ana çalıştırın. Ve ben Oozie WF iş akışının sonraki yapıya sahiptir: (çatal de

7ısı

1cevap

HDFS'den okunan ocr dosyaları okunduktan sonra kıvılcımlanmayan kıvılcım kıvılcımları

Ambari'de kıvılcım 2.1.1 ve hadoop 2.6 kullanarak bir sorunum var. from pyspark.sql import SparkSession spark = SparkSession\ .builder\ .master('yarn')\ .appName('localTest')\ .g