amazon-emr

0ısı

1cevap

EMR ile Spark, Zeppelin, Hue, vs gibi küçük, uzun süredir çalışan bir kümem var. Hue kullanıcılarını yapılandırdım, Zeppelin'de kullandığım birkaç not defterim var ... hepsi iyi çalışıyor . Ancak, emr

5ısı

1cevap

Uygun izin ile geçici olarak oluşturulamadı:/mnt1/s3

Aşağıdaki, kabın bir tanesinin günlük dökümüdür. Bir klasör bazı izinlere bağlı oluşturulamaz belirten bir istisna var. Çeşitli zamanlar giderdim ama hala var. 16/12/19 09:44:05 ConfigurationUtils WAR

6ısı

1cevap

EMR'de kıvılcım işini hızlıca yazmak için nasıl yapılır S3

İki veri çerçevesi arasında dış birleştirmeyi yaptığım bir kıvılcım var. İlk veri çerçevesinin boyutu 260 GB'dir, dosya formatı 2200 dosyaya bölünmüş metin dosyalarıdır ve ikinci veri çerçevesinin boy

11ısı

2cevap

Spark 2.0 'DirectParquetOutputCommitter', onsuz nasıl yaşayacağımı kabul etmiyor?

Geçtiğimiz günlerde "EMR on HDFS" -> "S3 üzerinde EMR" (tutarlı görünüm etkinleştirilmiş EMRFS) ve Spark 'SaveAsTable' (parke biçimi) yazı tiplerinin S3'e göre daha düşük olduğunu gördük. DirectParque

23ısı

1cevap

Amazon EMR, EC2

üzerinde Breeze için yüksek performanslı BLAS/LAPACK nasıl yapılandırılır Kümedeki açıklayıcı veri analizini desteklemek için bir ortam kurmaya çalışıyorum. Orada ne var bir ilk ankete dayanarak hedef

5ısı

1cevap

DynamoDb Amazon Console dışa aktarma için Hive'daki alanlar nasıl eşlenir?

Amazon Dynamodb Web Console'dan alınan "Import/Export" aracıyla DiveamoDb dışa aktarma dosyasını Hive içine yüklemeye çalışıyorum. Ancak alanları doğru şekilde eşleyemedim çünkü DynamoDB Web Console "

12ısı

3cevap

Yabani karakter kullanarak aws s3'ten bir dosya nasıl seçilir

S3 grubunda birçok dosyam var ve 2012'nin başlangıç tarihine sahip dosyaları kopyalamak istiyorum. Bu komut, tüm dosyaları kopyalar. aws s3 cp s3://bp-dev/bp_source_input/ C:\Business_Panorama\nts\d

7ısı

1cevap

Kıvılcım, SparkException EMR içinde atanırken yanlış davranış

EMR'de kaynak yöneticisi olarak ve 2 düğümde YARN ile bir kıvılcım çalıştırıyorum. Koşulum yerine getirilmediyse, adımı bilerek başarısız olmam gerekiyor, bu yüzden sonraki adım yapılandırmaya göre yü

1ısı

1cevap

Tüm kıvılcım boyunca kıvılcım iletimi ile bir kıvılcım işinin çalıştırılması

Kısa süre önce Amazon emrinde 1 master ve 2 slave içeren bir Spark kümesi oluşturdum. pyspark'u çalıştırabilir ve spark-submit numaralı işleri gönderebilirim. sc=SparkContext("local", "App Name") Bu

8ısı

1cevap

Amazon EMR'de kıvılcım ana URL'si nasıl bulunur?

1.3.1 sürümüyle birlikte Amazon kümesinde kıvılcım ve kıvılcım yüklemeye çalışıyorum. i SparkConf sparkConfig = new SparkConf().setAppName("SparkSQLTest").setMaster("local[2]"); ne zaman benim için