hdfs

6ısı

2cevap

Bir RDD'yi HDFS'ye nasıl kaydedebilirim ve daha sonra okuyabilir miyim?

Öğeleri türünde (Uzun, Dize) bir RDD sahibim. Bazı nedenlerden dolayı, tüm RDD'yi HDFS'ye kaydetmek istiyorum ve daha sonra RDD'nin bir Spark programına geri döndüğünü de okudum. Bunu yapmak mümkün mü

scala apache-spark hdfs rdd bigdata 2016-10-16

---

0ısı

1cevap

Doküman çeşitliliği ile hadoop ile aranabilir arşiv için en iyi uygulamalar (pdf, ppt, MS word, düz metin vb.)

PDF, MS Word, PPT gibi çeşitli formatlarda çeşitli belgelere sahip olduğum bir sorunum var. HDFS'da bulunan düz metin vb. İçeriği elasticsearch dizini içine almalı ve aynısı için bir tam metin arama s

hadoop elasticsearch full-text-search hdfs elasticsearch-plugin 2016-04-04

---

0ısı

1cevap

hadoop: put komutunun yürütme süresini nasıl gösterir? Veya Yükün süresini bir dosyada nasıl gösteririm?

Hadoop'ta put komutunu nasıl yapılandırabilirim, böylece yürütme süresini gösterir? Çünkü bu komut: hadoop fs -put table.txt /tables/table sadece bu döndürüyor: 16/04/04 01:44:47 WARN util.NativeCod

hadoop hdfs 2016-04-04

---

2ısı

1cevap

Linux komutlarıyla Ambari HDFS'de klasörün oluşturulma tarihini nasıl edinebilirim?

Yo, Birkaç klasörün oluşturulma tarihini almaya çalışıyorum. Tarih 14 gün önce ise, kaldırmak istiyorum. AMA, Oluşturma tarihini almak için uygun hdfs komutunu bulamıyorum. benim aklıma: hdfs dfs -ls

linux hadoop hdfs yarn ambari 2016-04-11

---

0ısı

1cevap

JAVA

kullanarak HDFS'ye aktarma bayt akışı Bazı web servislerini doğrudan HDFS alanına kullanarak bir dosya yüklemek mümkün mü? Yerel sisteme dosya yazmayı denedim ve HDFS'ye taşıdım.

java hadoop hdfs 2016-04-14

---

0ısı

2cevap

Fırtına: HDFS URI'yi HA HDFS ile HdfsBolt() içinde tanımlayın

Bir Storm topolojisinin çıkışını HA özellikli bir HDFS'ye yazmak için HdfsBolt kullanmayı deniyorum. şöyle topolojisi tanımı: // Use pipe as record boundary RecordFormat format = new DelimitedRecordF

hdfs apache-storm 2016-04-14

---

6ısı

1cevap

Hadoop -getmerge nasıl çalışır? Hadoop getmerge açıklamada

Kullanımı: HDF'ler dfs -getmerge src localdst [addnl] getmerge neden kendisini HDF'ler değil yerel hedefe birleştirerek neden Sorum şu? Bu soru şu soruna sahip olduğum için sorulmuştum Birleştirilecek

hadoop hdfs yarn hadoop2 2016-04-15

---

5ısı

2cevap

SparkSQL - parke dosyasını oku doğrudan

Bir masa okumak için aşağıdaki kodu kullanarak, SparkSQL için Impala geçiş ediyorum: Nasıl SparkSQL yukarıda çağırmak my_data = sqlContext.read.parquet('hdfs://my_hdfs_path/my_db.db/my_table') , bu

scala apache-spark hdfs apache-spark-sql parquet 2016-12-21

---

7ısı

1cevap

HDFS'den okunan ocr dosyaları okunduktan sonra kıvılcımlanmayan kıvılcım kıvılcımları

Ambari'de kıvılcım 2.1.1 ve hadoop 2.6 kullanarak bir sorunum var. from pyspark.sql import SparkSession spark = SparkSession\ .builder\ .master('yarn')\ .appName('localTest')\ .g

hadoop apache-spark pyspark hdfs yarn 2017-07-13

---

7ısı

1cevap

Erişme HDF'ler - zeplin

aracılığıyla tezgah ben Sonra https://github.com/big-data-europe/docker-hadoop-spark-workbench yüklü docker-compose up ile o kadar başlamıştır. the various urls mentioned in the git readme'a gittim ve

hadoop apache-spark docker hdfs apache-zeppelin 2017-12-15

---