hdfs

0ısı

2cevap

HDF'lerdeki dosyanın dosya kodlaması nasıl belirlenir (Azure blob storage)?

Karışık dosya kodlamalarla (maalesef Azure blob deposunda) HDF'ler üzerinde 100 GB'lık bir dosyam var. Her dosyanın dosya kodlamasını nasıl belirleyebilirim? Bazı dfs komut satırı komutu ideal olacakt

4ısı

1cevap

Eklenti üzerine yazma ekleme bölümünü kullanma

Küçük dosyalar sorununu, hadoop'ta yer alan Bölüm üzerine yazma komutuyla kovan bölümleri altındaki dosyaları sıkıştırarak gidermeyi deneyin. Sorgu: SET hive.exec.compress.output=true; SET mapred.max

1ısı

1cevap

Hadoop Dosya sistemini, hadoop yüklemesinin diski dışındaki bir fiziksel diskte nasıl saklayabilirim?

Çok kipli bir küme ortamında hadoop yüklemeye çalışıyorum. Bir SSD'ye ubuntu 15.10 yükledim. SSD'ye hadoop 2.6.2'yi yüklemek ve HDFS'imi ayrı bir SATA sabit sürücüsünde tutmak istiyorum. Bunun için ha

0ısı

1cevap

Kıvılcımlar içinde hdfs: // ve iplik kullanımı arasındaki fark

Küme modunu kullanarak kaydetme ve kaydetme dosyasını kaydetmek için spark içinde hdfs: // ve iplik kullanımı arasındaki fark nedir?

1ısı

2cevap

Python HDFS yanlış dosya boyutu veriyor

Bir dosyanın boyutunu python 3.5 ve hdfs kitaplığı kullanarak hdfs'den almaya çalışıyorum. https://pypi.python.org/pypi/hdfs/ from hdfs.client import Client if __name__ == '__main__': cl = Clie

0ısı

1cevap

Custom Metrics in ambari

Ambari'de civata spesifik metrikleri izleyebilmemizin bir yolu var mı? İşte denedim. https://github.com/bbende/ambari-metric-producer/blob/master/src/main/java/org/apache/ambari/MetricProducer.java ya

0ısı

1cevap

Hadoop Block Boyutunun Değiştirilmesi Minimum blok boyutundan daha düşük boyut

Varsayılan minimum blok boyutundan daha düşük Hadoop blok boyutunu nasıl değiştiririm. Bu kılavuz sayfası (https://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml), vars

-1ısı

1cevap

Spark Stream kaynağımı tasarlarken bazı tavsiyelerde bulunabilir misiniz?

İhtiyacımı olabildiğince iyi tanımlamaya çalışacağım. Ama hala belirsiz olup olmadığını bana sormaya çekinmeyin. ortamı I (gelecekte daha olacaktır) 5 düğümleri vardır. Her biri 5 dakikada bir büyük b

3ısı

1cevap

Dosya yazmak için kıvılcım ayırma çok yavaş

Bir dosyayı Spark kullanarak HDFS'ye yazarken, bu bölümleme kullanılmadığında oldukça hızlıdır. Bunun yerine, dosyayı yazmak için bölümleme kullandığımda, yazma gecikmesi faktörü ~ 24 artar. Aynı dosy

0ısı

1cevap

Hadoop HDFS'de eksik dosyalar nasıl açılır?

HDFS'de bir dizinde Snappy sıkıştırılmış Snappy dosyaları var. Her dosyayı açmam ve bir Metin dosyasına yüklemem gerekiyor. Herhangi bir Hadoop DFS komutu var mı? Ben burada yeniyim. Kibarca yardım. T