Tek düğümlü küme ile varsayılan yapılandırmada hadoop çalıştırıyorum ve HDFS'nin dosyaları yerel olarak nerede sakladığını bulmak istiyorum.HDFS dosyaları varsayılan olarak yerel olarak depolar?
Herhangi bir fikrin var mı?
Teşekkürler.
Sen dfs.data.dir ayarı için HDF'ler-default.xml yapılandırma dosyasında bakmak gerekir. Varsayılan ayar şudur: $ {hadoop.tmp.dir}/dfs/data ve $ {hadoop.tmp.dir} dosyasının aslında core-default.xml dosyasında here açıkladığını unutmayın.
Yapılandırma seçenekleri here olarak tanımlanmıştır. Bu ayar için açıklamasıdır:
nereye yerel dosya sistemi üzerinde bir DFS veri düğümü olmalıdır mağaza onun blokları belirler. Bu, virgülle ayrılmış dizin listesi, ise, veri, tüm dizinlerinde, genellikle farklı aygıtlarında depolanır. olmayan dizinler dikkate alınmaz.
"daha yeni yanıt" olarak ve Hadoop sürüm numaraları netleştirmek için: Eğer Hadoop 1.2.1 (benzer veya şey) kullanırsanız, @Binary Nerd cevabı hala geçerlidir
.
Ama Hadoop 2.1.0-beta (veya benzer bir şey) kullanıyorsanız, yapılandırma belgeleri here ve okumalısınız ayarlamak istediğiniz seçeneğidir: dfs.datanode.data.dir
çalıştırın bu cmd istemi,
bin/hadoop fs -ls
Sunulan gibi, bu komut sadece bir hata veriyor. Ve sen komutu tamir ettin, o asıl soruyu cevaplamayacaktı, - bu konuda yardımcı olmayacak. – derekv
güncel sürümü (2.7.1) dir
/tmp/hadoop-${user.name}/dfs/data
dfs.datanode.data.dir,
hadoop.tmp.dir ayara dayanarak
: http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/core-default.xml
Sizin bağlantı bu bağlantı bozuk olduğu :( – mortonjt
bozuldu? –
'hadoop.tmp.dir' varsayılan değeri nedir – chenzhongpu