Sqoop: SQL Server'dan içe aktarma "xxxx ana bilgisayarına TCP/IP bağlantısı, 1433 numaralı bağlantı noktası, harita görevleri sırasında başarısız oldu"

Question

Sqoop 1.4.6 ile HDP 2.3.2'de, SQL Server'dan tablo almaya çalışıyorum 2008.

ben veritabanları ve tablolar vb listeleyebilirsiniz çünkü başarıyla SQL Server bağlanabiliyor değilim

Ancak, şu hata ithalat sırasında her zaman:

Error: java.lang.RuntimeException: java.lang.RuntimeException: com.microsoft.sqlserver.jdbc.SQLServerException: The TCP/IP connection to the host x.x.x.x, port 1433 has failed. Error: "connect timed out. Verify the connection properties. Make sure that an instance of SQL Server is running on the host and accepting TCP/IP connections at the port. Make sure that TCP connections to the port are not blocked by a firewall.".

Yine, SQL Server'dan başarıyla almayı başardım, ancak yalnızca bir çift sonra yeniden denemeler Ancak, içe aktarma işleminin başarılı olup olmadığına bakılmaksızın, her zaman yukarıda bahsedilen hatayı alıyorum ve sorunun nedenini merak ediyordum? Başarısız olduklarında ithalatı tekrarlamak zorunda kalmak oldukça zahmetli.

Zaten SQL Server'da bağlantı zaman aşımını kapattım ve Hadoop kümesinden ve SQL Server'dan şirket güvenlik duvarımızdan geçmesine rağmen, yöneticilerimiz bana güvenlik duvarındaki zaman aşımının 3600 olduğunu söylüyor saniye. İthalat, bu işaretin yakınında herhangi bir yere gitmeden önce başarısız olur. sqoop komutları birinin sadece bir örnek

kullandığım:

sqoop import \ 
--connect "jdbc:sqlserver://x.x.x.:1433;database=CEMHistorical" \ 
--table StreamSummary --username hadoop \ 
--password-file hdfs:///user/sqoop/.adg.password --hive-import \ 
--hive-overwrite --create-hive-table --split-by OfferedTime \ 
--hive-table develop.streamsummary --map-column-hive Call_ID=STRING,Stream_ID=STRING,OriginalCall_ID=STRING,TransactionID=TIMESTAMP 

Güncelleme:

ağımız ekibi ile temasa aldıktan sonra, kesinlikle bir ağ sorunu gibi görünüyor . Bağlam eklemek için, Hadoop kümesi SQL Server gibi farklı bir VLAN üzerindedir ve bir dizi güvenlik duvarı üzerinden gider. Test etmek için, Hadoop kümesi ile aynı VLAN içinde farklı bir SQL Server'dan ithalat yapmayı denedim ve bu istisna ile hiç karşılaşmadım.

Answer 1

referans olarak buraya bu Gönderme:

geri duvarı günlükleri için üzerimize ağ ekibinden duymadım, ama bizim NameNode işletim sistemi bozulmuş ve yeniden biçimlendirilmiş gerekiyordu ve HDP yeniden gördü. Bazı nedenlerden dolayı bu hatayı artık karşılamadık.

Orijinal küme ile yeni yükleme arasındaki bir fark, tek bir sunucuda sanallaştırılmış 4 düğüm (1 ad düğümü ve 3 veri düğümü) olduğudur. Şimdi, sunucuda sanallaştırma olmadan tek bir düğüm kümesi (HDP 2.3.4) çalıştırıyoruz.