spark.driver.extraClassPath Çoklu Kavanozlar

Question

Aynı oturumda PostGres veritabanına ve MSSQL veritabanına (JDBC aracılığıyla) erişmek için Spark via Python kullanmaya çalışıyorum. Spark-defaults.conf dosyasında, birini ya da diğerini çalıştırabilirim, ancak ikisini de değil.

Bunlar bağımsız iki çalışma:

spark.driver.extraClassPath /Users/myusername/spark-1.6.1-bin-hadoop2.4/lib/postgresql-9.4.1208.jre6.jar 

spark.driver.extraClassPath /Users/myusername/spark-1.6.1-bin-hadoop2.4/lib/sqljdbc4.jar 

Ben bu üç ve ne işler ("Hayır uygun sürücü" hatası alıyorum) çalıştı: önceden

spark.driver.extraClassPath /Users/myusername/spark-1.6.1-bin-hadoop2.4/lib/ 

spark.driver.extraClassPath /Users/myusername/spark-1.6.1-bin-hadoop2.4/lib/postgresql-9.4.1208.jre6.jar sqljdbc4.jar 

spark.driver.extraClassPath /Users/myusername/spark-1.6.1-bin-hadoop2.4/lib/postgresql-9.4.1208.jre6.jar /Users/myusername/spark-1.6.1-bin-hadoop2.4/lib/sqljdbc4.jar 

teşekkürler.

Answer 1

Birden fazla kavanoz kullanmak isterseniz, bunları birbirine zincirlemeniz gerekir. Linux'u çalıştırıyorsanız, zincir işleci, Windows'ta ; numaralı telefondan : olur. Örneğin

, Linux üzerinde senin extraClassPath olacaktır: Windows'ta

spark.driver.extraClassPath /Users/myusername/spark-1.6.1-bin-hadoop2.4/lib/postgresql-9.4.1208.jre6.jar:/Users/myusername/spark-1.6.1-bin-hadoop2.4/lib/sqljdbc4.jar 

:

spark.driver.extraClassPath /Users/myusername/spark-1.6.1-bin-hadoop2.4/lib/postgresql-9.4.1208.jre6.jar;/Users/myusername/spark-1.6.1-bin-hadoop2.4/lib/sqljdbc4.jar