SparkR'de sparkR.init hatası (master = "local") RStudio

Question

SparkR paketinden Spark dağıtımı R kütüphanesine yükledim. Aşağıdaki mesaj ile bir süre sonra başarısız

sc <- sparkR.init(master="local") 

, library(SparkR)

Ancak, aşağıdaki kodu kullanarak Kıvılcım bağlamı elde etmeye çalışmak zaman: Ben aşağıdaki komutu çağırabilir ve düzgün iş gibi görünüyor:

Error in sparkR.init(master = "local") : 
    JVM is not ready after 10 seconds 

Ben JAVA_HOME belirledik ve ben ggplot2 gibi diğer paketler erişebileceği bir çalışma RStudio var. Neden işe yaramadığını bilmiyorum ve sorunu nasıl araştıracağımı bile bilmiyorum.

Answer 1

Aynı sorun vardı ve benim spark-submit.cmd dosya benim de komut satırından yürütmüyordu. Aşağıdaki adımlar benim için çalıştı

Ortam değişkenlerinize gidin ve sistem değişkenlerinde PATH değişken adını seçin. Diğer değerlerle birlikte bir noktalı virgülle ayrılmış c:/Windows/System32/ ekleyin. Bu benim spark-submit.cmd komutunu komut satırından ve nihayetinde Rstudio'dan yaptı.

Yukarıdaki sorunu yalnızca gerekli tüm yol değerlerinin belirtilmemiş olması durumunda aldığımızı fark ettim. Tüm yol değerlerinin (R, Rtools) ortam değişkenlerinde belirtildiğinden emin olun. Örneğin benim Rtools yolum, c:\Rtools\bin;c:\Rtools\gcc-4.6.3\bin

Umarım bu yardımcı olur.

Answer 2

Yürütme izinlerini vermeye çalışın C: /sparkpath/bin/spark-submit.cmd. Bu benim için çalıştı.

Answer 3

Aynı hata mesajını aldım. RStudio'da SparkR'ı daha önce başarıyla çalıştırdığım için, durumum biraz farklı. Ama birkaç gün sonra artık işe yaramıyor.

Shivaram Venkataraman ve Prakash Ponshankaarchinnusamy arasındaki dönüşüme baktığımda, bunun çalışma izni ile ilgisi olabileceğini fark ettim.

https://issues.apache.org/jira/browse/SPARK-8603

Yani, hangi sonunda çalışır, benim C'ye kıvılcım tar.gz halletmek Ben ne yaptı:/klasör tekrar (daha önce D tutulur:/sürücü) VE SparkR İŞLERİ! !! Hadoop'un Spark ardından yükledikten sonra

screenshot of working RStudio

Answer 4

.

spark_path <- strsplit(system("brew info apache-spark",intern=T)[4],' ')[[1]][1] # Get your spark path .libPaths(c(file.path(spark_path,"libexec", "R", "lib"), .libPaths())) library(SparkR