İşler göndermek ve sonuçları okumak için HDInsight Spark arabirimini dinlendirin

Question

Azure'da HDInsight içinde bir Spark kümesi oluşturdum, düzenli bir şekilde HDInsight blob depolama alanına veri gönderiyor ve bir Hive External tablosu oluşturdum üstüne üstlük. Jupyter'i kullanabilir ve Spark SQL sorgularını yürütebilir ve sonuçları görebilirim.

Şimdi, kullanıcı isteğinde benzer Spark SQL sorgu işini yürütmesi ve sonucu web sayfasında görüntülemesi gereken ASP.Net web sitesi var.

Bunu felç eden herhangi bir kütüphane var mı, yoksa birileri bunu nasıl gerçekleştireceğiyle ilgili bir örnek verebilir mi?

Ben HDInsight kıvılcım küme küme Livyye ile gelir görüyoruz, ama benim dotnet ortamından nasıl kullanılacağını göstermektedir hiçbir örnek görüyoruz. BTW Bunun, benim sorunumuzu ele almak için almamız gereken yol olduğunu varsayıyorum.

Tüm bunlara gerçekten yeniyim, herhangi bir işaretçi gerçekten yardımcı olacaktır.

sayesinde, şu anda HDInsight Kıvılcım SDK yok Kiran

Answer 1

üzgünüm. Her zaman burada açıklandığı gibi API'lere REST çağrıları gönderebilirsiniz: https://azure.microsoft.com/en-us/documentation/articles/hdinsight-apache-spark-livy-rest-interface/. Ancak, Livy API'larından sonuç almak istiyorsanız, bu işi yapmak için bazı geçici çözümler yapmanız gerekir. Bunun nedeni, sonuçların Livy API'lerine geri yazılmadığı HDInsight'ta küme modunda YARN üzerinde Spark kullanmamızdır. Spark sürücüsünün konteynır günlüklerini görmeli ve stdout/stderr dosyasını manuel olarak almalısınız.

Daha fazla sorunuz varsa, microsoft dot com adresindeki xiaoyzhu adresinden bana bir e-posta gönderebilir ve doğru sahibine yönlendirebilirim.

Xiaoyong Zhu, Microsoft HDInsight sitesinden