Apache Spark vs. Apache Storm

Question

Apache Spark ve Apache Storm arasındaki farklar nelerdir? Her biri için uygun kullanım örnekleri nelerdir?

Answer 1

Apache Spark, öncelikli olarak toplu analiz işlerini hızlandırmak, yinelemeli makine öğrenimi işleri, etkileşimli sorgulama ve grafik işlemeyi hedefleyen, bellekte dağıtılmış bir veri analizi platformudur.

Spark'in temel ayrımlarından biri RDD'lerin veya Esnek Dağıtılmış Veri Kümelerinin kullanılmasıdır. RDD'ler, hesaplama için paralel operatörleri pipeline etmek için harikadır ve tanım olarak, değişmezdir, bu da Spark'a, soy bilgisine dayanan benzersiz bir hata toleransı biçimine izin verir. Örneğin, bir Hadoop MapReduce işini daha hızlı bir şekilde yürütmek istiyorsanız Spark mükemmel bir seçenektir (bellek gereksinimleri göz önünde bulundurulmalıdır).

Apache Storm, akış işlemeye veya bazılarının karmaşık olay işleme yöntemini çağırmaya odaklanır. Fırtına, bir sisteme akarken bir olay üzerinde bir hesaplama yapmak veya birden çok hesaplamayı pipeline etmek için hataya dayanıklı bir yöntem uygular. Birisi, yapılandırılmamış verileri bir sisteme istenen formatta akarken dönüştürmek için Storm'u kullanabilir.

Fırtına ve Kıvılcım, oldukça farklı kullanım durumlarına odaklanmıştır. Daha fazla "elmaya elmalar" karşılaştırması Storm Trident ve Spark Streaming arasında olacaktır. Spark'in RDD'leri doğal olarak değişmez olduğundan, Spark Streaming, kullanıcı tanımlı zaman aralıklarında kendi RDD'lerine dönüştürülen gelen güncellemeleri "gruplamak" için bir yöntem uygular. Spark'in paralel operatörleri daha sonra bu RDD'lerde hesaplamalar yapabilir. Bu, her bir etkinlikle ayrı ayrı ilgilenen Storm'dan farklıdır.

Bu iki teknoloji arasındaki en önemli fark Spark'in Data-Parallel computations gerçekleştirirken, Storm Task-Parallel computations gerçekleştirir. Her iki tasarım da bilmeye değer tradeofflar yapar. Bu bağlantıları kontrol etmenizi öneririm.

Düzenleme: gerçek zamanlı işlenmesi için ikisi de desteği: bugün this mc110 @