2012-05-03 22 views
5

Rozetleri kullanarak izlediğimiz geniş bir kullanıcı ağımız var. Toplam trafik, aylık 60 Milyon gösterim mahallesindedir. Şu anda, oldukça yavaş, veritabanı tabanlı bir kayıt çözümünü (PHP'de özel olarak oluşturulmuş, dağınık ...), Amazon S3 kayıtlarına ve Splunk'e dayanan basit bir log tabanlı alternatife geçirmeyi düşünüyoruz. İzleme Amazon S3, Splunk ile günlüğe kaydeder mi?

başka analizinde son görevler için Splunk kullandıktan sonra, ben gerçekten seviyorum. Ama sistemle S3 gibi bir kaynağın nasıl kurulacağı açık değil. Uzak kaynakların Universal Forwarder'ın yüklü olmasını gerektirdiği görülüyor ki bu bir seçenek değil.

Bu konuda herhangi bir fikrin var mı?

+0

Ben sadece soru, nasıl günlükleri S3 alıyorsanız edilir? X dakika/saat sonra onları yuvarlıyor musunuz. Öyleyse, yalnızca tarihi olmayan gerçek zamanlı görünümle sınırlı kalırsınız. İstersek, test etmek ister miydin? Eğer öyleyse, bana ping. –

cevap

1

Çok geç cevap ama aynı şeyi arıyoruz ve http://apps.splunk.com/app/1137/, istediğini yapar bir Splunk uygulaması bulunmuştur. Yine de denemedim.

+0

Aynı şekilde geç ekleme: Bu uygulama iyi ölçeklenmiyor. 1000'den fazla nesne okumasını engelleyen bir hatayı vardır (yalnızca kırpılmış listeleri işlemek için kod yoktur). Ayrıca birkaç kusur daha var ve indeksleyiciler arasında yükü yaymanın iyi bir yolu yok gibi görünüyor. – bstempi

0

j-son önişlemiş verilerin bir documentdb veritabanına kaydedilmesini öneririm. Örneğin, maskenizi azure dokümanıyla birlikte kullanabileceğiniz masmavi kuyrukları veya simmilar servis otobüsü mesajlaşma teknolojilerini kullanın. Yani veritabanı tabanlı yaklaşımınızı koruyacağım ve belgeye dayalı DB'yi ölçeklendirmek kolay bir şema haline getireceğim.

0

ben zamanla önek, kova veya depolama sınıfı tarafından benim AWS S3 depolama kullanım toplamlarını izlemek için AWS Marketplace http://www.insight4storage.com/ kullanın; artı önek ve kova başına önceki sürümleri depolama alanını gösterir. S3 verilerini, UI ve webservice API'sine ek olarak kullanım durumunuz için çalışabilecek splunk biçim günlükleri olarak kaydetme ayarı vardır.