LogStash ile Log4J'yi Kullanma

Question

LogStash için yeni. Log4J'de bir Java uygulamasından yazılan bazı günlükler var. Bu kayıtları ElasticSearch'e almaya çalışıyorum. Hayatım boyunca, tutarlı bir şekilde çalışmasını sağlayamıyorum. Şu anda, aşağıdaki logstash yapılandırmayı kullanıyorum:

input { 
    file { 
    type => "log4j" 
    path => "/home/ubuntu/logs/application.log" 
    } 
} 
filter { 
    grok { 
    type => "log4j" 
    add_tag => [ "ApplicationName" ] 
    match => [ "message", "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:level}" ] 
    } 
} 
output { 
    elasticsearch { 
    protocol => "http" 
    codec => "plain" 
    host => "[myIpAddress]" 
    port => "[myPort]" 
    } 
} 

Bu konfigürasyon vurmak ya da özledim gibi görünüyor. Neden olduğundan emin değilim. Mesela iki mesajım var. Biri çalışıyor, diğeri ayrıştırma hatası veriyor. Yine de neden emin değilim.

Tags     Message 
------     ------- 
["_grokparsefailure"] 2014-04-04 20:14:11,613 TRACE c.g.w.MyJavaClass [pool-2- 
         thread-6] message was null from https://domain.com/id-1/env- 
         MethodName 

["ApplicationName"] 2014-04-04 20:14:11,960 TRACE c.g.w.MyJavaClass [pool-2- 
         thread-4] message was null from https://domain.com/id-1/stable- 
         MethodName 

[ "ApplicationName"] timestamp ve level benim özel alanlar vardır bir kez: Burada mesajları ve ilgili sonuçlardır. Ancak, ["_grokparsefailure"] ile giriş, özel alanlara sahip DEĞİLDİR. Garip parça, kütükler yukarıdaki mesaj sütununda gösterildiği gibi hemen hemen aynıdır. Bu gerçekten kafamı karıştırıyor, ama sorunun ne olduğunu nasıl anlayacağımı bilmiyorum.

Damgası

Giriş mesajı

Makine Adı

Konu

• Kayıt Düzeyi: Herkes ben logstash içine alma log4j günlükleri kullanmak ve tutarlı aşağıdaki alanları nasıl alabilirim biliyor mu

  Verebileceğiniz herhangi bir yardım için teşekkür ederiz. Sadece günlük seviyesi, zaman damgası ve günlük mesajı bile olsa, BÜYÜK bir yardım olurdu. İçtenlikle takdir ediyorum!

Answer 1

On my blog JSOS iletilerini ElasticSearch'e nasıl gönderileceğini ve sonra GROK ile nasıl ayrıştırılacağını anlattım. Click to see blog post with description and Java example Açıklamada, ancak aynı zamanda basit maven projesi örnek (github üzerinde komple proje) ile bulabilirsiniz.

Umut size yardımcı olur.

Answer 2

Logstash ve log4j soket ekleyicisi için log4j soket dinleyicisini kullanmanızı öneririm.

Logstash conf:

input { 
    log4j { 
    mode => server 
    host => "0.0.0.0" 
    port => [logstash_port] 
    type => "log4j" 
    } 
} 
output { 
    elasticsearch { 
    protocol => "http" 
    host => "[myIpAddress]" 
    port => "[myPort]" 
    } 
} 

log4j.properties:

fazla bilgi onların Log4j girişi için logstash dokümanlarında var

log4j.rootLogger=[myAppender] 
log4j.appender.[myAppender]=org.apache.log4j.net.SocketAppender 
log4j.appender.[myAppender].port=[log4j_port] 
log4j.appender.[myAppender].remoteHost=[logstash_host] 

: http://logstash.net/docs/1.4.2/inputs/log4j