i elasticsearch-template.json

Question

Ben syslog'u toplamak için logstash + elasticsearch kullanıp

ben logstash içinde elasticsearch-template.json adında bir dosyayı bulmak yaşlanma günlüğü için ttl ayarlamak istediğiniz aracılığıyla varsayılan elasticsearch eşleme logstash ayarlayabilirsiniz

{ 
    "template" : "logstash-*", 
    "settings" : { 
    "index.refresh_interval" : "5s" 
    }, 
    "mappings" : { 
    "_default_" : { 
     "_all" : {"enabled" : true}, 
     "dynamic_templates" : [ { 
     "string_fields" : { 
      "match" : "*", 
      "match_mapping_type" : "string", 
      "mapping" : { 
      "type" : "string", "index" : "analyzed", "omit_norms" : true, 
       "fields" : { 
       "raw" : {"type": "string", "index" : "not_analyzed", "ignore_above" : 256} 
       } 
      } 
     } 
     } ], 
     "_ttl": { 
     "enabled": true, 
     "default": "1d" 
     }, 
     "properties" : { 
     "@version": { "type": "string", "index": "not_analyzed" }, 
     "geoip" : { 
      "type" : "object", 
      "dynamic": true, 
      "path": "full", 
      "properties" : { 
       "location" : { "type" : "geo_point" } 
      } 
     } 
     } 
    } 
    } 
} 

sonra logstash yeniden başlatın silmek: yol logstash/logstash-1.4.2/logstash/çıkış elasticsearch/elasticsearch-template.json

böyle dosyada ttl bilgi eklemek lib// olup tüm elasticsearch dizini. Yeni dizinin haritalandırmasını elasticsearch'te kontrol ediyorum, ancak bu şekilde çalışmadı.

Dizin şablonunu nasıl yapılandırabilirim?

Answer 1

JSON dosyası doğru klasörde gibi görünmüyor. klasörün Hakkında http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/indices-templates.html :

Config'de

Endeksi şablonları da şablonlar dizininde (not altında yapılandırma konumu (path.conf) içinde yerleştirilebilir, yapmak Burada şablonları nasıl kullanılacağına dair belgeler olduğunu bunları tüm ana uygun düğümlere yerleştirdiğinizden emin olun). Örneğin, template_1.json adında bir dosya config/templates altına yerleştirilebilir ve bir indeksle eşleşirse eklenecektir. Burada belirtilen dosyanın bir örneğidir:

Answer 2

Logstash yapılandırmanızı değiştirmeniz gerekir.

Varsayılan ayarları izlediyseniz, logstash logstash adındaki elasticsearch içinde bir şablon oluşturdu, logstash açıkça belirtmediğiniz sürece bu şablonu elasticsearch'te depolamaya devam edecektir.

sen bulduğu şablon dosyasını değiştirmek ancak buna ek olarak, sizin logstash konfigürasyonda, aşağıdakileri ayarlayın:

Ben elasticsearch çıktı bloğuna kendisine yeni template.json dosyası oluşturulur ve yolu tanımladığınız

output { 
    elasticsearch { 
    ... 
    template_overwrite => true 
    ... 
    } 
} 

Answer 3

logstash.yml yapılandırma dosyasının:

input { 

file { 
path => "/your-path-to-directory/*.log" 
type => "name-of-type" 
} 
} 

: Elastik için

stdout { codec => json_lines } 

elasticsearch { 

"hosts" => ["ip:port"] 
"index" => "name-of-index-%{+dd.MM.YYYY}" 
template => "/{path-to-logstash-folder}/templates/your-template.json" 
template_overwrite => true 
manage_template => false 
} 

document_type I logstash.yml yapılandırma dosyasının girdi bloğunun içine tanımlanmış

yeni ziyaretçiler için benim template.json dosyası

{ 
"name-of-index": { 
"order": 0, 
"version": 50001, 
"template": "name-of-index-*", 
"settings": { 
    "index": { 
    "refresh_interval": "5s" 
    } 
}, 
"mappings": { 
    "_default_": { 
    "dynamic_templates": [ 
     { 
     "message_field": { 
      "path_match": "message", 
      "mapping": { 
      "norms": false, 
      "type": "text" 
      }, 
      "match_mapping_type": "string" 
     } 
     }, 
     { 
     "string_fields": { 
      "mapping": { 
      "norms": false, 
      "type": "text", 
      "fields": { 
       "keyword": { 
       "type": "keyword" 
       } 
      } 
      }, 
      "match_mapping_type": "string", 
      "match": "*" 
     } 
     } 
    ], 
    "_all": { 
     "norms": false, 
     "enabled": true 
    }, 
    "properties": { 
     "@timestamp": { 
     "include_in_all": false, 
     "type": "date" 
     }, 
     "geoip": { 
     "dynamic": true, 
     "properties": { 
      "ip": { 
      "type": "ip" 
      }, 
      "latitude": { 
      "type": "half_float" 
      }, 
      "location": { 
      "type": "geo_point" 
      }, 
      "longitude": { 
      "type": "half_float" 
      } 
     } 
     }, 
     "@version": { 
     "include_in_all": false, 
     "type": "keyword" 
     } 
    } 
    } 
}, 
"aliases": {} 
} 
}