엘라스틱서치 로그스태쉬(Logstash)

데이터 흐름을 위한 오픈 소스 중앙 처리 엔진.
데이터 Flow 파이프라인을 구축. 이벤트 데이터의 변환 및 스트림을 설정.

# 일반 구성.
beats - lightweight / edge shippers
logstash - central / dataflow engine
ealsticsearch

# 주 기능.
1. 데이터 스트림의 실시간 변형, 제거 및 정규화
2. 조건을 이용한 데이터 흐름 분할 및 라우팅
3. 파이프라인 성능 및 활성 상태 모니터링.

# 일반적인 흐름.
input > filter > output

1. input - files, syslog, sql queries, http requests, elasticsearch, beats, metric systems, and more..
2. filter (데이터에 변형을 가함)
 - log parsing
 - 데이터 확장
 - 태그 추가. and more..
3. output - elasticsearch, data 보관소 (amazon), alert & monitoring system, and more.. # 코덱 지정 가능함. (ex. rubydebug)

# filter example.
grok {
  match => { "message" => "Hello %{WORD:name}" }
...
date {
  match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]
  remove_field => "timestamp"
...
geoip {
  source => "clientip"
  field => ["city_name", "country_name", "location", "region_name"]
..