Data를 손실없이 처리하는 Massege Queue방식의 카프카로 부터 안정적으로 Data를 받아 처리 할 수 있도록 kafka로부터 Data를 받는 방법에 대하여 알아보자. input { kafka { bootstrap_servers => ["kafka:9092"] # kafka server & Port 지정 topics => [""] # Topic 이름 지정 codec => json #Data Codec 지정 auto_offset_reset => "earliest" #Offset 지정 consumer_threads => 1 # Consumer 처리 Thread갯수 지정 type => "kafka" # Plugin type지정 } } 이중 기능이 좀 필요한 것들 몇개만 더 파보자 1. Auto_off..

Logstash는 오픈소스 데이터 수집 프로그램으로 다양한 플러그인을 지원하여 여러가지 데이터 소스를 효율적으로 처리하고 처리된 데이터를 원하는 곳으로 전송하는 기능을 담당하고 있다. 이 데이터를 전송받는 프로그램중 가장 많이 사용하고 활용도가 높은것이 Kafka인데 Logstash를 활용하여 Kafka로 데이터를 전송해보자. 사실 너무 간단해서 소개할것도 없다. output { kafka { codec => json topic_id => "" bootstrap_servers => ["kafka:9092"] } } Logstsh의 Output plugin부분에 위와같은 코드로 사용할 수 있다. Bootstrap-server 같은경우에는 본인이 Docker Container로 구성했다면 해당 Contain..

Raw data를 다른 프로그램으로 혹은 Local에 내려받기 할때 우리가 원하는 모양으로 가공해 줄 필요가 있다. 이때 이 가공해주는 항목이 Logstash에서 Filter를 이용하는데 그중 mutate filter를 활용하는 방법에 대하여 알아보자 공식문서 를 참고하여도 무방하다. 1. Mutate filter 목록 mutate filter plugin 의 옵션으로는 아래와 같다. convert copy gsub join split lowercase, uppercase capitalize merge coerce update replace strip rename 1. Convert --> 해당 필드를 변형한다. input { stdin{ codec => json } } filter { mutate { ..