Data를 손실없이 처리하는 Massege Queue방식의 카프카로 부터 안정적으로 Data를 받아 처리 할 수 있도록 kafka로부터 Data를 받는 방법에 대하여 알아보자. input { kafka { bootstrap_servers => ["kafka:9092"] # kafka server & Port 지정 topics => [""] # Topic 이름 지정 codec => json #Data Codec 지정 auto_offset_reset => "earliest" #Offset 지정 consumer_threads => 1 # Consumer 처리 Thread갯수 지정 type => "kafka" # Plugin type지정 } } 이중 기능이 좀 필요한 것들 몇개만 더 파보자 1. Auto_off..

Logstash는 오픈소스 데이터 수집 프로그램으로 다양한 플러그인을 지원하여 여러가지 데이터 소스를 효율적으로 처리하고 처리된 데이터를 원하는 곳으로 전송하는 기능을 담당하고 있다. 이 데이터를 전송받는 프로그램중 가장 많이 사용하고 활용도가 높은것이 Kafka인데 Logstash를 활용하여 Kafka로 데이터를 전송해보자. 사실 너무 간단해서 소개할것도 없다. output { kafka { codec => json topic_id => "" bootstrap_servers => ["kafka:9092"] } } Logstsh의 Output plugin부분에 위와같은 코드로 사용할 수 있다. Bootstrap-server 같은경우에는 본인이 Docker Container로 구성했다면 해당 Contain..