Logstash - Output Kafka

 

Logstash는 오픈소스 데이터 수집 프로그램으로 

 

다양한 플러그인을 지원하여 여러가지 데이터 소스를 효율적으로 처리하고 처리된 데이터를

 

원하는 곳으로 전송하는 기능을 담당하고 있다. 

 

이 데이터를 전송받는 프로그램중 가장 많이 사용하고 활용도가 높은것이 Kafka인데 Logstash를 활용하여 Kafka로

 

데이터를 전송해보자. 

 

사실 너무 간단해서 소개할것도 없다.

 

output {
    kafka {
        codec => json
        topic_id => "<<your Topic Name>>"
        bootstrap_servers =>  ["kafka:9092"]
    }
}

Logstsh의 Output plugin부분에  위와같은 코드로 사용할 수 있다.

 

Bootstrap-server 같은경우에는 본인이 Docker Container로 구성했다면 해당 Container 이름 : Port로 구성

리눅스 로컬환경에 인스톨 되어있는경우 Localhost:9092 가 될 수 있다. 

 

중요하게 참고할 사항으로는 

Data를 전송받을 Kafka Topic의 Partition수에 따라 데이터 순서가 결정되는데 다수의 Partition을 가지고있는 kafka Topic이라면 데이터의 순서를 보장 받기 어렵다.

 

참고 자료 : https://www.elastic.co/guide/en/logstash/current/plugins-outputs-kafka.html