Logstash - Input Kafka

Data를 손실없이 처리하는 Massege Queue방식의 카프카로 부터 안정적으로 Data를 받아 처리 할 수 있도록 kafka로부터 Data를 받는 방법에 대하여 알아보자. input { kafka { bootstrap_servers => ["kafka:9092"] # kafka server & Port 지정 topics => [""] # Topic 이름 지정 codec => json #Data Codec 지정 auto_offset_reset => "earliest" #Offset 지정 consumer_threads => 1 # Consumer 처리 Thread갯수 지정 type => "kafka" # Plugin type지정 } } 이중 기능이 좀 필요한 것들 몇개만 더 파보자 1. Auto_off..

2021.07.09