Kafka 기본 명령어

 

카프카 구성후 사용하는 기본 명령어 List

 

1. Topic List 조회

  kafka-topics --list --bootstrap-server <HostName>:9092

 

2. 신규 Topic 생성 

--> Streaming 처리중 Logstash 또는 Spark에 의해서 자동으로 Topic이 생성되나 토픽을 수동으로 생성할때 사용

  kafka-topics --create --bootstrap-server <HostName>:9092 --replication-factor <No.> --partitions <No.> --topic <CreateTopicName>

 

--> Replication : Cluster내부 복제 Topic의 개수 설정 Kafka 기본설정에서 Default 값 설정 가능

--> Partition : Topic 내부 Partition 초기 개수 설정 Kafka 기본설정에서 Default 값 설정 가능

 

3. Topic 삭제 

--> Topic을 삭제할 때 사용하는 명령어 

  kafka-topics --delete --bootstrap-server <HostName>:9092 --topic <DeleteTopicName>

 

4. Topic 내부 데이터 조회 

--> Topic이 생성되고 안에 들어있는 Message를 확인하기 위한 명령어

  kafka-console-consumer --boostrap-server <HostName>:9092 --from-beginning --topic <TopicName>

 

5. Topic 내 Partition 데이터 조회

--> Topic 내부는 Partition이 나누어 져 있다. 이 파티션 번호 각각에 들어있는 데이터를 조회하기 위해 사용한다. 

  kafka-console-consumer --bootstrap-server <HostName>:9092 --from-beginning --topic <TopicName> --partition <No.>

 

6. Consumer Group 확인

--> 현재 kafka로부터 Data를 받아가는 Consumer들의 그룹을 확인할 수 있다.

  kafka-consumer-groups --bootstrap-server <HostName>:9092 --list

 

7. Consumer status and Offset 확인

--> Consumer 상태와 데이터 Offset을 확인할 수 있다. 

  kafka-consumer-groups --bootstrap-server <HostName>:9092 --group <GroupName> --describe

 

8. Consumer Group 삭제 

--> 데이터를 수신중인 Consumer Group을 삭제할 수 있다. 

  kafka-consumer-groups --bootstrap-server <HostName>:2181 --delete --group <GroupName>