우리가 Kafka를 사용할 때 CLI를 사용해서 Topic을 컨트롤 하거나 아니면 상태를 보거나 하는일을 하게되는데 이게 생각보다 많이 불편함을 느낄 수 있습니다. 회사에서 운영하고 있는 카프카 클러스터를 관리하는데 많이 유용하게 사용되고 있어서 한번 소개 해 봅니다. 우선 우리 회사는 kafka를 k8s위에서 관리하고 있고, 그렇기 때문에 이번에 Kafka UI를 올리는 과정을 소개함에 있어서 Yaml파일을 작성할겁니다. 준비물이 있습니다. 1. 운영중 혹은 개발용인 카프카가 있어야 합니다. 2. K8s가 있어야 합니다. 3. 개발 환경에 kubectl과 같은 k8s CLI Tool이 있어야 합니다. 첫번째 Kafka UI는 어떤걸 사용하는가 이 툴에 대해서 다른 툴과 비교한 내용이 있는데 참고 해보기..

이 부분은 너무간단해서 정말 기록처럼 남깁니다. # Docker Container 정보를 확인한다. docker ps # 위 결과에서 얻은 Container ID를 확인한다. docker inspect 이렇게 하면 제일 아래쪽 네트위크 정보에 원하는 Container의 IP가 보입니다.

우리가 운영하는 서버 혹은 컨테이너의 상태를 확인하기 위해서 우리는 해당 서버의 리소스 즉. CPU Usage , Memory Usage .. Storage, Network가 어떻게 이용되고 얼마만큼 사용되고 있는지 알 필요가 있다. 이를 도와주는것이 바로 이 프로메테우스 와 그라파나를 이용한 모니터링 시스템이 되겠다. 0. 구성 위에서 보이는 그림과 같이 여러 서버에 부착된 Node Exporter로 부터 데이터를 Prometheus가 수집하여 Grafana를 이용해서 수집하는 형태이다. 1. Node Exporter 설치 # 현재 위치 확인 $ pwd /home/sidelineowl # 압축 파일 다운로드 $ wget https://github.com/prometheus/node_exporter/re..

아나콘다를 활용해서 가상환경을 생성 해 보자. >conda create -n python= 위 명령어를 실행하게 되면 아래와 같은 가상환경에 기본적인 라이브러리 설치에 대한 동의 절차가 실행 된다. Y를 선택해서 가상환경을 생성한다. conda activate 위 명령어를 사용해서 가상환경을 활성화 하고 pip를 이용해서 다양한 라이브러리를 설치 관리할 수 있다.

utf-8으로 encoding된 bytes를 String으로 다시 변환해야할 때가 있습니다. bytes를 string으로 decoding하는 방법을 소개합니다. string.decode()를 이용한 방법 str()을 이용한 방법 string.decode()를 이용한 방법 string.decode(encoding)으로 bytes를 string으로 변환할 수 있습니다. bytes가 encoding될 때 사용된 타입을 인자로 전달하면 됩니다. # bytes bytes = b'Hello world, Python' print(bytes) print(type(bytes)) # decode bytes to string result = bytes.decode('utf-8') print(result) print(type..

우리가 데이터를 운영하면서 생성한 테이블들의 내부 row수 또는 테이블의 현재 용량이 어느정도인지를 확인하기 위해서 사용하는 쿼리 두개를 기록해 본다. 1. 현재 데이터베이스에 존재하는 테이블들의 용량을 볼 수 있는 쿼리 SELECT CONVERT(VARCHAR(30), MIN(o.name)) AS TABLE_NAME , LTRIM(STR(SUM(reserved) * 8192.0 / 1024.0, 15, 0) + ' KB') AS TABLE_SIZE FROM sysindexes i INNER JOIN sysobjects o ON o.id = i.id WHERE i.indid IN (0, 1, 255) AND o.xtype = 'U' GROUP BY i.id ORDER BY -- t_name ASC SUM..