Windows 환경에서 아주 간편하게 Sigle Node Kubernetes를 간편하게 설치하고 사용할 수 있는 방법에 대하여 알아보자. 0. 준비물 Windows Docker Desk Top Window WSL 설정 1. Windows Docker Desktop 실행 2. Kubernetes 설정 진입 매우 쉽게 설치가 가능하다. 3. 주의 사항 1 지금 필자는 이미 설치된 상태에서 진행하기 때문에 중간에 설치하는 과정이 빠져있습니다. 아마 저 설정 버튼을 누르기전에 설치를 먼저 진행하는것으로 알고 있고 그 설치과정또한 저 Docker Desktop환경에서 버튼을 눌러 진행했던것으로 기억하고 있습니다. 4. Kubernetes 동작 확인 VS Code Kubernetes Extension에서 설치/적용..

Python의 라이브러리인 pymysql을 활용하여 Python에서 MySQL/ MariaDB 쿼리를 사용하고 데이터를 다룰 수 있도록 접속 해보도록 하자. 1. pip install 을 활용하여 pymysql 을 설치해 준다. (이미 설지가 되어있어 아래와 같은 화면을 보여준다.) 2. Connection 정보를 이용하여 연결후 Cursor생성 import pymysql conn = pymysql.connect(host='', user='', password='', db='', charset='utf8') print("Connect_Complete") curs = conn.cursor() 3. Cursor를 활용하여 SQL질의문 실행 sql = "select * from test_table" curs...

1. VS Code Extesion - Azure Tools

Azure Function 기능을 이용하기 위하여 Cloud에 Deployment 하기 전 로컬 환경에서 해당 함수를 테스트 할수 있는 환경을 구축합니다. 1. Window Azure Function 응용프로그램 설치 https://github.com/Azure/azure-functions-core-tools#installing Azure/azure-functions-core-tools Command line tools for Azure Functions. Contribute to Azure/azure-functions-core-tools development by creating an account on GitHub. github.com 해당 링크 주소를 접속하게 되면 아래와 같은 화면을 볼 수 있는데..

카프카 구성후 사용하는 기본 명령어 List 1. Topic List 조회 kafka-topics --list --bootstrap-server :9092 2. 신규 Topic 생성 --> Streaming 처리중 Logstash 또는 Spark에 의해서 자동으로 Topic이 생성되나 토픽을 수동으로 생성할때 사용 kafka-topics --create --bootstrap-server :9092 --replication-factor --partitions --topic --> Replication : Cluster내부 복제 Topic의 개수 설정 Kafka 기본설정에서 Default 값 설정 가능 --> Partition : Topic 내부 Partition 초기 개수 설정 Kafka 기본설정에서 De..

Raw data를 다른 프로그램으로 혹은 Local에 내려받기 할때 우리가 원하는 모양으로 가공해 줄 필요가 있다. 이때 이 가공해주는 항목이 Logstash에서 Filter를 이용하는데 그중 mutate filter를 활용하는 방법에 대하여 알아보자 공식문서 를 참고하여도 무방하다. 1. Mutate filter 목록 mutate filter plugin 의 옵션으로는 아래와 같다. convert copy gsub join split lowercase, uppercase capitalize merge coerce update replace strip rename 1. Convert --> 해당 필드를 변형한다. input { stdin{ codec => json } } filter { mutate { ..