이번에 회사에서 사용하는 Apache Superset의 버전을 업그레이드 하자는 내부적인 이야기를 하게되면서 해본 경험을 정리하게 됐습니다. 우선 현재 상황을 간략하게 목록화 해보자면 1. BI/운영 Dash Board로 사용하고 있는 Apache Superset의 현재 버전은 2.1 버전으로 Chart Version은 0.9.7 버전이다. 2. 인프라 이전을 준비하고 있고 인프라 이전을 할 때 Superset의 버전을 최신 Stable version으로 바꿔보자 만약 변경하게되면 발생하는 장단점은? 장점 1. apache Superset을 최신 Stable version으로 변경하면 pandas의 버전이 기존 1.x 에서 2.x로 변경되어 속도적 측면에서 강점이 생긴다. 2. 새로 생긴 차트를 활용할 ..

1. Airflow를 도입하게 된 이유 - Azure Functions (Serverless SaaS)를 이용해서 데이터를 처리하는 과정에서 적은 리소스로 많은 작업을 처리해야 하는 상황이 발생 당시 3.5Gb의 적은 메모리 용량으로 다양한 배치 작업 및 실시간 트리거를 활용한 작업까지 모두 처리해야 하는 상황이었기 때문에 배치 작업만이라도 다른곳으로 돌려 작업의 효율성을 만들기 위함 2. Airflow K8S를 선택하게 된 이유 - 우선 사내에서 운영하고있는 K8S가 있었기 때문이며 해당 K8S는 MLOps를 통해서 배포된 모델 API가 동작하는 용도로만 쓰이고 있었음. 리소스가 무려 코어 12개 메모리 48기가의 내용물을 가지고 있었음에도 특별하게 활용되고 있지 않았기 때문에 남는 리소스를 활용하기 ..

주의 : 이 글에서는 VM을 한대밖에 가용하지 못해서 한대에 마스터만 구현했습니다. 정상기능으로 작동하나 원래대로 진행한다면 노드까지 포함하여 3대의 VM이 필요합니다. 1. 최소 스펙 - MASTER CPU : 2 Core RAM : 3 Gb - NODE CPU : 2 Core RAM : 3 Gb 2. 사전 준비 사항 아래 사항을 반드시 체크 할 것 CPU 2개 이상 각 노드는 2개 이상의 CPU (코어) 가 있어야 합니다. 스왑 메모리 비활성화 Kubernetes 는 Swap Memory 를 고려하지 않고 개발되었습니다. Swap Memory 가 활성화되어 있으면 여러 문제가 발생할 수 있습니다. 각 노드간 원활한 네트워크 방화벽 등 각 노드간의 네트워크를 방해하는것을 제거하는 것이 좋습니다. Doc..

Windows 환경에서 아주 간편하게 Sigle Node Kubernetes를 간편하게 설치하고 사용할 수 있는 방법에 대하여 알아보자. 0. 준비물 Windows Docker Desk Top Window WSL 설정 1. Windows Docker Desktop 실행 2. Kubernetes 설정 진입 매우 쉽게 설치가 가능하다. 3. 주의 사항 1 지금 필자는 이미 설치된 상태에서 진행하기 때문에 중간에 설치하는 과정이 빠져있습니다. 아마 저 설정 버튼을 누르기전에 설치를 먼저 진행하는것으로 알고 있고 그 설치과정또한 저 Docker Desktop환경에서 버튼을 눌러 진행했던것으로 기억하고 있습니다. 4. Kubernetes 동작 확인 VS Code Kubernetes Extension에서 설치/적용..