오늘도, 코드더하기

이번에 회사에서 사용하는 Apache Superset의 버전을 업그레이드 하자는 내부적인 이야기를 하게되면서 해본 경험을 정리하게 됐습니다. 우선 현재 상황을 간략하게 목록화 해보자면 1. BI/운영 Dash Board로 사용하고 있는 Apache Superset의 현재 버전은 2.1 버전으로 Chart Version은 0.9.7 버전이다. 2. 인프라 이전을 준비하고 있고 인프라 이전을 할 때 Superset의 버전을 최신 Stable version으로 바꿔보자 만약 변경하게되면 발생하는 장단점은? 장점 1. apache Superset을 최신 Stable version으로 변경하면 pandas의 버전이 기존 1.x 에서 2.x로 변경되어 속도적 측면에서 강점이 생긴다. 2. 새로 생긴 차트를 활용할 ..

1. Airflow를 도입하게 된 이유 - Azure Functions (Serverless SaaS)를 이용해서 데이터를 처리하는 과정에서 적은 리소스로 많은 작업을 처리해야 하는 상황이 발생 당시 3.5Gb의 적은 메모리 용량으로 다양한 배치 작업 및 실시간 트리거를 활용한 작업까지 모두 처리해야 하는 상황이었기 때문에 배치 작업만이라도 다른곳으로 돌려 작업의 효율성을 만들기 위함 2. Airflow K8S를 선택하게 된 이유 - 우선 사내에서 운영하고있는 K8S가 있었기 때문이며 해당 K8S는 MLOps를 통해서 배포된 모델 API가 동작하는 용도로만 쓰이고 있었음. 리소스가 무려 코어 12개 메모리 48기가의 내용물을 가지고 있었음에도 특별하게 활용되고 있지 않았기 때문에 남는 리소스를 활용하기 ..