Airflow - Airflow on kubernetes(K8S) 설치 - 1

1. Airflow를 도입하게 된 이유 - Azure Functions (Serverless SaaS)를 이용해서 데이터를 처리하는 과정에서 적은 리소스로 많은 작업을 처리해야 하는 상황이 발생 당시 3.5Gb의 적은 메모리 용량으로 다양한 배치 작업 및 실시간 트리거를 활용한 작업까지 모두 처리해야 하는 상황이었기 때문에 배치 작업만이라도 다른곳으로 돌려 작업의 효율성을 만들기 위함 2. Airflow K8S를 선택하게 된 이유 - 우선 사내에서 운영하고있는 K8S가 있었기 때문이며 해당 K8S는 MLOps를 통해서 배포된 모델 API가 동작하는 용도로만 쓰이고 있었음. 리소스가 무려 코어 12개 메모리 48기가의 내용물을 가지고 있었음에도 특별하게 활용되고 있지 않았기 때문에 남는 리소스를 활용하기 ..

2022.04.27