1. Airflow를 도입하게 된 이유 - Azure Functions (Serverless SaaS)를 이용해서 데이터를 처리하는 과정에서 적은 리소스로 많은 작업을 처리해야 하는 상황이 발생 당시 3.5Gb의 적은 메모리 용량으로 다양한 배치 작업 및 실시간 트리거를 활용한 작업까지 모두 처리해야 하는 상황이었기 때문에 배치 작업만이라도 다른곳으로 돌려 작업의 효율성을 만들기 위함 2. Airflow K8S를 선택하게 된 이유 - 우선 사내에서 운영하고있는 K8S가 있었기 때문이며 해당 K8S는 MLOps를 통해서 배포된 모델 API가 동작하는 용도로만 쓰이고 있었음. 리소스가 무려 코어 12개 메모리 48기가의 내용물을 가지고 있었음에도 특별하게 활용되고 있지 않았기 때문에 남는 리소스를 활용하기 ..

우선 무엇을 위해서 파이썬 컨테이너에 ODBC를 구성하게 되었는가 1. 센서 데이터를 받아오는 특정 MQ에서 지속적으로 메세지를 받는다. 2. 받아진 메세지를 뜯어서 내가 원하는 형태로 가공하고 3. 이를 DB에 적재하기 위함 이것을 위해서 해당 Python .py코드를 작성하고 Docker Container를 생성하여 Kubernetes에 배포하는 과정중 Docker Image - Python3.8-slim-buster를 이용하여 배포를 해본결과 ((odbc driver 17 for sql server)) 관련 에러가 발생 했다. 드라이버가 없어서 데이터를 DB로 전송할 때 필요한 Connection을 잡지 못한다는 것 --해결 방법-- 1. Shell Script 작성 curl https://pack..

이전 글에서 구했던 시간을 내가 원하는데로 빼고 더하는 방법에 대해 알아봅니다. 이전글: MSSQL - 현재 날짜 시간 구하기 1. 날짜 더하고 빼기 SELECT CONVERT(date,GETDATE() -1) AS 'DATE' 결과 현재 쿼리 실행일은 1월 4일로 GETDATE() 바로 뒤에 -x, +x 해주는걸로 날짜를 일단위로 변경할 수 있습니다. 2. Date타입에서 년, 월, 일 변경 SELECT DATEADD(DAY, -10, CONVERT(date,GETDATE())) AS [10일전] SELECT DATEADD(MONTH, -10, CONVERT(date,GETDATE())) AS [10개월전] SELECT DATEADD(YEAR, -10, CONVERT(date,GETDATE())) AS..

쿼리를 사용하면서 오늘 날짜부터 혹은 오늘날짜 까지 데이터를 조회하는 경우가 생기는데 그럴때 사용하게 된다. 1. 오늘날짜 및 시간 가져오기 SELECT GETDATE() AS 'DATETIME' 결과 2. 오늘 날짜만 가져오기 SELECT CONVERT(date,GETDATE()) AS 'DATE' 결과 3. 지금 현재시간만 가져오고 싶은 경우 SELECT CONVERT(time,GETDATE()) AS 'TIME' 결과 저는 서버 시간이 UTC로 설정되어있어 -9시간 되어있습니다. 잘 활용하여 쿼리 작성 하시길 바랍니다.

Git push를 위해서 필요한 Personal Access Token 발급 방법 입니다. (발그림 죄송합니다.) 우선 이 토큰이 뭐땜에 생성하는지 설명을 간단하게 Note에 적어주고 아래 내가 이 토큰으로 할 수 있는 권한을 설정해줍니다. 생성하시면 됩니다 ps. 갱신 기간 설정 부분도 있습니다. 갱신기간은 취향에 맞게 !

기본 준비물 1. Github ID 2. Github repo 3. Git Config 등록 두개 준비물은 Github 웹 페이지에서 생성이 가능합니다. 매우 쉽게 구성되어 있으니 초보자도 직관적으로 생성 할 수 있습니다 1. 디렉토리 생성 Git에 보낼 파일들을 구성하기 위해서 디렉토리를 새로 생성합니다. mkdir new_dir 2. 새로운 디렉토리에 내 작업물을 올려 놓습니다. -> CP, MV 등 명령어들을 이용해서 내 작업물을 이동시켜 놓거나 해당 디렉토리에서 작업해서 작업물을 만듭니다. 3. Git 초기화 git init 명렁어를 실행시 .git파일이 만들어지고 이 디렉토리는 Git에 올라갈 준비가 됩니다. 4. 업로드 할 파일 목록 확인 git status 해당 명령어를 실행시 해당 디렉토리..