Azure function을 생성하고 파이썬을 활용하기 위해서는 다양한 라이브러리를 불러올 필요가 있다. Azure Function의 경우는 라이브러리를 쉘 명령어를 이용해 설치할 수 있는 Jupyter Notebook과는 다르게 구성한 환경의 Python에 직접 설치를 해야한다. 아니 사실 설치할 필요가 없다 일전에 설치한 Azure Function관련 어플리케이션이 이 코드를 실행하면 자동으로 설치해서 구동을 하도록 도와준다. 다만... 설치를 안하면 코드에 노란줄 빨간줄이 그어져 매우 ... 싫다 자동완성도 아마.. 이용을 못하는걸로? 알고있다. 그럼 아까 말한것 처럼 그럼 그 어플리케이션이 자동으로 설치를 도와준다면.. 어딘가에 무엇을 설치할지 정보를 주는 녀석이 있다. 바로 .. 바로 Requi..

Spark 환경 Spark 3.1 Docker를 활용한 환경 구성 특이사항 - Docker와 Jupyter Notebook으로 구성된 image를 다운받아 생성 PySpark 환경에서 새로운 무언가를 실행할때 항상 여러가지 확인할 것들이 생기는데 그중하나가 Spark Dir에 있는 jars 내부 jar파일들이다. kafka로 Spark Sturctured Streaming을 생성하기 위해서 jar파일이 필요했는데 이번에도 마찬가지다.. Azure Event Hub를 사용하기 위해서 아래와 같은 파일 4개가 필요하다.. azure-eventhubs-spark_2.12-2.3.18.jar azure-eventhubs-3.2.2.jar scala-java8-compat_2.12-0.9.0.jar proton-..

Azure Function을 실행하기 위한 Local Setting을 진행한 후 실제로 Local환경에 Project를 생성해본다. 1. Project 생성 Azure Extension에서 Functions Tap에 Create New Project를 눌러 준다. 2. Project가 생성될 폴더를 지정한다. 3. Project에 사용할 프로그래밍 언어를 선택한다. 우선 우리는 언어를 파이썬으로 사용할 것이며 언어를 선택했다면 언어의 버전도 선택해 준다. 4. Azure Function에서 제공하는 Trigger Template선택 이중 Azure Blob Storage에 Blob이 생성될 경우 함수를 실행하는 Azure Blob Trigger를 이용해 보도록 하겠다. 5. 이름 지정과 로컬세팅 생성 D..

1. VS Code Extesion - Azure Tools

Azure Function 기능을 이용하기 위하여 Cloud에 Deployment 하기 전 로컬 환경에서 해당 함수를 테스트 할수 있는 환경을 구축합니다. 1. Window Azure Function 응용프로그램 설치 https://github.com/Azure/azure-functions-core-tools#installing Azure/azure-functions-core-tools Command line tools for Azure Functions. Contribute to Azure/azure-functions-core-tools development by creating an account on GitHub. github.com 해당 링크 주소를 접속하게 되면 아래와 같은 화면을 볼 수 있는데..