pyodbc 라이브러리를 이용하여 MSSQL에 연결하는 방법을 알아본다. import pyodbc # Connect String (DB info) server = '' database = '' username = '>' password = '' conn = pyodbc.connect('DRIVER={ODBC Driver 17 for SQL Server};\ SERVER='+server+';DATABASE='+database+';UID='+username+';PWD='+ password) cursor = conn.cursor() 1. DB서버의 정보를 각각의 변수에 담는다. 2. conn 변수에 pyodbc.connect를 이용 연결정보를 담는다. 3. 연결정보를 활용하여 Cursor를 선언하고 사용한다...

Data를 손실없이 처리하는 Massege Queue방식의 카프카로 부터 안정적으로 Data를 받아 처리 할 수 있도록 kafka로부터 Data를 받는 방법에 대하여 알아보자. input { kafka { bootstrap_servers => ["kafka:9092"] # kafka server & Port 지정 topics => [""] # Topic 이름 지정 codec => json #Data Codec 지정 auto_offset_reset => "earliest" #Offset 지정 consumer_threads => 1 # Consumer 처리 Thread갯수 지정 type => "kafka" # Plugin type지정 } } 이중 기능이 좀 필요한 것들 몇개만 더 파보자 1. Auto_off..

Logstash는 오픈소스 데이터 수집 프로그램으로 다양한 플러그인을 지원하여 여러가지 데이터 소스를 효율적으로 처리하고 처리된 데이터를 원하는 곳으로 전송하는 기능을 담당하고 있다. 이 데이터를 전송받는 프로그램중 가장 많이 사용하고 활용도가 높은것이 Kafka인데 Logstash를 활용하여 Kafka로 데이터를 전송해보자. 사실 너무 간단해서 소개할것도 없다. output { kafka { codec => json topic_id => "" bootstrap_servers => ["kafka:9092"] } } Logstsh의 Output plugin부분에 위와같은 코드로 사용할 수 있다. Bootstrap-server 같은경우에는 본인이 Docker Container로 구성했다면 해당 Contain..

Azure function을 생성하고 파이썬을 활용하기 위해서는 다양한 라이브러리를 불러올 필요가 있다. Azure Function의 경우는 라이브러리를 쉘 명령어를 이용해 설치할 수 있는 Jupyter Notebook과는 다르게 구성한 환경의 Python에 직접 설치를 해야한다. 아니 사실 설치할 필요가 없다 일전에 설치한 Azure Function관련 어플리케이션이 이 코드를 실행하면 자동으로 설치해서 구동을 하도록 도와준다. 다만... 설치를 안하면 코드에 노란줄 빨간줄이 그어져 매우 ... 싫다 자동완성도 아마.. 이용을 못하는걸로? 알고있다. 그럼 아까 말한것 처럼 그럼 그 어플리케이션이 자동으로 설치를 도와준다면.. 어딘가에 무엇을 설치할지 정보를 주는 녀석이 있다. 바로 .. 바로 Requi..

Spark 환경 Spark 3.1 Docker를 활용한 환경 구성 특이사항 - Docker와 Jupyter Notebook으로 구성된 image를 다운받아 생성 PySpark 환경에서 새로운 무언가를 실행할때 항상 여러가지 확인할 것들이 생기는데 그중하나가 Spark Dir에 있는 jars 내부 jar파일들이다. kafka로 Spark Sturctured Streaming을 생성하기 위해서 jar파일이 필요했는데 이번에도 마찬가지다.. Azure Event Hub를 사용하기 위해서 아래와 같은 파일 4개가 필요하다.. azure-eventhubs-spark_2.12-2.3.18.jar azure-eventhubs-3.2.2.jar scala-java8-compat_2.12-0.9.0.jar proton-..

Azure Function을 실행하기 위한 Local Setting을 진행한 후 실제로 Local환경에 Project를 생성해본다. 1. Project 생성 Azure Extension에서 Functions Tap에 Create New Project를 눌러 준다. 2. Project가 생성될 폴더를 지정한다. 3. Project에 사용할 프로그래밍 언어를 선택한다. 우선 우리는 언어를 파이썬으로 사용할 것이며 언어를 선택했다면 언어의 버전도 선택해 준다. 4. Azure Function에서 제공하는 Trigger Template선택 이중 Azure Blob Storage에 Blob이 생성될 경우 함수를 실행하는 Azure Blob Trigger를 이용해 보도록 하겠다. 5. 이름 지정과 로컬세팅 생성 D..