PySpark - Azure Event Hub Structured Streaming 설정
Spark 환경 Spark 3.1 Docker를 활용한 환경 구성 특이사항 - Docker와 Jupyter Notebook으로 구성된 image를 다운받아 생성 PySpark 환경에서 새로운 무언가를 실행할때 항상 여러가지 확인할 것들이 생기는데 그중하나가 Spark Dir에 있는 jars 내부 jar파일들이다. kafka로 Spark Sturctured Streaming을 생성하기 위해서 jar파일이 필요했는데 이번에도 마찬가지다.. Azure Event Hub를 사용하기 위해서 아래와 같은 파일 4개가 필요하다.. azure-eventhubs-spark_2.12-2.3.18.jar azure-eventhubs-3.2.2.jar scala-java8-compat_2.12-0.9.0.jar proton-..
2021.07.05