Spark 환경 Spark 3.1 Docker를 활용한 환경 구성 특이사항 - Docker와 Jupyter Notebook으로 구성된 image를 다운받아 생성 PySpark 환경에서 새로운 무언가를 실행할때 항상 여러가지 확인할 것들이 생기는데 그중하나가 Spark Dir에 있는 jars 내부 jar파일들이다. kafka와 연동하기 위한 jar 파일은 maven에서 구할수 있다. 아래 두가지 파일을 구하여 jars 디렉토리에 넣어준다. kafka-clients-2.6.0.jar spark-sql-kafka-0-10_2.12-3.1.1.jar spark-token-provider-kafka-0-10_2.12-3.1.1.jar 내 환경에서는 cd /usr/local/spark/jars 로 이동하면 위 링크..

Spark 환경 Spark 3.1 Docker를 활용한 환경 구성 특이사항 - Docker와 Jupyter Notebook으로 구성된 image를 다운받아 생성 PySpark 환경에서 새로운 무언가를 실행할때 항상 여러가지 확인할 것들이 생기는데 그중하나가 Spark Dir에 있는 jars 내부 jar파일들이다. kafka로 Spark Sturctured Streaming을 생성하기 위해서 jar파일이 필요했는데 이번에도 마찬가지다.. Azure Event Hub를 사용하기 위해서 아래와 같은 파일 4개가 필요하다.. azure-eventhubs-spark_2.12-2.3.18.jar azure-eventhubs-3.2.2.jar scala-java8-compat_2.12-0.9.0.jar proton-..