Spark - Docker로 Spark Cluster + Jupyterlab 구성

빅데이터를 공부하고 이쪽으로 직업을 가지길 원한다면 한번쯤 들어봤을 Spark를 Docker를 이용하여 쉽고 빠르게 구성해 보도록 하겠다. 만약 Spark에 대해서 알지 못하는 분이라면 아래 링크를 통해 가볍게 Spark가 무엇인지 알아보고 시작하자. Apache Spark 란.. 설치할 Spark와 Jupyterlab의 버전은 아래와 같다. Spark : 3.1.1 Simulated HDFS : 3.2 Jupyterlab : 2.1.5 자 시작하기 앞서 이들을 구성하는 구성도를 한번 살펴 보자. 1. Spark 구성도 먼저 Spark Master를 생성해 주고 이를 Localhost에 8080 Port에 얹어 준다. 그 다음 두개의 Worker를 구성하여 각각 8081 / 8082 Port에 얹어 준다..

2021.07.21