오늘도, 코드더하기

오늘도, 코드더하기

  • 분류 전체보기
    • 개발자로서 일상
    • Linux
    • DataPipeline
    • DL
    • Spark
    • kafka
    • RDBMS
    • NoSQL
    • Docker
    • Python
    • ELK Stack
    • Cloud Engineering
    • Kubernetes
    • GIT
    • ML
  • 홈
  • 태그
  • 방명록
RSS 피드
로그인
로그아웃 글쓰기 관리

오늘도, 코드더하기

컨텐츠 검색

태그

RAG konlpy DL 파이썬 AI Query langchain LLM MSSQL RDBMS kafka GenAI PANDAS 카프카 Python azure setting GPT SQL Spark

최근글

댓글

공지사항

아카이브

jars(1)

  • PySpark - Kafka Structured Streaming 설정

    Spark 환경 Spark 3.1 Docker를 활용한 환경 구성 특이사항 - Docker와 Jupyter Notebook으로 구성된 image를 다운받아 생성 PySpark 환경에서 새로운 무언가를 실행할때 항상 여러가지 확인할 것들이 생기는데 그중하나가 Spark Dir에 있는 jars 내부 jar파일들이다. kafka와 연동하기 위한 jar 파일은 maven에서 구할수 있다. 아래 두가지 파일을 구하여 jars 디렉토리에 넣어준다. kafka-clients-2.6.0.jar spark-sql-kafka-0-10_2.12-3.1.1.jar spark-token-provider-kafka-0-10_2.12-3.1.1.jar 내 환경에서는 cd /usr/local/spark/jars 로 이동하면 위 링크..

    2021.07.13
이전
1
다음
티스토리
© 2018 TISTORY. All rights reserved.

티스토리툴바