오늘도, 코드더하기

오늘도, 코드더하기

  • 분류 전체보기
    • 개발자로서 일상
    • Linux
    • DataPipeline
    • DL
    • Spark
    • kafka
    • RDBMS
    • NoSQL
    • Docker
    • Python
    • ELK Stack
    • Cloud Engineering
    • Kubernetes
    • GIT
    • ML
  • 홈
  • 태그
  • 방명록
RSS 피드
로그인
로그아웃 글쓰기 관리

오늘도, 코드더하기

컨텐츠 검색

태그

카프카 konlpy PANDAS RAG GPT RDBMS LLM 파이썬 Query DL kafka Spark SQL GenAI MSSQL setting Python azure AI langchain

최근글

댓글

공지사항

아카이브

partition count(1)

  • kafka - Topic Partition 개수 설계

    카프카에 파티션 수가 늘어날 수록 처리량을 올라가지만, 그에 따른 반작용이 있다. 바로 Latency 증가하고 recovery time 이 늘어난다. 그래서 무작정 파티션 수를 늘리는 것보다, 적절한 목표 처리량을 설정하고 그에 맞춰 파티션 개수를 산정해야한다. 이어 기능상에 대해서도 고려를 해야한다. 카프카 파티션 수 설계 가이드 파티션 수를 증가하면 처리량이 높아짐 (분산효과) 프로듀서, 브로커 : write 처리량이 증가, hardware 자원 사용 증가 컨슈머 : 파티션 수만큼 병렬 쓰레드 구동해서 처리량 증가 목표 처리량 (t) 이 있다면, 파티션 개수를 정할 수 있음 단일 파티션 쓰기 속도 계산 (p) 단일 파티션 읽기 속도 계산 (c) 파티션 개수 = max (t/p, t/c) 고려사항 ba..

    2021.07.21
이전
1
다음
티스토리
© 2018 TISTORY. All rights reserved.

티스토리툴바