오늘도, 코드더하기

오늘도, 코드더하기

  • 분류 전체보기
    • 개발자로서 일상
    • Linux
    • DataPipeline
    • DL
    • Spark
    • kafka
    • RDBMS
    • NoSQL
    • Docker
    • Python
    • ELK Stack
    • Cloud Engineering
    • Kubernetes
    • GIT
    • ML
  • 홈
  • 태그
  • 방명록
RSS 피드
로그인
로그아웃 글쓰기 관리

오늘도, 코드더하기

컨텐츠 검색

태그

RDBMS langchain SQL LLM Python MSSQL 카프카 Spark RAG GPT DL kafka PANDAS AI azure setting Query konlpy 파이썬 GenAI

최근글

댓글

공지사항

아카이브

ai chat(1)

  • [Langchain] FastAPI에서 LLM Agent를 활용한 Response Streaming

    서론저번에 한번 같은 글을 올렸었는데요 그것보다 훨씬 더 간편하고 성능적으로 개선된 방법을 설명해 볼까 합니다.기존글은 이거예요!https://todaycodeplus.tistory.com/70 [Langchain] Langserve에서 LLM Agent를 활용한 Response Streaming기존에 LCEL기반의 LLM pipeline에서 Agent를 활용하는 방식으로 전환을 하고 있었습니다. 그 이유는 아래와 같습니다.1. Retriever를 구조화하여 사용하기 힘들다.2. 복잡한 형태, 크로스 도매인을 가진todaycodeplus.tistory.com 무엇이 바뀌었을까?우선 기존에는 방식이 다음과 같았습니다. Agent가 결과물을 생성하는 과정에서 LLM모델의 Output에서 생성되는 Token을..

    2024.10.31
이전
1
다음
티스토리
© 2018 TISTORY. All rights reserved.

티스토리툴바