오늘도, 코드더하기

오늘도, 코드더하기

  • 분류 전체보기
    • 개발자로서 일상
    • Linux
    • DataPipeline
    • DL
    • Spark
    • kafka
    • RDBMS
    • NoSQL
    • Docker
    • Python
    • ELK Stack
    • Cloud Engineering
    • Kubernetes
    • GIT
    • ML
  • 홈
  • 태그
  • 방명록
RSS 피드
로그인
로그아웃 글쓰기 관리

오늘도, 코드더하기

컨텐츠 검색

태그

Query konlpy DL RAG GPT LLM setting GenAI AI SQL azure Spark 카프카 MSSQL kafka 파이썬 Python RDBMS PANDAS langchain

최근글

댓글

공지사항

아카이브

appservice(1)

  • [Langchain] Langserve에서 LLM Agent를 활용한 Response Streaming

    기존에 LCEL기반의 LLM pipeline에서 Agent를 활용하는 방식으로 전환을 하고 있었습니다. 그 이유는 아래와 같습니다.1. Retriever를 구조화하여 사용하기 힘들다.2. 복잡한 형태, 크로스 도매인을 가진 질문에 대하여 답변하기 더 용이하다. 하지만 단점도 있습니다.1. 답변을 생성하기 위한 과정이 추가되다보니 답변이 느리다.2. LLM의 가끔의 멍청함으로 포맷을 정확히 지키지 못해, 추가 Token발생으로 비용이 쪼~금 더 나갈때가 있다. 그러나 이 단점중 2번째인 Formating 문제가 Claude 3.5 Sonnet이 출시되며 말끔하게 해결되어 Agent 전환을 하고 있는데...Agent의 답변은 여러 단계를 거쳐 마지막 Final Answer가 출력되는 시점에 일괄 출력되도록 ..

    2024.06.26
이전
1
다음
티스토리
© 2018 TISTORY. All rights reserved.

티스토리툴바