안녕하세요 오늘은 Langchain에서 Custom Retriever를 구현하는 방법을 소개해볼까 합니다.  가끔 이런 경우가 생깁니다.1. 아 뭔가 Retriever에서 데이터가 출력되기 전에 ReRank를 사용하고 나온다면 어떨가?2. 어? 뭐야 이건 Retriever가 없네? Langchain_community 라이브러리를 뒤져봐도 내가 원하는 Retriever가 없는경우 (제가 못찾았을 수 있습니다.. 머쓱..)3. 데이터가 Retriever에서 필터를 가지거나, Similarity Search가 되기전 뭔가 처리를 했으면 좋겠다거나.. 이런 이유로 기존에 Langchain에서 제공되던 Retriever를 수정하여 사용 할 수 있습니다. 1. Base Retriever에서 중요한 매서드들[API ..

안녕하세요 오랜만에 또 글을 써봅니다.최근 데이터엔지니어 이지만... 회사에서의 요구사항으로 LLM으로 서비스를 개발하고 있는데요, 특정 도매인의 최신 정보를 가지고 있는 Chatbot을 만들어야 하다보니 자연스럽게 RAG에 대해서 알게되었고 이 RAG에 대해서 제가 이해한 부분까지 정리해 보려 합니다. 각종 단어 Embedding이나, 프롬프트나 LLM과 같은 단어들에 대한 세부적 설명은 제외합니다.- RAG(Retrieval Argumented Generation)RAG(Retrieval Agumented Generation)는 검색-증강-생성 이라고 합니다. 무슨 의미를 가지고 있느냐.. 우리는 LLM모델을 먼저 이해할 필요가 있습니다.  LLM모델은 Transformer라는 DL모델로 인간의 언어..