이 글을 작성하는 현재시간 기준으로 어제 Claude의 새로운 모델이 공개됐습니다. 제가 개발을 하며 사용하고 있는 AWS Bedrock에도 바로 출시가 됐더군요, Claude에서 AWS에 올린 글에 나온 그래프만 봐도 기존에 Opus를 뛰어넘는다고 표현하고 있습니다. 저는 이 내용이 뜨자마자 바로 Bedrock을 이용해서 모델을 사용해보았습니다. 그리고 느낀점을 한번 올려보겠습니다. 1. 모델의 성능 변화기존의 Cluade는 제가 느끼기에 좀 더 대화에 최적화 된 튜닝 방식을 가지고 있다고 생각했습니다. 그 이유는 다양하게 LLM을 활용할 때 많이 쓰는 방식이 답변에 대한 특정 Fromating을 요구하는 경우가 많은데, 이 경우 실패율이 꾀 높습니다. 그런데 이때 출력되는 결과물을 보면 "좋습니다 답..

우리는 RAG를 구성하기 위해서 다향한 데이터를 Embedding하여 VectorDB에 저장해야 한다고 바로 이전글에서 알아보았는데요 그럼 어떻게 Embedding할 데이터를 만들까요? 일반적으로 html, Text, PDF, MS Document(Excel, ppt, docs)등 다양한 문서의 형태가 있는데 이것들을 Read -> Chunk로 분할 하여 Embedding에 사용되기 직전 까지의 과정을 한번 살펴볼겁니다. 너무 많은 Text Splitter가 있는데 그중에서 Character Splitter를 살펴보려고 합니다. 더 많은 Splitter에 대해서는 아래 링크를 참고하시기 바랍니다!https://python.langchain.com/v0.1/docs/modules/data_connectio..

안녕하세요 오랜만에 또 글을 써봅니다.최근 데이터엔지니어 이지만... 회사에서의 요구사항으로 LLM으로 서비스를 개발하고 있는데요, 특정 도매인의 최신 정보를 가지고 있는 Chatbot을 만들어야 하다보니 자연스럽게 RAG에 대해서 알게되었고 이 RAG에 대해서 제가 이해한 부분까지 정리해 보려 합니다. 각종 단어 Embedding이나, 프롬프트나 LLM과 같은 단어들에 대한 세부적 설명은 제외합니다.- RAG(Retrieval Argumented Generation)RAG(Retrieval Agumented Generation)는 검색-증강-생성 이라고 합니다. 무슨 의미를 가지고 있느냐.. 우리는 LLM모델을 먼저 이해할 필요가 있습니다.  LLM모델은 Transformer라는 DL모델로 인간의 언어..

얼마전 Open AI의 API를 활용하여 간단한 체팅을 구현해보는 글을 올렸었는데요 이번에는 그 GPT모델을 내가 직접 Fine Tuning해보도록 하겠습니다. 먼저 GPT의 Fine Tuning은 다음과 같을 때 하게됩니다. Introduction Fine-tuning lets you get more out of the models available through the API by providing: Higher quality results than prompting Ability to train on more examples than can fit in a prompt Token savings due to shorter prompts Lower latency requests OpenAI's text..

최근들어서 GPT를 활용하여 할 수 있는 일들이 늘어나고 있습니다. 가령 내가 코드를 작성하더라도, 디버깅에 어려움을 겪고 있는경우에도, 작성한 쿼리가 정말 최적화가 돼 있는지 등 다양한 방면에서 개발에 도움을 주고 있다보니 문득 궁금해져서 API를 사용하여 어떻게 동작하는지 알아보고자 합니다. API에 대한 자세한 내용은 Open AI에서 제공하는 페이지를 확인하시기 바랍니다. 가령 API키 발급같은 것이요. https://platform.openai.com/signup 먼저 저는 Python 3.11버전을 사용했습니다. 1. Python Library install pip install --upgrade openai 2. 간단한 코드 작성 from openai import OpenAI import r..

Transformer를 이용하여 자연어 처리(NLP)를 하기전에 사용하는 형태소 분석기가 여러가지 있다. 가령 예를들면 제목에 나와있는 Okt가 있고 KKMa라던지 Mecap이라던지 등등의 여러가지 형태소분석을 할 수 있는 Class가 있지만 가장 사용하기 편하고 나름의? 정확성도 가지고있는 Okt를 사용해 보도록 합니다. 준비물 . 1. Visual Studio => 우선 Konlpy를 구동하기 위해서 설치가 필요합니다. 2. Java Jdk 설정 - 만약 준비가 되지 않으셨다면 ? (https://todaycodeplus.tistory.com/42?category=988489)이 글에서 내용을 보고 따라 설치 하시기 바랍니다. 3. jpype설치 - 내 파이썬 버전의 맞는 Jpype1을 설치하고 사용..