오늘도, 코드더하기

얼마전 Open AI의 API를 활용하여 간단한 체팅을 구현해보는 글을 올렸었는데요 이번에는 그 GPT모델을 내가 직접 Fine Tuning해보도록 하겠습니다. 먼저 GPT의 Fine Tuning은 다음과 같을 때 하게됩니다. Introduction Fine-tuning lets you get more out of the models available through the API by providing: Higher quality results than prompting Ability to train on more examples than can fit in a prompt Token savings due to shorter prompts Lower latency requests OpenAI's text..

최근들어서 GPT를 활용하여 할 수 있는 일들이 늘어나고 있습니다. 가령 내가 코드를 작성하더라도, 디버깅에 어려움을 겪고 있는경우에도, 작성한 쿼리가 정말 최적화가 돼 있는지 등 다양한 방면에서 개발에 도움을 주고 있다보니 문득 궁금해져서 API를 사용하여 어떻게 동작하는지 알아보고자 합니다. API에 대한 자세한 내용은 Open AI에서 제공하는 페이지를 확인하시기 바랍니다. 가령 API키 발급같은 것이요. https://platform.openai.com/signup 먼저 저는 Python 3.11버전을 사용했습니다. 1. Python Library install pip install --upgrade openai 2. 간단한 코드 작성 from openai import OpenAI import r..

Transformer를 이용하여 자연어 처리(NLP)를 하기전에 사용하는 형태소 분석기가 여러가지 있다. 가령 예를들면 제목에 나와있는 Okt가 있고 KKMa라던지 Mecap이라던지 등등의 여러가지 형태소분석을 할 수 있는 Class가 있지만 가장 사용하기 편하고 나름의? 정확성도 가지고있는 Okt를 사용해 보도록 합니다. 준비물 . 1. Visual Studio => 우선 Konlpy를 구동하기 위해서 설치가 필요합니다. 2. Java Jdk 설정 - 만약 준비가 되지 않으셨다면 ? (https://todaycodeplus.tistory.com/42?category=988489)이 글에서 내용을 보고 따라 설치 하시기 바랍니다. 3. jpype설치 - 내 파이썬 버전의 맞는 Jpype1을 설치하고 사용..

Text Classification Model을 만들기 위해서 Konlpy를 사용하는데 필요한 JDK의 설치과정입니다. 먼저 오라클에서 지원하는 Jdk 링크입니다. 현재 운영체제에 맞는 녀석으로 골라 설치해주세요 (Windows 11로 업데이트 하신분들은 그냥 Windows10에 맞는 버전으로 설치 하셔도 무방합니다.) https://www.oracle.com/java/technologies/downloads/#java8 설치 화면으로 들어가면 경로를 지정하는데 저는 C\Programfile\java\jdk-1.8.0_311에 경로가 지정되어 있었습니다. 그냥 바로 자동설정 되어있는데로 설치했고 설치 경로가 뜰때 꼭 어디에 설치가 되는지 확인하시기 바랍니다. 쭉 진행하여 설치를 완료 하게 되면 설치가 완..