오늘도, 코드더하기

pandas를 사용해서 데이터를 다룰 때 구성된 데이터의 하나의 컬럼 데이터를 통째로 연산해야 하거나 변환해야하는 경우가 생기게 됩니다. 이때 사용하면 유용한 pandas 함수 apply를 알아봅시다 우선 데이터를 생성해 볼까요? 데이터 셋 생성 import pandas as pd # 예제 데이터프레임 생성 data = { '이름': ['홍길동', '이순신', '박보영'], '나이': [25, 40, 33], '부모의 나이 평균': [55, 62, 63], '도시': ['서울', '부산', '대구'] } df = pd.DataFrame(data) 다음과 같은 테이블을 생성 했습니다. 여기서 처음 시도해 볼 것은 이 유저의 나이를 1씩 더하는 작업을 진행하게 될겁니다 단일 Column 수정 - 유저의 나이..

얼마전 Open AI의 API를 활용하여 간단한 체팅을 구현해보는 글을 올렸었는데요 이번에는 그 GPT모델을 내가 직접 Fine Tuning해보도록 하겠습니다. 먼저 GPT의 Fine Tuning은 다음과 같을 때 하게됩니다. Introduction Fine-tuning lets you get more out of the models available through the API by providing: Higher quality results than prompting Ability to train on more examples than can fit in a prompt Token savings due to shorter prompts Lower latency requests OpenAI's text..

최근들어서 GPT를 활용하여 할 수 있는 일들이 늘어나고 있습니다. 가령 내가 코드를 작성하더라도, 디버깅에 어려움을 겪고 있는경우에도, 작성한 쿼리가 정말 최적화가 돼 있는지 등 다양한 방면에서 개발에 도움을 주고 있다보니 문득 궁금해져서 API를 사용하여 어떻게 동작하는지 알아보고자 합니다. API에 대한 자세한 내용은 Open AI에서 제공하는 페이지를 확인하시기 바랍니다. 가령 API키 발급같은 것이요. https://platform.openai.com/signup 먼저 저는 Python 3.11버전을 사용했습니다. 1. Python Library install pip install --upgrade openai 2. 간단한 코드 작성 from openai import OpenAI import r..

아나콘다를 활용해서 가상환경을 생성 해 보자. >conda create -n python= 위 명령어를 실행하게 되면 아래와 같은 가상환경에 기본적인 라이브러리 설치에 대한 동의 절차가 실행 된다. Y를 선택해서 가상환경을 생성한다. conda activate 위 명령어를 사용해서 가상환경을 활성화 하고 pip를 이용해서 다양한 라이브러리를 설치 관리할 수 있다.

utf-8으로 encoding된 bytes를 String으로 다시 변환해야할 때가 있습니다. bytes를 string으로 decoding하는 방법을 소개합니다. string.decode()를 이용한 방법 str()을 이용한 방법 string.decode()를 이용한 방법 string.decode(encoding)으로 bytes를 string으로 변환할 수 있습니다. bytes가 encoding될 때 사용된 타입을 인자로 전달하면 됩니다. # bytes bytes = b'Hello world, Python' print(bytes) print(type(bytes)) # decode bytes to string result = bytes.decode('utf-8') print(result) print(type..

우선 무엇을 위해서 파이썬 컨테이너에 ODBC를 구성하게 되었는가 1. 센서 데이터를 받아오는 특정 MQ에서 지속적으로 메세지를 받는다. 2. 받아진 메세지를 뜯어서 내가 원하는 형태로 가공하고 3. 이를 DB에 적재하기 위함 이것을 위해서 해당 Python .py코드를 작성하고 Docker Container를 생성하여 Kubernetes에 배포하는 과정중 Docker Image - Python3.8-slim-buster를 이용하여 배포를 해본결과 ((odbc driver 17 for sql server)) 관련 에러가 발생 했다. 드라이버가 없어서 데이터를 DB로 전송할 때 필요한 Connection을 잡지 못한다는 것 --해결 방법-- 1. Shell Script 작성 curl https://pack..

'utf-8' codec can't decode byte 0xb3 in position 19: invalid start byte Pandas에서 read_csv를 사용할때 csv에 한글이 포함되어 있고 Encoding이 utf-8로 구성되어 pandas를 이용하여 파일을 읽을때 발생하는 에러입니다. 해결법은 매우 간단 합니다. Encoding을 다시 해서 불러주면 되는데 아래 예제 코드를 사용해 봅니다. import pandas as pd df = pd.read_csv("data.csv", encoding='cp949') cp949 encoding 방식은 한글 관련 인코딩 방식으로 이를 사용하여 불러오기를 진행하면 에러 없이 진행이 가능합니다.

이글은 Konlpy의 설치 과정중 일부를 포함하고 있습니다. Konlpy를 설치하고 실행하려면 Jpype1의 버전을 변경해야 합니다. 그 이유는 konlpy를 설치할때 Jpype1을 종속성으로 설치하게 되는데 이때 설치되는 Jpype1의 버전은 1.3 사실 이 버전이 문제가 되는것이 아니라 저 라이브러리가 각 파이썬 버전마다 호환성이 달라서 문제가 됨으로 각 파이썬 버전에 맞는 라이브러리를 무려.. 수동으로 설치해야 합니다. 우선 Uninstall 부터 진행합니다. 설치되어 있는 파이썬의 Cmd에서 pip uninstall jpype1 그리고 아래 페이지에서 내 파이썬 버전에 맞는 Whl파일을 받아 둡니다. https://www.lfd.uci.edu/~gohlke/pythonlibs/#jpype Pyth..

Transformer를 이용하여 자연어 처리(NLP)를 하기전에 사용하는 형태소 분석기가 여러가지 있다. 가령 예를들면 제목에 나와있는 Okt가 있고 KKMa라던지 Mecap이라던지 등등의 여러가지 형태소분석을 할 수 있는 Class가 있지만 가장 사용하기 편하고 나름의? 정확성도 가지고있는 Okt를 사용해 보도록 합니다. 준비물 . 1. Visual Studio => 우선 Konlpy를 구동하기 위해서 설치가 필요합니다. 2. Java Jdk 설정 - 만약 준비가 되지 않으셨다면 ? (https://todaycodeplus.tistory.com/42?category=988489)이 글에서 내용을 보고 따라 설치 하시기 바랍니다. 3. jpype설치 - 내 파이썬 버전의 맞는 Jpype1을 설치하고 사용..

Text Classification Model을 만들기 위해서 Konlpy를 사용하는데 필요한 JDK의 설치과정입니다. 먼저 오라클에서 지원하는 Jdk 링크입니다. 현재 운영체제에 맞는 녀석으로 골라 설치해주세요 (Windows 11로 업데이트 하신분들은 그냥 Windows10에 맞는 버전으로 설치 하셔도 무방합니다.) https://www.oracle.com/java/technologies/downloads/#java8 설치 화면으로 들어가면 경로를 지정하는데 저는 C\Programfile\java\jdk-1.8.0_311에 경로가 지정되어 있었습니다. 그냥 바로 자동설정 되어있는데로 설치했고 설치 경로가 뜰때 꼭 어디에 설치가 되는지 확인하시기 바랍니다. 쭉 진행하여 설치를 완료 하게 되면 설치가 완..