오늘도, 코드더하기

[PostgreSQL] Vector Search를 위한 인덱스 타입 비교 (HNSW vs IVFFlat)

크라우니 — Thu, 14 Nov 2024 21:35:46 +0900

서론

안녕하세요! 요즘 AI 시대를 맞이하여 벡터 검색(Vector Search)이 정말 핫한데요. PostgreSQL에서도 pgvector 확장을 통해 벡터 검색을 지원하고 있습니다. 오늘은 벡터 검색에 사용되는 두 가지 주요 인덱스 타입인 HNSW와 IVFFlat에 대해 알아보겠습니다.

무엇이 다를까?

우선 두 인덱스의 주요 특징을 간단히 비교해볼까요?

HNSW (Hierarchical Navigable Small World)

그래프 기반 인덱스
빠른 검색 속도
더 많은 메모리 사용
인덱스 생성이 더 오래 걸림

IVFFlat (Inverted File Flat)

클러스터 기반 인덱스
적은 메모리 사용
빠른 인덱스 생성
HNSW보다는 조금 느린 검색 속도

실제 사용 예제

간단한 예제로 두 인덱스의 사용법을 살펴보겠습니다.

-- pgvector 확장 설치
CREATE EXTENSION vector;

-- 테스트용 테이블 생성
CREATE TABLE documents (
    id SERIAL PRIMARY KEY,
    content TEXT,
    embedding vector(1536)  -- OpenAI의 embedding 차원
);

-- HNSW 인덱스 생성
CREATE INDEX hnsw_idx ON documents 
USING hnsw (embedding vector_cosine_ops)
WITH (m = 16, ef_construction = 64);

-- IVFFlat 인덱스 생성
CREATE INDEX ivf_idx ON documents 
USING ivfflat (embedding vector_cosine_ops)
WITH (lists = 100);

각 인덱스의 동작 원리

HNSW의 동작 방식

-- HNSW 검색 예제
SELECT content, 
       1 - (embedding <=> '[vector_values]') as similarity
FROM documents
ORDER BY embedding <=> '[vector_values]'
LIMIT 5;

HNSW는 다음과 같이 동작합니다:

계층적 그래프 구조 생성
상위 레이어에서 하위 레이어로 이동하며 검색
각 노드는 이웃 노드들과 연결

주요 파라미터:

m: 노드당 최대 이웃 수
ef_construction: 인덱스 생성 시 정확도

IVFFlat의 동작 방식

-- IVFFlat 검색 예제
SET ivfflat.probes = 10;  -- 검색할 클러스터 수 설정

SELECT content, 
       1 - (embedding <=> '[vector_values]') as similarity
FROM documents
ORDER BY embedding <=> '[vector_values]'
LIMIT 5;

IVFFlat은 다음과 같이 동작합니다:

데이터를 여러 클러스터로 분할
쿼리 벡터와 가장 가까운 클러스터 선택
선택된 클러스터 내에서 검색

주요 파라미터:

lists: 클러스터 수
probes: 검색할 클러스터 수

성능 비교

간단한 벤치마크 결과를 보여드리겠습니다:

-- 100만 개의 벡터에 대한 검색 성능 테스트
EXPLAIN ANALYZE
SELECT id, 1 - (embedding <=> '[vector_values]') as similarity
FROM documents
ORDER BY embedding <=> '[vector_values]'
LIMIT 10;

일반적인 성능 특성

검색 시간
- HNSW: ~5-10ms
- IVFFlat: ~20-30ms
메모리 사용량
- HNSW: 원본 데이터의 약 50-100%
- IVFFlat: 원본 데이터의 약 20-30%

어떤 상황에서 어떤 인덱스를 선택할까?

HNSW 선택 시기

검색 속도가 최우선일 때
메모리 자원이 충분할 때
높은 정확도가 필요할 때
실시간 검색이 필요할 때

IVFFlat 선택 시기

메모리 사용량이 중요할 때
빠른 인덱스 생성이 필요할 때
약간의 검색 시간 증가를 감수할 수 있을 때
대규모 데이터셋을 다룰 때

주의할 점

인덱스 생성 시간 고려하기
메모리 사용량 모니터링하기
정기적인 VACUUM ANALYZE 실행하기
적절한 파라미터 튜닝하기

마치며

저는 실제로 두 인덱스를 모두 적용한뒤 RAG 평가 도구를 사용해서 실제 검증후 사용하고 있습니다. 여러분도 적용과 함깨 RAG를 테스트하여 각 어플리케이션에 맞는 인덱스 선택이 필요하다고 생각합니다!

다음에는 벡터 검색의 성능 최적화 팁에 대해 다뤄보도록 하겠습니다. 감사합니다!

[PostgreSQL] 인덱스(Index)의 기초 이해하기

크라우니 — Thu, 14 Nov 2024 21:30:01 +0900

서론

안녕하세요! 오늘은 PostgreSQL에서 매우 중요한 개념인 인덱스(Index)에 대해 알아보려고 합니다. 데이터베이스 성능 최적화에 있어 인덱스는 정말 중요한 요소인데요, 어떤 경우에 필요하고 어떻게 동작하는지 자세히 살펴보겠습니다.

1. 인덱스의 필요성

책을 읽을 때 목차가 없다고 상상해보세요. 특정 내용을 찾으려면 처음부터 끝까지 다 훑어봐야 하겠죠? 데이터베이스도 마찬가지입니다.

인덱스가 없을 때의 문제점

-- 인덱스가 없는 상황에서의 검색
SELECT * FROM users WHERE email = 'user@example.com';

이 쿼리는 테이블의 모든 row를 확인해야 합니다(Full Table Scan). 데이터가 많아질수록 성능은 급격히 저하됩니다.

인덱스의 장점

검색 속도 향상
ORDER BY 연산 최적화
중복 값 제어 (UNIQUE 인덱스의 경우)

2. 인덱스의 종류

PostgreSQL은 다양한 종류의 인덱스를 제공합니다.

B-tree 인덱스

가장 일반적으로 사용되는 인덱스입니다.

-- 기본 B-tree 인덱스 생성
CREATE INDEX idx_user_email ON users(email);

Hash 인덱스

동등 비교(=)에만 사용됩니다.

-- Hash 인덱스 생성
CREATE INDEX idx_user_id_hash ON users USING HASH (user_id);

GiST 인덱스

지리 데이터나 기하 데이터에 적합합니다.

-- GiST 인덱스 생성 예시
CREATE INDEX idx_location ON cities USING GIST (location);

GIN 인덱스

배열이나 전문 검색에 사용됩니다.

-- 전문 검색을 위한 GIN 인덱스
CREATE INDEX idx_document_text ON documents USING GIN (to_tsvector('english', content));

3. 인덱스 동작 원리

기본 동작 방식

-- 예시 테이블
CREATE TABLE users (
    id SERIAL PRIMARY KEY,
    email VARCHAR(255),
    name VARCHAR(100)
);

-- 인덱스 생성
CREATE INDEX idx_user_email ON users(email);

인덱스는 다음과 같은 과정으로 동작합니다:

인덱스 생성 시
- 지정된 컬럼의 값들을 정렬
- 정렬된 값과 실제 레코드의 위치 정보를 저장
쿼리 실행 시
- 인덱스에서 'test@example.com' 값을 검색
- 해당 값의 위치 정보를 사용해 실제 레코드 접근
SELECT * FROM users WHERE email = 'test@example.com';

실행 계획으로 확인하기

EXPLAIN ANALYZE
SELECT * FROM users WHERE email = 'test@example.com';

Index Scan using idx_user_email on users
  Index Cond: (email = 'test@example.com'::text)
  ...

주의할 점

인덱스도 공짜가 아닙니다
- 저장 공간을 차지합니다
- INSERT, UPDATE, DELETE 시 추가 작업이 필요합니다
모든 컬럼에 인덱스를 생성하는 것은 좋지 않습니다
- 데이터 변경이 자주 일어나는 컬럼
- 선택도(Selectivity)가 낮은 컬럼
정기적인 관리가 필요합니다
```sql

-- 인덱스 재구축
REINDEX INDEX idx_user_email;

-- 사용되지 않는 인덱스 확인
SELECT * FROM pg_stat_user_indexes;

```

마치며

인덱스는 데이터베이스 성능 최적화의 핵심입니다. 하지만 무조건 많이 만든다고 좋은 것이 아니라, 적절한 상황에 적절한 타입의 인덱스를 사용하는 것이 중요합니다. 특히 프로덕션 환경에서는 인덱스 생성 전에 항상 실행 계획을 확인하고, 성능 테스트를 해보는 것이 좋습니다.

다음에는 조금 다른 종류의 인덱스에 대해 다뤄보도록 하겠습니다. 감사합니다!

[Python] URL 라이브러리 403 에러 해결하기 (urllib/requests)

크라우니 — Thu, 14 Nov 2024 21:26:06 +0900

서론

안녕하세요! 오늘은 웹 크롤링을 하다 보면 자주 마주치게 되는 403 에러에 대해 이야기해보려고 합니다. 특히 Python의 urllib이나 requests를 사용할 때 자주 발생하는데요, 이 문제를 어떻게 해결할 수 있는지 알아보겠습니다.

무엇이 문제일까?

403 에러가 발생하는 주된 이유는 웹사이트에서 봇이나 자동화된 접근을 차단하기 때문입니다. 특히 다음과 같은 경우에 자주 발생합니다:

기본 헤더로만 접근할 때
접근 패턴이 봇처럼 보일 때
특정 라이브러리의 시그니처가 감지될 때

해결 방법 살펴보기

1. 다양한 헤더 시도하기

import requests

# 여러 가지 헤더를 준비
headers_1 = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}

headers_2 = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.0 Safari/605.1.15'
}

try:
    # 첫 번째 헤더로 시도
    response = requests.get('https://example.com', headers=headers_1)
    print("성공!")
except:
    # 실패하면 두 번째 헤더로 시도
    response = requests.get('https://example.com', headers=headers_2)

2. 가짜 헤더 생성하기

import random

# User-Agent 목록
user_agents = [
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) ...',
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) ...',
    'Mozilla/5.0 (iPad; CPU OS 12_2 like Mac OS X) ...'
]

headers = {
    'User-Agent': random.choice(user_agents),
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
    'Accept-Language': 'ko-KR,ko;q=0.8,en-US;q=0.5,en;q=0.3',
}

3. 동적 크롤링 시도하기

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# Selenium 설정
chrome_options = Options()
chrome_options.add_argument('--headless')  # 헤드리스 모드
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')

# 브라우저 실행
driver = webdriver.Chrome(options=chrome_options)
driver.get('https://example.com')

# 페이지 내용 가져오기
content = driver.page_source
driver.quit()

4. HTML 직접 파싱하기 (마지막 수단)

from bs4 import BeautifulSoup

# HTML 문자열 (직접 브라우저에서 복사한 HTML)
html_content = """
<html>
    <body>
        <div class="content">
            원하는 내용
        </div>
    </body>
</html>
"""

# BeautifulSoup으로 파싱
soup = BeautifulSoup(html_content, 'html.parser')
content = soup.find('div', class_='content')

주의할 점

웹사이트의 robots.txt를 반드시 확인하세요.
과도한 요청은 피해야 합니다.
웹사이트의 이용약관을 확인하세요.
필요한 경우 해당 웹사이트 관리자에게 허가를 받으세요.

마치며

403 에러는 크롤링을 하다 보면 정말 자주 마주치게 되는 문제인데요, 위의 방법들을 순차적으로 시도해보면 대부분의 경우 해결할 수 있습니다. 다만, 웹사이트의 정책과 규칙을 준수하면서 크롤링하는 것이 중요합니다.

다음에는 또 다른 크롤링 팁으로 찾아뵙도록 하겠습니다. 감사합니다!

[Langchain] Passthrough를 활용한 간단한 Chain 구성하기

크라우니 — Thu, 14 Nov 2024 21:22:40 +0900

서론

안녕하세요! 오늘은 Langchain에서 Chain을 구성할 때 자주 사용되는 Passthrough에 대해서 알아보려고 합니다. 특히 LCEL(Langchain Expression Language)에서 많이 활용되는 기능인데요, 이름 그대로 데이터를 '통과'시키는 역할을 하지만 생각보다 활용도가 높답니다.

무엇이 좋을까?

Passthrough는 다음과 같은 장점이 있습니다:

Chain 구성을 단순화할 수 있습니다.
입력 데이터를 그대로 전달하면서도 추가적인 처리가 가능합니다.
다른 Chain들과 조합하기 쉽습니다.

코드로 살펴보기

간단한 예제 코드로 살펴보겠습니다.

from langchain.chat_models import ChatOpenAI
from langchain.schema.runnable import RunnablePassthrough
from langchain.prompts import ChatPromptTemplate

# LLM 모델 설정
llm = ChatOpenAI()

# 프롬프트 템플릿 생성
prompt = ChatPromptTemplate.from_template("""
다음 주제에 대해 설명해주세요: {topic}
추가 컨텍스트: {context}
""")

# Passthrough를 활용한 Chain 구성
chain = (
    {
        "topic": RunnablePassthrough(),
        "context": lambda x: f"이 주제는 {x}와 관련이 있습니다."
    }
    | prompt
    | llm
)

# 실행
response = chain.invoke("파이썬 비동기 프로그래밍")
print(response)

실행 결과
AIMessage(content='파이썬 비동기 프로그래밍은 동시성 프로그래밍을 구현하는 중요한 방법입니다. 이는 I/O 바운드 작업을 효율적으로 처리할 수 있게 해주며, async/await 키워드를 통해 직관적인 코드 작성이 가능합니다...')

주의할 점

Passthrough는 단순히 데이터를 전달하는 것처럼 보이지만, Chain 구성에서 중요한 역할을 합니다.
데이터 형식을 잘 맞춰줘야 합니다. 특히 딕셔너리 형태로 전달할 때 키값을 잘 확인해야 합니다.
람다 함수와 함께 사용할 때는 입력값의 타입을 잘 확인해야 합니다.

마치며

Passthrough는 정말 단순한 기능이지만, 이를 잘 활용하면 복잡한 Chain도 깔끔하게 구성할 수 있습니다. 저도 처음에는 단순히 '통과'시키는 용도로만 생각했는데, 실제로 사용해보니 다양한 활용이 가능하더라구요. 특히 LCEL과 함께 사용하면 더욱 강력한 기능을 발휘할 수 있습니다. 여러분도 한번 시도해보시는 건 어떨까요?

다음에는 더 심화된 내용으로 찾아뵙도록 하겠습니다. 감사합니다!

[Langchain] FastAPI에서 LLM Agent를 활용한 Response Streaming

크라우니 — Thu, 31 Oct 2024 23:33:50 +0900

서론

저번에 한번 같은 글을 올렸었는데요 그것보다 훨씬 더 간편하고 성능적으로 개선된 방법을 설명해 볼까 합니다.

기존글은 이거예요!

https://todaycodeplus.tistory.com/70

[Langchain] Langserve에서 LLM Agent를 활용한 Response Streaming

기존에 LCEL기반의 LLM pipeline에서 Agent를 활용하는 방식으로 전환을 하고 있었습니다. 그 이유는 아래와 같습니다.1. Retriever를 구조화하여 사용하기 힘들다.2. 복잡한 형태, 크로스 도매인을 가진

todaycodeplus.tistory.com

무엇이 바뀌었을까?

우선 기존에는 방식이 다음과 같았습니다.

Agent가 결과물을 생성하는 과정에서 LLM모델의 Output에서 생성되는 Token을 Callback으로 인식합니다.
Callback으로 들어온 Token을 Async Queue에 담습니다.
Async Queue에 담긴 Token들을 비동기로 Generator를 사용해서 Output을 냅니다.

이 방식에는 좀 문제가 있었는데, 우선 복잡도가.. Agent의 답변을 내리는 것도 아니고 LLM에서 생성하는 모든 Token을 내립니다. 그런데 이제 Async queue를 곁들여서 그래서 Callback을 한번 거쳐 나가다 보니, 좀 복잡합니다. (위에 글을 보시면 복잡하다는 게 확 느껴질 겁니다.)

그래서 이것을 단순화시키고자 Callback을 제거하고, Langchain의 Runnable객체로 생성된 Chain이라면 가지고 있는 astream_events 메서드를 사용하기로 했습니다. 그리고 방식은 기존과 같이 SSE를 async generator를 사용해서 구현했습니다.

코드 설명

이 방법은 다른 구현체가 필요 없습니다. 기존에는 Custom Callback 같은 녀석을 만들어줄 필요가 없는 거죠 다만 이미 짜인 데이터를 내려받다 보니, 내려오는 데이터의 구조가 좀 복잡 시럽 다는 것만 빼면요

@app.post("/chat")
async def stream_agent(input_data: QuestionInput):
    try:
        logger.info(f"Received question: {input_data.question}")
        logger.info(f"Chat history length: {len(input_data.chat_history)}")

        question_data = {
            "chat_history": input_data.chat_history,
            "question": input_data.question
        }

        async def generate():
            try:
                async for event in agent_pipeline.astream_events(question_data, config={"callbacks": [langfuse_handler]}, version="v2"):
                    output_data = event["data"]
                    if "chunk" in output_data.keys():
                        if isinstance(output_data["chunk"], AIMessageChunk):
                            yield f'data: {json.dumps({"token": output_data["chunk"].__dict__["content"]})}\n\n'

            except Exception as e:
                yield f"data: {json.dumps({'error': str(e)})}\n\n"

            finally:
                yield "data: [DONE]\n\n"

        logger.info("run_agent completed")
        return StreamingResponse(generate(), media_type="text/event-stream")
    except Exception as e:
        raise HTTPException(status_code=500, detail=str(e))

오우 많이 간단해졌죠?

다만 주의할 점이 있습니다.

내려오는 데이터 구조가 복잡합니다. 단순하지 않고 객체 형태로 내려오는 데이터도 있기 때문에 원하는 데이터를 저보다 더 거르고 싶다면 if문의 분기를 피할 수 없을 것 같습니다.
에러 처리가 좀 복잡합니다. 어떻게 에러를 처리할 것인가에 대해서 고민을 더 해봐야 합니다.

그러나 이런 단점을 상쇄할 만큼 확실히 코드 가독성 측면에서도, queue를 한 번 더 거치지 않아도 돼서 성능면에서도 더 뛰어나기 때문에 훨씬 나아졌습니다!

마치며

제가 얼마나 기본기가 없었는지 깨달은 내용입니다. 전반적인 비동기 처리에 대한 지식이나, python generator의 구동방식 Langchain을 활용하는 방법까지 단순히 땜빵식이 아니라 더 깊게, 더 치열하게 생각하고 고민해야지만 한다는 생각을 더 하게 됩니다.

[후기] SPH - Google Maps 모빌리티 비즈니스 웨비나 발표

크라우니 — Thu, 31 Oct 2024 23:16:28 +0900

발표는 어떻게 하게 됐을까?

해당 세션의 발표는 비즈니스 세션으로 업계의 동향이나, 우리 회사가 집중하고 있는 영역에 대해서 설명하는 세션이었습니다. 3월부터는 개발 부서에서 팀을 이전하여 사업전략에서 데이터 업무를 이어나가고 있었는데, 마침 동료분으로부터 해당 발표를 소개받았습니다. 원래는 다른 분이 예정돼 있었으나, 갑작스러운 출장 일정으로 인하여 제게 인계 됐습니다.

비즈니스 세션인데 부담되지 않았을까?

사실 엄청 부담 됐습니다. 자료를 구성하는 단계부터 회사의 모빌리티 서비스의 비즈니스 방향성이나, 회사 자체의 생각 등을 어느 정도 머릿속에 그리고 있어야했습니다. 그리고 개발자로서 비즈니스 세션을 발표하는 것이 아무래도 깊이 있는 발표가 되지 않을 수 있다는 생각에 부담도 많이 돼서 걱정이 아주 아주 많았었습니다.

발표 준비

어느정도 발표의 가이드라인이 주어졌는데요, 모빌리티 사업의 동향을 우리 회사의 관점에서 해석하는 파트와 -> 그래서 우리는 지금 어떤 일을 하고 어떤 미래를 그리고 있는지 -> 그래서 현재 어떤 제품으로 시장에 접근하고 있는지 순서로 발표를 구성했습니다. 그러다 보니 자연스럽게 큰 주제로 연결됐고 마침 다행히도 회사의 제품들이 이런 큰 주제들과 연관이 있어 자료를 쭉 작성하게 됐습니다.

첫 프로토 타입의 문서를 만들고 전체적인 피드백을 거치고 다시 장표의 순서를 바꾸고 내용을 수정하는 작업을 거쳐서 자료가 잘 완성 됐는데 외부 발표로서는 처음이다 보니, 굉장히 세심하게 신경 써서 만들었던 것 같습니다.

발표 자료 내용

전반적으로 메시지를 강조하고, 20분 정도의 발표시간을 고려하여 어느 정도 읽을 수 있는 글을 첨부하여 각 슬라이드에 의미를 함축적으로 담았습니다.

발표 당일

발표 당일 오전에 리허설을 통해서 웨비나 환경에 대한 적응을 할 수 있도록 안내해 주셔서 오전에 리허설 통해서 최종 시간 점검 및 음성 영상 점검 모두 잘 마쳤었고, 리허설을 할 당시까지만 해도 어느 정도의 사람이 들어올지 전혀 알 수 없었습니다. 발표를 시작하니 60명 정도가 참석하여 내용을 들어주셨더라고요

발표 자체는 발표 준비를 열심히 했다고 생각했고, 웨비나 특성상 발표 자료의 발표자 슬라이드를 통해서 어느 정도의 발표 가닥을 미리 적어두었어서 발표 자체는 크게 어려움 없이 진행했습니다. 그것보다.. 소개해주신 SPH담당자님이 엄청 거창하게 귀한 손님으로 포장해 주셔서 그게 조금 부담을 유발하지 않았나 (ㅋㅋ).

발표 후기

첫 외부 발표를 준비하다 보니 자료나 발표내용에 집중을 해서 발표 자체는 깔끔하게 진행됐습니다. 그런데... 문제가 하나 있었죠 발표 후 질문받을 생각을 전혀 하지 않았다는 거죠.. 몇몇 질문에는 내용 이외에 더 딥한 부분에 질문이었는데, 아무래도 전략팀원이지만 깊은 전략에 대한 완벽한 이해가 없는 저로서 함부로 답변드릴 수 없다 보니. 답변이 좀 어눌했던 것 같습니다.

다음 발표를 하게 된다면! 질문까지 고려해서 발표자료를 작성할 것, 그리고 질문을 받을 것을 생각해서 전체적인 이해도를 더 높일 것 같은 내용들을 깨달은 발표였습니다.

발표 영상 및 기사

유튜브

https://youtu.be/JCcphCgYijc?si=ouyJ6LvVtjZcBX0V

매일신문 기사

https://naver.me/xa5I4q2g

SPH, ‘구글 지도를 이용한 모빌리티 비즈니스 전략’ 웨비나 성료

구글맵스 플랫폼 프리미어 파트너사 에스피에이치(SPH, 대표: 소광진)가 지난 15일 ‘구글 지도를 이용한 비즈니스 전략’ 웨비나를 성료했다고 밝혔다. 3회차를 맞은 이번 웨비나는 국내외 모빌

n.news.naver.com

[후기] 우아콘 이그나이트 세션 발표 참여

크라우니 — Thu, 31 Oct 2024 22:55:29 +0900

어떻게 신청하게 됐을까?

최근에 LLM을 활용한 전기차 정보 제공 서비스를 만들고 있는데, 동료 PM으로부터 메시지를 받았습니다. 우아콘을 10월 30일 날 진행하니 신청해 보라는 것이었고, 내부 내용을 살펴보니 이번에는 참여형 세션이라고 해서 외부 인물도 발표를 할 수 있는 세션이 있다는 것을 알게 됐습니다. 그래서 고민 한.. 0.1 그람쯤 하고, 설마 되겠어라는 생각으로 작성한 참가 신청을 했습니다.

참여 확정 안내

참여 확정 메일

우아콘 페이지 업데이트

와.. 정말 돼버렸네, 저는 이 메일을 처음 받았을 때 약간 인지부조화가 와서, 멍~ 했었는데요.. 내가 어찌 됐든 콘퍼런스 참가자로 발표도 하고 뭔가.. 이상한 기분이 들었습니다.

자료 준비 과정

어떤 발표를 할까 정말 고민이 많이 됐습니다. 발표 시간은 각자 5분 정도로 매우 짧았기 때문에, 어떤 주제를 선택할까 그리고 어떻게 풀어나갈까 고민이 참 많이 됐습니다. 우선 신청을 하면서 앱에 LLM을 탑재하면서 겪었던 문제점을 해결한 과정을 공유하고 싶다고 신청했기 때문에 방향을 "문제 해결을 한 과정"으로 좁히고, 최근에 Token 비용을 줄이고, 성능 개선을 했던 사례를 소개하기로 결심했습니다.

그렇게 선정된 제목은 바로.. "더 나은 AI를 위하여! 문서 압축부터 성능 개선까지" 제목에서 알 수 있듯 LLM에 주는 문서를 압축하여 성능을 개선했던 후기를 작성했습니다.

우선 회사 템플릿을 찾고.. 간단하고 빠른 발표이니만큼 글을 많이 채우기보다 아이코닉한 형태의 PPT를 만들고 싶었고, 그래서 아래와 같은 PPT가 탄생했습니다.

발표 문서 일부

발표 당일

평소에 긴장이랑 거리가 먼 사람이라고 항상 생각하는데, 나이를 먹어서인지(나이 탓 좀 하고 싶었습니다.) 심장이 뛰고 그런 상태가 됐습니다. 같이 발표를 하는 분들이 모두 재미있는 주제를 들고 오셔서 더 긴장됐던 것 같습니다. 뭔가 제 내용은 업무적인 심각한 내용 같아 보였거든요. 저는 3번째 차례로 발표하게 됐고, 모쪼록 발표는 잘 마쳤습니다! 발표는 말하고자 하는 내용은 모두 잘 전달했다고 생각하는데, 긴장을 했는지 말을 엄청 빨리 한 것 같아요.. 그래서 그런가 장표가 2장 남았는데 1분 20초나 남았더라고요.

그래도 들어주신 분들이 모두 끄덕끄덕 내용에 공감하는듯한 분위기여서, 제가 사용했던 방법론을 누군가 사용해 볼 수 있겠구나 싶었습니다. 내용 자체는 짧았지만 저 고민을 할 당시에는 너무 고민이 많았고, 문서 압축을 위한 프롬프트 작성이 생각보다 노가다였어서 이렇게 발표로 결실을 맺게 되어 너무 기쁜 마음으로 발표를 마쳤습니다.

마치며

발표를 하는 것은 여유와의 싸움인 것 같습니다. 이번 발표를 하면서 아쉬웠던 점이 여유롭게 재미있게 발표하지 못한 것입니다. 생각을 해보니, 발표자가 어느 정도 여유로워야 청중에게 들리기도 훨씬 좋을 것 같았습니다. 앞으로 또 발표할 기회가 온다면 조금 더 여유롭게 발표를 즐기며 해볼 수 있는 기회가 또 있겠.. 죠?

[LLM] Semantic Search를 위한 Langchain Custom Retriever 구현하기

크라우니 — Thu, 5 Sep 2024 23:27:14 +0900

안녕하세요 오늘은 Langchain에서 Custom Retriever를 구현하는 방법을 소개해볼까 합니다.

가끔 이런 경우가 생깁니다.

1. 아 뭔가 Retriever에서 데이터가 출력되기 전에 ReRank를 사용하고 나온다면 어떨가?

2. 어? 뭐야 이건 Retriever가 없네? Langchain_community 라이브러리를 뒤져봐도 내가 원하는 Retriever가 없는경우 (제가 못찾았을 수 있습니다.. 머쓱..)

3. 데이터가 Retriever에서 필터를 가지거나, Similarity Search가 되기전 뭔가 처리를 했으면 좋겠다거나..

이런 이유로 기존에 Langchain에서 제공되던 Retriever를 수정하여 사용 할 수 있습니다.

1. Base Retriever에서 중요한 매서드들

[API 문서]

https://api.python.langchain.com/en/latest/retrievers/langchain_core.retrievers.BaseRetriever.html

위 문서를 보면 기본적으로 Base Retriever가 어떤 구조를 가지고 있는지 알 수 있습니다. 이중에서 우리가 중요하게 생각해야하는 매서드는 아래와 같습니다.

1. invoke 매서드와 ainvoke 매서드

이 매서드는 기본적으로 as_retriever를 사용하게 되어 Retriever의 형태를 갖추면 사용할 수 있습니다. 이 매서드는 여기뿐 아니라 langchain에서 는 Chain이 생성되고도 사용합니다. 주로 어떤 입력값을 받아 LLM또는 Retriever의 값을 Return 해줍니다.

2. get_relevant_documents 매서드와 aget_relevant_documents 매서드

이 매서드들은 invoke가 실행될 때 실제로 이 매서드가 실행 됩니다. 이 매서드는 인자 값을 살펴 보면 주로 Query, tag, **kwargs 등을 받습니다. 이 값들은 검색에 필요한 쿼리와 Search option을 제공하기 위함입니다.

사실 이 두개만 알면 어느정도 소화가 가능합니다. ((왜냐하면 오늘은 조회를 목적으로한 Custom Retriever를 소개할 예정입니다. 만약 문서 추가까지 필요한 상황이라면, add_document 매서드 까지 손봐야합니다.))

좋습니다. 이제 본격적으로 수정에 돌입해 봅시다.

2. Custom Retriever 구현

기본적으로 Class로 구성되며 위에서 언급한 BaseRetriever를 상속받아 Class가 구성됩니다. 그래서 기본적인 골조를 모두 가져온 상태에서 내가 필요한 값을 init에 받고, 실제로 조회가 이루어지는 get_relevant_documents를 수정하여 사용가능한 형태로 가공합니다.

이번 예제는 이전시간에 다루었던 OpenSearch의 Lexical Search를 위한 데이터 검색 Class를 만들겠습니다.

class OpenSearchBM25Retriever(BaseRetriever):
    """OpenSearch retriever that uses BM25."""

    client: Any
    """OpenSearch client."""
    index_name: str
    """Name of the index to use in OpenSearch."""
    search_size: int
    """Search data size to use in OpenSearch."""

    def _get_relevant_documents(
        self, query: str, *, run_manager: CallbackManagerForRetrieverRun
    ) -> List[Document]:
        query_dict = {"query": {"match": {"text": query}}, "size": self.search_size}
        res = self.client.search(index=self.index_name, body=query_dict)

        docs = []
        for r in res["hits"]["hits"]:
            docs.append(Document(page_content=r["_source"]["text"], metadata=r["_source"]["metadata"]))
        return docs

코드가 매우 간결하죠? 왜냐하면 1번에서 언급한 내용처럼 add_document에 대한 내용이 전부 빠져있기 때문입니다. 단순히 조회를 위한 Custom은 간단합니다. 만약 Client를 생성하는 방법을 알고 싶다면 이전글을 참고하세요!

https://todaycodeplus.tistory.com/74

[LLM] OpenSearch - VectorStore로 써보기

안녕하세요 오늘은 Vector Store로 많이 쓰이는 OpenSearch를 가져와 봤습니다. Elastic Search를 Fork해서 사용하는만큼 Elastic Search와 유사한점도 그리고 다른점도 있습니다. 하지만 오늘은 이 차이점을 설

todaycodeplus.tistory.com

조금 설명해볼까요?

1. BaseRetriever를 상속받아 Class OpenSearchBM25Retriever를 열어줍니다.

2. init인자로 (client, index_name, search_size)를 받아줍니다.

- 각각 OpenSearch Client, 조회할 index 이름, Score로 정렬된 값에서 상위 몇개를 가져올 것인지 결정하는 값입니다.

3. _get_relevant_documents 매서드를 구현합니다.

내부에 들어있는 로직은 이전글에서 BM25를 조회할 때 썻던 로직을 그대로 가져다 썼습니다.

4. 이렇게 구성하고 Retriever를 생성하면 BaseRetriver가 가지고 있던 invoke를 사용할 수 있고 이 매서드가 내부에서 사용하는 _get_relevant_documents 매서드는 우리가 작성한 매서드를 사용하게 되어 원하는 로직대로 동작하게 됩니다.

3. 마치며

생각보다 너무 간단해서 놀라시진 않았는가 싶습니다.문서를 꼼꼼히 읽어보시면 금방 만드실 수 있는 부분이고 Langchain을 더 잘 사용하는데 도움이 됐으면 좋겠습니다.

다음글은 RAG의 LLM기반 성능평가 진행을 해보려고 합니다. 이미 진행하고 있는데, 아직 모듈화가 좀 덜 되어서 공개가좀 어려워서 모듈화를 좀더 마치고, 바로 사용가능한 형태로 해보려고 합니다. Git에 업로드하여 누구나 사용할 수 있도록 Open 하면 좋을것 같아서요

다음 글에서 만나요!

[LLM] OpenSearch - VectorStore로 써보기

크라우니 — Wed, 4 Sep 2024 21:39:17 +0900

안녕하세요 오늘은 Vector Store로 많이 쓰이는 OpenSearch를 가져와 봤습니다. Elastic Search를 Fork해서 사용하는만큼 Elastic Search와 유사한점도 그리고 다른점도 있습니다. 하지만 오늘은 이 차이점을 설명하는 자리는 아니라 이만 줄이고, 이제 Vector Store로서 장/단점을 그리고 간단할 설치와 Langchain에서 사용까지 알아볼까 합니다.

1. OpenSearch의 장점과 단점

- 첫번째 장점

그건 바로 최근 아주 관심을 많이 받고 있는 RAG중에서도 Full Text Search (Lexical Search)를 Simillerity Search(Semantic Search)와 같이 쓸 수 있단 점 입니다. 성능이 좋은 다른 DB도 많지만. 기본적으로 이 둘을 지원하면서 다른 여러가지 방법의 Sementic Search를 손쉽게 "무료로" 지원하는 DB는 많지 않습니다.

- 두번째 장점

그건 바로 익숙함 인데요, 이 부분은 공감이 잘 안되실 수 있겠지만.. 데이터 엔지니어로 일하고 있는 제 입장에서는 ES는 아주 소중한 로그 저장소중 하나입니다. 그래서 자주 써보았기 때문에 아주 손쉽게 잘 사용할 수 있다. Index나 검색 방법 Client를 사용한 데이터 조회까지 불편함 없이 사용이 가능합니다.

- 첫번째 단점

운영이 쉽지 않다. 입니다. 왜냐하면 OpenSearch는 일단 성능을 유지하기 위한 비용이 많이 들어가고, 이 도구를 유지하기 위해서는 어딘가에 Build 하여 사용해야 하는데, 이런 버전관리며.. Storage 관리며.. 여러가지 관리가 쉽지 않습니다. 단.. 이건 AWS의 OpenSearch SaaS버전을 사용하게 되면 많이 줄어듭니다.

- 두번째 단점

관리와 별개로 Vector Search로만 쓰기는 너무 아깝다.. 성능을 더 높혀서 로그 저장과 같이 쓸거냐? 그러면... 로그가 쏟아져 들어오고 조회해가는 그 Resource사용과 Vector Search를 같이 사용하며 안정성에 문제가 될 수도 있고.. 여러가지 이슈로 병합하여 사용하기 쉽지 않은데... 그렇다고 단일로 쓰기는 좀 아까운?? (물론 RAG에 집어넣어야 할 문서가 엄청 많다면 얘기가 다릅니다.) 이건 어디까지나 개인적 단점입니다.

2. OpenSearch Test용 Install

OpenSearch를 빌드하여 운영 용도로 사용하고 싶으신 분은 이 글을 참고만 해주세요, 이 글은 단순 Test용 OpenSearch 구현을 목적으로 합니다.

우선 저는 Docker-compose를 선택했습니다.

여기서 가장 중요하게 보셔야할 부분은 OPENSEARCH_INITIAL_ADMIN_PASSWORD입니다. 이 값에 여러분이 설정하고자 하는 초기 비밀번호를 넣어주시면

ID : admin

PASSWD : 여러분이 넣은 passwd로 접속 할 수 있습니다.

version: '3'
services:
  opensearch-node1:
    image: opensearchproject/opensearch:latest
    container_name: opensearch-node1
    environment:
      - cluster.name=opensearch-cluster
      - node.name=opensearch-node1
      - discovery.seed_hosts=opensearch-node1,opensearch-node2
      - cluster.initial_master_nodes=opensearch-node1,opensearch-node2
      - bootstrap.memory_lock=true # along with the memlock settings below, disables swapping
      - "OPENSEARCH_JAVA_OPTS=-Xms512m -Xmx512m" # minimum and maximum Java heap size, recommend setting both to 50% of system RAM
      - "OPENSEARCH_INITIAL_ADMIN_PASSWORD=YourTestPasswd123!"
    ulimits:
      memlock:
        soft: -1
        hard: -1
      nofile:
        soft: 65536 # maximum number of open files for the OpenSearch user, set to at least 65536 on modern systems
        hard: 65536
    volumes:
      - opensearch-data1:/usr/share/opensearch/data
    ports:
      - 9200:9200
      - 9600:9600 # required for Performance Analyzer
    networks:
      - opensearch-net
  opensearch-node2:
    image: opensearchproject/opensearch:latest
    container_name: opensearch-node2
    environment:
      - cluster.name=opensearch-cluster
      - node.name=opensearch-node2
      - discovery.seed_hosts=opensearch-node1,opensearch-node2
      - cluster.initial_master_nodes=opensearch-node1,opensearch-node2
      - bootstrap.memory_lock=true
      - "OPENSEARCH_JAVA_OPTS=-Xms512m -Xmx512m"
      - "OPENSEARCH_INITIAL_ADMIN_PASSWORD=YourTestPasswd123!"
    ulimits:
      memlock:
        soft: -1
        hard: -1
      nofile:
        soft: 65536
        hard: 65536
    volumes:
      - opensearch-data2:/usr/share/opensearch/data
    networks:
      - opensearch-net
  opensearch-dashboards:
    image: opensearchproject/opensearch-dashboards:latest
    container_name: opensearch-dashboards
    ports:
      - 5601:5601
    expose:
      - "5601"
    environment:
      OPENSEARCH_HOSTS: '["https://opensearch-node1:9200","https://opensearch-node2:9200"]'
    networks:
      - opensearch-net

volumes:
  opensearch-data1:
  opensearch-data2:

networks:
  opensearch-net:

3. Dashboard 접속

실행된 Docker의 DashBoard의 주소 (아마도 localhost:5601)로 접속해보시면 다음과 같은 화면이 나오고 접속이 가능합니다.

auth page

index management

왼쪽 매뉴에 들어가서 index Management를 찾아주시고 들어갑니다. 그리고 다시 왼쪽의 매뉴를 보면 Index가 있습니다.

index menu

그럼 다음과 같은 index목록이 나타나고, 우측 상단에 create index를 눌러서 인덱스를 생성해 줍니다. 저는 이미 생성 했고, 제가 개발하고 있는 evpedia의 이름을 가진 index가 보이네요 ㅎㅎ

index list

4. Langchain으로 Document 전송하기

우선 Langchain을 사용할것이고 opensearch-py 라이브러리가 필요합니다. (Document Split 과정은 생략하겠습니다.)

주의해야할 점이 있는데.. 이건 Langchain의 OpenSearchVectorSearch 클래스의 큰 문제? 라고 생각하긴 하는데, 사실 기본적인 Vector저장을 위한 index를 만들기가 쉽지 않습니다. 그래서 아까 만들어둔 index를 그냥 우선 class에 기입하시구요..

해당 객체의 create_index를 통해서 index를 만들고 만들어진 index이름으로 다시 객채를 생성하거나 값을 변경하는것을 추천드립니다.

그러면 index가 vector search를 위한 값들로 생성이 됩니다.

from langchain.vectorstores import OpenSearchVectorSearch
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
from opensearchpy import OpenSearch, RequestsHttpConnection
from langchain_community.utilities.redis import get_client
from opensearchpy import OpenSearch
import pandas as pd
import time
from datetime import datetime

# embedding Function 생성
embeddings = OpenAIEmbeddings(
    api_key=OPENAI_API_KEY, 
    model="text-embedding-3-large",
    dimensions=1536,
    chunk_size=5000
)

# OpenSearch 연결 설정
host = 'localhost'  # OpenSearch 엔드포인트
port = 9200
auth = ('admin', 'YourOpensearchPasswd12!')  # 기본 인증 정보

# BM25 사용을 위한 Client 생성
client = OpenSearch(
    hosts = [{'host': host, 'port': port}],
    http_auth = auth,
    use_ssl = True,
    verify_certs = False,
    ssl_show_warn = False,
    connection_class = RequestsHttpConnection
)

# OpenSearchVectorSearch 초기화
vector_store = OpenSearchVectorSearch(
    index_name="test_evpedia",
    embedding_function=embeddings,
    opensearch_url="https://localhost:9200",
    http_auth=auth,
    use_ssl=True,
    verify_certs=False,
    ssl_show_warn=False
)

다음은 저는 기존에 사용하던 PgVector로 부터 데이터를 parquet으로 내려받아 놓은게 있는데요, 이 부분은 각자의 데이터를 가져와주시면 됩니다.

def parse_datetime(value):
    metadata = value.copy()
    metadata["create_date"] = metadata["create_date"][:10]

    return metadata

migration_df = pd.read_parquet("./migration_data.parquet", engine='pyarrow')
migration_df["cmetadata"] = migration_df["cmetadata"].apply(lambda x: parse_datetime(x))
print(f"Total load Data set: {len(migration_df)}")

docs = []
for _, data in migration_df.iterrows():
    docs.append(Document(page_content=data["document"], metadata=data["cmetadata"]))

print(docs[:5])
print(len(docs))

코드를 보셔서 아시겠지만. add_document 함수를 사용하기 위해서, docs 리스트 안에 Document 객체로 말아 넣고 있습니다.

그 다음 데이터를 업로드 해볼게요!

for i in range(200):
    input_docs = docs[i*100:(i+1)*100]
    print(f"문서 개수 {len(input_docs)}")
    if len(input_docs) == 0:
        break

    # 데이터 임베딩 및 인덱싱
    vector_store.add_documents(input_docs)
    
    print(f"Data embedded and indexed successfully Count: {i+1*100}.")

    time.sleep(10)

이렇게 분할하여 전송하는 이유는 제 GPT 레벨이 낮아서.. 한번에 많은 양의 데이터가 인코딩이 안됩니다. 그래서 100개씩 잘라서 넣어주고 있습니다.

이렇게 하면 데이터가 정상적으로 index안에 들어가있는 것은 dashboard 또는 조회를 통해서 알 수 있습니다.

5. Sementic Search

아주 간단합니다. 만들어둔 OpenSearchVectorSearch 객체에 as_retriever 매서드를 사용해 줍시다.

retriever = vector_store.as_retriever()
retriever.invoke("아이오닉 5를 구매할 때 알아야할 중요한 5가지 사항을 알려줘")

어? 그럼 BM25는 어떻게 쓰냐구요? 아쉽게도 OpenSearch는 BM25 Retriever를 직접 제공하지 않습니다. 여러분이 만들어 쓰셔야합니다. 거기에 사용되는 아주 중요한 부분은 바로 요고 입니다.

query_dict = {"query": {"match": {"text": query}}, "size": search_size}
res = client.search(index=self.index_name, body=query_dict)

아까 만들어둔 Client에 직접 조회해서 가져와야합니다..

우선 이정도로 마치고 다음번에는 Retriever를 직접 구현하는 세션을 가져볼까 합니다. 이런식으로 BM25를 따로 쓸 수 없잖아요?

간단하게 스포하면,

저는 지금 Multi Query Retriever와 ParentDocumentRetriever를 쓰고있는데요, Langchain이 v0.2에 들어오면서 LLM기반의 ReRaker를 지원하기 시작했고, 이것을 모두 하나의 Retriever의 get_relevant_documents에 섞어서 쓰고 있습니다. 조회 한번에

2개의 Retrieve와 ReRank까지 가능하죠

다음시간에 만나요우!!

[LLM] 프롬프트를 활용하며 느낀점 & 효과가 있던 방법 2편

크라우니 — Wed, 28 Aug 2024 22:36:11 +0900

지난번 소개드린 1편에 이어서 2편을 적어보려 합니다.
https://todaycodeplus.tistory.com/72

[LLM] 프롬프트를 활용하며 느낀점 & 효과가 있던 방법 1편

오늘은 프롬프트를 활용하며 느낀점을 한번 정리해보려고 합니다. 본격적으로 프롬프트를 활용해서 서비스를 개발하기 시작한것은 약 3개월 전 입니다. 그 당시 저는 프롬프트라곤 코드 작성

todaycodeplus.tistory.com

1. 구조화된 출력 (Structured output)

사실 지금은 크게 의미가 없을 수 있습니다. 왜냐하면 OpenAI에서 Structured Output을 지원하는 API를 제공하기 시작했기 때문이죠
https://platform.openai.com/docs/guides/structured-outputs

그러나 어떻게 하면 구조화된 출력을 만들수 있는지 알고 쓰는것과 모르고 딸깍하는것은 차이가 있다는 생각으로 글을 적어보도록 하겠습니다.

우선 첫번째로 할 것은 바로 Few-Shot Eng입니다. 프롬프트에 여러 예시를 통해 질문의 답변을 제어할 수 있는데요, 이것을 통해서 input과 output에 대한 예시를 주어 LLM의 답변 방향을 결정 할 수 있습니다.

1. Identify the language of the input question.
2. Determine if the question is requesting a translation.
3. The response must be in JSON format as shown in the examples.
4. If a translation is requested but no target language is specified, default to Korean.

Examples 1:
    Input: "안녕 반가워"
    Output:
    {{ 
    "language": "Korean",
    "translation_request": false,
    "translate_to": null 
    }}
Examples 2:
    Input: "hello hi"
    Output:
    {{ 
    "language": "English",
    "translation_request": false,
    "translate_to": null 
    }}
    
[your response here]

한가지 방법이 더 있는데요 구조화된 출력을 하기 위해서 답변부의 형식을 변경하는것 입니다. 위에서 보여드린 예제의 Your Response Here 부분을 수정하는 것 입니다.

# Example 1
{{ 
        "language": "[language]",
        "translation_request": [true/false],
        "translate_to": "[target language]"  // If translation is not requested, use null. If no target language is specified, default to Korean.
}}

# Example 2
{{ 
        "TEST_KEY": "[Your Response Here]"
}}

다음과 같이 JSON형식으로 작성하고 각각의 Dict Key값에 어떤것이 들어가야하는지 정의할 수 있습니다. 아니면 단일 답변인 경우에는 JSON구조의 Key를 적어주시고 Value에 Your Response Here을 적어 여기에 답을 하라는 표현을 전달합니다.

2. 데이터 추출을 위한 프롬프트 구조

우리는 데이터 추출을 하기위해서 LLM을 사용하기도 합니다. 예를 들어서 뉴스 기사에서 언급된 상표명만 추출 한다던가, 아니면 유저가 작성한 코맨트에서 언급된 상품만을 추출한다던가 하는 일등이 있죠, 이런 간단한 작업은 아주 성능이 낮은 모델 "ex) GPT-4o-mini" 에서도 아주 잘 추출을 하곤 합니다. 하지만 "더 잘" 추출하기 위해서는 프롬프트 엔지니어링이 필요합니다.

저는 이런 추출형 프롬프트의 구조를 4단계로 나눕니다.

제공 정보
이 부분에는 내가 제공할 정보 예를 들었던 기사, 코맨트 등등을 입력합니다.
추출 규칙
내가 추출할 내용에서 뽑을 방법, 내용을 정의 합니다.
예를 들어서 ["추출 할 대상", "추출 된 항목에 대한 규칙", "추출 된 항목을 구조화하는 RE식" ...] 같은 것들이 들어가게 됩니다.
답변 규칙
이제 구조화되어 추출된 데이터를 출력 할 수 있도록 구조화 해야합니다. (여기서 구조화는 Value값의 구조화가 아닌 출력 format을 의미합니다.) 구조화를 위한 규칙을 정합니다. 구조화에 대한 내용은 1번을 참고해 주세요
출력 시작

이런식으로 구성하면 다음과 같은 프롬프트를 만들 수 있습니다.

MILK_NAME_EXTRACT_PROMPT = PromptTemplate(
        input_variables=["news_main"],
        template=dedent("""
        당신은 정해진 규칙에 맞게 주어진 정보 속에서 데이터를 추출하는 AI데이터 추출기 입니다. 주어진 news_main 값에서 우유의 제조사(OEM)와 우유의 이름을 추출해야 합니다.
        1. 제공 정보
            {news_main}
        2. 추출 규칙
            - 추출 할 OEM이름 및 제조사 이름을 모두 영문(Eng)으로 작성해야 합니다. (ex. 서울우유 무균 흰우유 -> seoulmilk/sterile_white_milk)
            - 제조사(OEM)과 우유이름은 '/'로 구분해야 합니다.(ex. 서울우유 무균 흰우유 -> seoulmilk/sterile_white_milk)
            - 모든 문자는 소문자로 작성되어야 합니다. (ex. 서울우유 무균 흰우유 -> seoulmilk/sterile_white_milk)
            - 제조사(OEM) 및 우유이름에 들어가는 특수문자는 모두 제거합니다. (매일우유@무균@흰우유/ -> mailmilk/sterile_white_milk)
            - 작성된 이름의 띄어쓰기는 모두 '_'로 대체 합니다.

        3. 답변 규칙
            - 답변은 반드시 JSON구조로 이루어져야 합니다.
            - JSON 구조는 다음과 같습니다.
                {{"name" : ["milk_name1", "milk_name2:, ...]}}
            - JSON을 출력할 때 markdown 형식을 사용하지 않습니다. 
        
        지금부터 추출을 시작합니다.
        [your response here]
        """)
    )

오늘도 두개정도의 팁을 던지고 갑니다. 모두 프롬프트 작성하며 신나게 LLM과 놀기를 바랍니다.

그래서 제가 만든 Prompt가 들어간 서비스는??

https://play.google.com/store/apps/details?id=com.autocrypt.evpedia&pcampaignid=web_share

EVPEDIA - AI 전기차 딜러 - Google Play 앱

나만을 위한 전기차 AI 딜러. 최신 전기차 뉴스, 충전소 위치, 구매 상담 등을 손쉽게 탐색해보세요.

play.google.com

짜잔 드디어 출시가 됐습니다. 모두 한번씩 사용해 보세요!!