본문으로 건너뛰기

평가 주도 개발: LLM 기능을 테스트하듯 다루기

LLM 기능은 한 번 테스트했다고 안심할 수 없습니다. 골든셋을 만들고 회귀 평가를 CI에 붙이는 실전 흐름을 정리합니다.

· 4분 읽기

평가 주도 개발: LLM 기능을 테스트하듯 다루기

개요

프롬프트를 고치고 나서 “몇 개 해보니 잘 되네요”로 리뷰를 끝낸 경험이 있을 겁니다. 저도 그랬는데, 일반적인 단위 테스트와 달리 LLM 기능은 결정론적으로 동작하지 않아서 손으로 몇 개 확인하는 방식으로는 회귀를 잡을 수 없었습니다. 프롬프트를 수정하면 이전에 잘 되던 케이스가 조용히 망가지는 일이 반복됐고, 그때부터는 평가(evaluation)를 개발 사이클의 중심에 두기 시작했습니다. 이 글에서는 골든셋 구축, 회귀 평가, CI 통합 순으로 제가 쓰는 방식을 정리합니다.

골든셋: 평가의 기준 데이터

핵심은 “무엇이 좋은 출력인지”를 코드가 아니라 데이터로 정의하는 것입니다. 실제 서비스에서 나온 입력을 샘플링해서 정답 또는 판정 기준을 달아둔 골든셋(golden set)을 만듭니다.

골든셋을 만들 때 지킨 원칙은 세 가지입니다.

  • 실제 트래픽에서 샘플링한다. 제 머릿속에서 만든 케이스는 항상 쉬운 쪽으로 치우쳤습니다.
  • 실패했던 입력을 반드시 포함한다. 버그 리포트로 들어온 케이스는 가장 값비싼 테스트 데이터입니다.
  • 30~100개 수준으로 시작한다. 처음부터 수백 개 만들려다 지쳐서 폐기한 적이 있습니다.

데이터 형식은 단순하게 JSONL로 관리합니다.

{"id": "case-001", "input": "이 상품 언제 배송돼요?", "expected": "배송 일정 안내 응답", "category": "delivery"}
{"id": "case-002", "input": "환불하고 싶은데 이미 사용했어요", "expected": "환불 정책에 따른 거절 또는 안내", "category": "refund"}

평가 방식: 정확히 맞추는 게 아니라 판정 가능하게

출력이 자연어라면 expected와 문자열 비교를 할 수 없습니다. 판정 방식은 세 가지를 상황에 맞게 섰습니다.

  1. 규칙 기반: JSON 스키마 검증, 금지어 포함 여부, 길이 제한처럼 기계로 확실히 확인 가능한 것.
  2. 정확 일치 / 포함: 분류 과제처럼 출력이 레이블로 수렴한다면 가능.
  3. LLM 채점(judge): 채점 기준(rubric)을 명시하고 다른 모델이 1~5점을 매기게 하는 방식. 채점자와 피평가자 모델을 다르게 하면 자기 자신을 후하게 주는 경향을 줄일 수 있습니다.
import json
from pathlib import Path

RULES = {"delivery": "배송", "refund": "환불"}

def passes(case: dict, output: str) -> bool:
    keyword = RULES.get(case["category"])
    if keyword is None:
        return True
    return keyword in output

def evaluate(runner) -> float:
    cases = [json.loads(l) for l in Path("golden.jsonl").read_text().splitlines() if l]
    hit = sum(passes(c, runner(c["input"])) for c in cases)
    return hit / len(cases)

이 정도의 규칙 기반 판정만으로도 프롬프트 수정 직후의 큰 회귀는 대부분 잡힙니다.

회귀 평가: 프롬프트도 버전 관리 대상

프롬프트를 고칠 때마다 골든셋 전체를 돌려서 이전 점수와 비교하는 것이 회귀 평가입니다. 여기서 중요한 변화는 “프롬프트를 코드처럼 취급한다”는 태도입니다. 프롬프트 변경은 diff로 리뷰하고, 평가 점수가 나란히 붙어야 합니다.

그리고 비결정성 때문에 한 번 실행으로 판단하지 않습니다. 같은 입력에 대해 온도 설정에 따라 출력이 흔들리므로, 판정이 애매한 케이스는 통과율(예: “10회 중 8회 이상 통과”)로 봅니다.

CI에 평가 넣기

로컬에서만 돌리면 결국 안 돌리게 됩니다. CI에 두 단계로 나눠 붙였습니다.

  • PR 단계(게이트): 골든셋 중 규칙 기반 판정이 가능한 서브셋(30개 내외)만 돌려서 이전 점수 대비 2%p 이상 하락하면 실패 처리합니다. 비용과 시간 때문에 LLM 채점은 여기에 넣지 않습니다.
  • 주간(나이트리) 단계: 전체 골든셋에 LLM 채점까지 돌리고 리포트를 남깁니다. 추세가 나빠지면 다음 주에 개선 과제로 올립니다.
name: eval
on: [pull_request]

jobs:
  golden-set:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-python@v5
        with: { python-version: "3.12" }
      - run: pip install -r requirements.txt
      - run: python eval.py --baseline baseline.json --threshold 0.02
        env:
          OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}

baseline.json에는 main 브랜치에서의 케이스별 통과 여부를 저장해두고, PR에서는 달라진 케이스만 보여주도록 하면 리뷰가 훨씬 빨라집니다.

평가 데이터의 유지보수

골든셋도 부패합니다. 서비스가 바뀌면 옛날 정답이 틀린 정답이 되고, 모델이 바뀌면 판정 기준 자체를 조정해야 할 때가 옵니다. 그래서 저는 골든셋에도 리뷰를 붙입니다. 새 케이스를 추가할 때 “이 케이스가 어떤 실패를 방어하는가”를 한 줄 설명으로 남겨두면, 나중에 정리할 때 근거가 됩니다. 또한 채점 기준이 애매해서 사람마다 판정이 갈리는 케이스는 과감히 버리거나 기준을 명확히 고칩니다. 애매한 케이스 하나가 평가 전체의 신뢰를 갉아먹습니다.

마무리

정리하면 평가 주도 개발은 세 가지 습관입니다. 실제 입력으로 골든셋을 만들고, 프롬프트 변경마다 회귀 평가를 돌리고, CI에 게이트로 붙여서 사람이 까먹어도 시스템이 지키게 만드는 것. LLM 기능의 품질은 모델이 아니라 평가 인프라가 결정한다는 말이 과하다고 느껴지지 않는 요즘입니다. 처음부터 완벽한 평가를 만들려 하지 말고, 서른 개의 규칙 기반 케이스부터 시작하는 걸 추천합니다.

Related