본문으로 건너뛰기

에이전트 평가(Evals) 설계 — 통과율이 아니라 실패 모드를 세는 법

에이전트 평가를 3층 구조로 나누고 deterministic harness를 먼저 세우는 순서, LLM-as-judge의 편향 대응, pass@k의 해석, 프론트엔드 작업 평가까지 정리했습니다. 모델·에이전트 자체를 평가하는 플레이북입니다.

· 6분 읽기

에이전트 평가(Evals) 설계 — 통과율이 아니라 실패 모드를 세는 법

“우리 에이전트 통과율 82%입니다”라는 보고를 들으면 제일 먼저 묻고 싶은 게 생깁니다. “남은 18%는 어떻게 실패하나요?” 통과율은 평가의 결과일 뿐 설계가 아닙니다. 에이전트 평가의 실질은 실패를 모드별로 분류해서 셀 수 있게 만드는 것이고, 그래야 회귀가 왔을 때 “전체적으로 나빠졌다”가 아니라 “파일 경로 추론 실패가 늘었다”라고 말할 수 있습니다. 이 글은 모델·에이전트 자체의 평가 설계에 한정해 정리했습니다. PR 품질 게이트의 하니스 운영은 하니스 엔지니어링 글에서 이미 다뤘습니다.

문제 정의

에이전트 평가가 어려운 이유 셋:

  • 출력이 유일하지 않다: 같은 작업에 여러 올바른 답이 존재해서 문자열 비교로는 판정이 안 됩니다.
  • 과정이 길다: 최종 출력이 맞아도 중간에 위험한 행동(예: 무단 커밋)을 했을 수 있습니다.
  • 비결정적이다: 같은 입력에 실행마다 결과가 달라져 한 번의 성공/실패가 의미가 약합니다.

이 세 가지가 “그래서 사람이 보라”로 귀결되면 평가는 스케일하지 않습니다. 아래처럼 층을 나누는 게 출발점입니다.

평가 3층 — 유닛 / 시나리오 / 온라인

3층 온라인    실제 트래픽에서 만족도·개입률·롤백률 수집
2층 시나리오  여러 단계 작업(이슈→브랜치→PR)의 종단 성공/실패 모드 분류
1층 유닛      단일 호출의 결정적 판정 (정답 비교, 린트, 빌드, 스키마 검증)
  • 유닛: 도구 하나, 프롬프트 하나, 변환 함수 하나. 판정은 deterministic하게. 정답 비교, JSON 스키마 검증, 린트 통과 여부가 여기 속합니다.
  • 시나리오: 에이전트의 실제 단위. “이 버그 리포트로 PR을 열어라” 같은 과제를 고정된 초기 상태에서 돌리고, 결과를 성공/실패 모드 코드로 태깅합니다.
  • 온라인: 배치 뒤 실사용 지표. 사용자 개입률(에이전트가 자기 완수 못 하고 사람이 끼어든 비율)이 대표 지표입니다.

핵심 규칙은 아래 층이 먼저입니다. 온라인 지표로 알 수 있는 건 “나빠졌다”까지라서 디버깅이 안 됩니다. 유닛이 튼튼해야 시나리오 실패의 원인 소거가 되고, 시나리오가 있어야 온라인 회귀를 재현할 수 있습니다.

deterministic harness가 먼저다

LLM 심판을 도입하기 전에 결정적으로 판정 가능한 것을 최대한 뽑아냅니다. 순서가 중요한 이유는, 결정적 판정은 0코스트에 항상 같은 답을 주지만 LLM 심판은 비용·편향·변동을 함께 사들이는 일이기 때문입니다.

결정적으로 판정 가능한 것들:

  • 파싱 가능성: 출력이 유효한 JSON/마크다운/TSX인지
  • 빌드·린트: 에이전트가 만든 코드가 tsc·ESLint를 통과하는지
  • 정답 집합 비교: 태그 추출처럼 정답이 한정적인 작업
  • 계약 검증: 함수 시그니처, 파일 위치, 금지된 API 미사용 여부
// 유닛 평가의 예: 결정적 판정만으로 구성
type Case = { input: string; expectTags: string[] };

const cases: Case[] = [
  { input: "버그: 다크모드에서 글자가 안 보여요", expectTags: ["bug", "ui"] },
  { input: "문의: 결제 수단 추가 언제 되나요", expectTags: ["question", "billing"] },
];

function judge(output: string, c: Case): boolean {
  const tags = output.split(",").map((t) => t.trim()).filter(Boolean);
  return c.expectTags.every((t) => tags.includes(t));
}

이 층이 쌓이면 “LLM 심판이 필요한 나머지”가 명확해집니다. 그 나머지만 다음 단계로 넘깁니다.

LLM-as-judge — 설계와 편향

부득이하게 모델에게 채점을 맡길 때는, 심판도 설계 대상이라는 사실부터 받아들여야 합니다. 문헌에서 반복 확인된 편향 세 가지:

  • 위치 편향(position bias): MT-Bench 연구는 LLM 심판이 pairwise 비교에서 답변 순서에 따라 판정이 바뀌는 현상을 보고했고, 순서를 바꿔 두 번 채점하라고 권고합니다.
  • 장황함 선호(verbosity bias): 같은 내용이라도 긴 답을 더 좋게 평가하는 경향. 같은 연구에서 언급된 대표 편향입니다.
  • 자기 선호(self-preference): 심판 모델이 자기 계열의 출력을 더 후하게 보는 경향. EMNLP 2025의 자기 선호 측정 연구가 이를 정량화했습니다.

대응 설계:

  1. 루브릭을 항목별로 쪼갠다: “품질 1~10” 대신 “요구사항 명시(0/1), 오류 없음(0/1), 범위 준수(0/1)“처럼 이진 항목으로 나눕니다.
  2. pairwise는 순서를 바꿔 두 번: 양쪽 다 자기가 이기면 무효 처리(tie)로 처리합니다.
  3. 심판은 피평가자와 다른 계열: 자기 선호를 구조적으로 차단합니다.
  4. 금칙어·분량 제약을 프롬프트에 명시: 장황함 선호를 줄입니다.
  5. 사람 샘플링을 유지: 심판 판정의 일부(예: 5%)는 사람이 재검해 심판 드리프트를 감시합니다.

도구는 이미 성숙해 있습니다. promptfoo는 CLI 기반으로 프롬프트·모델·RAG 평가와 모델 채점 어서션을 지원하고, OpenAI는 Evals에서 promptfoo로 이전하는 쿡북에서 두 도구의 대응 관계를 정리했습니다. Anthropic의 에이전트 설계 글도 평가에서 가장 단순한 판정부터 시작하라는 방향입니다.

pass@k의 의미

코드 생성 평가에서 표준이 된 pass@k 지표는 “k번 뽑았을 때 적어도 하나가 통과할 확률”입니다. 이 지표가 에이전트 맥락에서 중요한 이유는 해석의 차이 때문입니다.

  • pass@1이 높다: 한 번에 믿을 수 있다. 자동화 비용이 낮다.
  • pass@k(k>1)만 높다: 여러 번 뽑아 검증할 가치가 있다. 단, “통과한 답을 고르는 검증자”가 필수가 된다.

즉 pass@1은 “믿고 맡길 수 있는 정도”, pass@k는 “재시도 + 검증 조합의 가치”입니다. 회귀 스위트에선 둘 다 추적하되, pass@1 하락은 심각 회귀, pass@8은 유지되는 pass@1 하락은 “검증 비용이 늘어난 회귀”로 구분해 대응합니다.

회귀 스위트로 굴리기

평가 세트는 만드는 순간 썩기 시작합니다. 운영 규칙:

  • 실패 모드 태그를 세트에 심는다: 각 케이스에 기대 태그(“정상”, “모호한 요청”, “불가능한 요청”)를 달아, 회귀 보고를 모드별로 뽑는다.
  • 고정 시드·고정 모델 버전 기록: 재현성 없는 회귀 보고는 소음이다. 모델 버전이 바뀌면 전수 재실행해 기준선을 다시 잡는다.
  • 실제 실패에서 케이스를 충원한다: 온라인에서 사람이 개입한 사례를 시나리오로 격상시켜 세트에 넣는 루프가 성장의 본체다.
  • CI에서는 빠른 서브셋, 주간에는 전체: 전체 세트를 매 커밋에 돌리면 비용과 시간이 먼저 무너진다.

프론트엔드 작업 평가

“이 디자인대로 컴포넌트를 고쳐라” 같은 과제는 텍스트 판정이 안 됩니다. 실무에서 쓰는 판정 계층:

  • AX 트리 비교: 렌더 결과의 접근성 트리를 직렬화해 기대 구조와 비교. 텍스트 내용·역할·레벨이 보존됐는지 기계적으로 검증합니다.
  • 스크린샷 diff: 픽셀 비교는 마지막 수단. 픽셀은 색상 프로파일·폰트 버전에도 흔들리므로 임계치 관리가 필수입니다.
  • Playwright 시나리오: “클릭하면 다이얼로그가 열린다” 같은 행동 결함을 종단으로 잡습니다. 빌드 성공은 통과의 필요조건일 뿐입니다.

이 계층에서도 순서는 같습니다. 빌드·린트 → AX 트리 → 행동 시나리오 → 스크린샷. 비결정적이고 관리 비용이 큰 판정일수록 뒤로 보냅니다.

체크리스트

  • 평가가 유닛/시나리오/온라인 3층으로 나뉘어 있는가
  • 결정적 판정(정답 비교·스키마·린트·빌드)을 먼저 다 뽑았는가
  • LLM 심판은 항목별 루브릭 + 순서 교차 + 타 계열 심판으로 설계했는가
  • 심판 판정 샘플을 사람이 재검하는 루프가 있는가
  • pass@1과 pass@k를 구분해 추적하는가
  • 실패를 모드 코드로 태깅해 회귀 보고가 모드별로 나오는가
  • 실제 실패 사례가 세트로 유입되는 루프가 있는가
  • 프론트엔드 과제 판정이 빌드→AX 트리→행동→스크린샷 순서인가

시사점

평가 설계의 목표는 “잘하는 에이전트 증명”이 아니라 “실패의 지도 만들기”입니다. 결정적 판정을 최대한 깔고, LLM 심판의 편향을 설계로 누르고, 실패를 모드로 세는 회귀 스위트를 굴리면, 모델을 바꿀 때마다 “이건 좋아졌고 저건 나빠졌다”를 말할 수 있게 됩니다. 그 말을 할 수 있는 팀만이 에이전트를 안전하게 바꿀 수 있습니다.

레퍼런스

Related