LLM 답변 품질 평가 방법과 LLM-as-a-Judge 활용법

LLM 서비스를 처음 운영할 때는 담당자가 답변을 하나씩 읽어 봅니다. 사용자가 무엇을 물었고 모델이 어떻게 답했는지 화면에 띄워 놓고, 하루에 수십 건을 읽으며 문제를 찾습니다. 호출량이 많지 않은 시범 단계에서는 이 방식만으로도 답변 품질을 확인할 수 있습니다.

사용자가 늘면 이 방식을 유지하기 어렵습니다. 하루 호출이 수천 건이 되면 사람이 다 읽을 수 없고, 문의가 들어온 건만 뒤늦게 확인하게 됩니다. 아무도 읽지 않은 답이 사용자에게 나가고 있다면 자동 평가를 검토할 때입니다. 사람이 AI 답변을 검증할 때 빠지기 쉬운 착각을 알고 있어도, 답을 읽는 사람이 없으면 그 검증을 할 기회가 없습니다.

LLM 답변 품질 평가는 모델이 내놓은 답을 미리 정해 둔 기준으로 채점해 기록하는 절차입니다. 업계에서는 이 절차를 평가(Eval)라고 부릅니다. 평가는 배포 전과 배포 후에 모두 씁니다. 배포 전에는 같은 평가 데이터로 모델과 프롬프트를 바꾼 전후를 비교하고, 배포 후에는 실제 호출 일부를 채점해 새로 발견한 실패 사례를 평가 데이터에 더합니다. 채점을 규칙에 맡기느냐 다른 모델에 맡기느냐에 따라 방법이 나뉩니다.

‍

LLM 품질 지표는 규칙으로 셀 수 있는 것부터

자동 평가라고 하면 모델을 먼저 떠올리기 쉽습니다. 그런데 사람 판단이 필요 없는 항목이 생각보다 많습니다. 그런 항목은 코드 몇 줄로 셀 수 있습니다.

규칙 기반 채점은 응답을 프로그램으로 읽어 참과 거짓을 판정하는 방법입니다. 규칙으로 채점할 수 있는 항목은 다음과 같습니다.

• 형식 준수: JSON이나 표처럼 정해 둔 구조로 답했는지 프로그램으로 확인합니다. 모델이 필수 항목 5개 가운데 3개만 채웠다면 지키지 못한 것으로 셉니다.
• 금지어 포함 여부: 내부 코드명, 경쟁사 이름, 확정으로 오해할 만한 표현처럼 나가면 안 되는 말이 답에 섞였는지 확인합니다.
• 길이 범위: 응답 문자 수나 출력 토큰(모델이 글을 잘게 나눠 세는 단위이며 과금 기준) 수가 정해 둔 범위 안에 있는지 봅니다.
• 라벨 일치: 정답이 정해진 분류 작업이라면 모델이 내놓은 라벨이 사람이 붙여 둔 정답과 같은지 비교합니다.

채점 결과가 참·거짓으로 나뉘는 항목은 문자열 일치나 분류 정확도처럼 자동 지표로 바로 계산할 수 있습니다. OpenAI 공식 문서 「Evaluation best practices」도 모델이 열린 답을 직접 만들어 내게 하는 평가보다, 쌍대 비교(두 답 가운데 나은 쪽 고르기)나 분류처럼 선택지가 명확한 평가에서 결과가 더 안정적이라고 설명합니다.

규칙 기반 채점의 장점은 비용과 재현성입니다. 모델을 한 번 더 부르는 일(추론 호출)이 없으니 비용이 거의 들지 않고, 같은 입력에 늘 같은 판정이 나옵니다. 호출이 끝난 직후 계산해 호출 기록에 참·거짓으로 남길 수 있어 날짜별 준수율을 그리기도 쉽습니다. 다만 채점은 사용자 응답 경로 밖에서 합니다. 응답을 먼저 보내고 뒤에서 따로 채점하면 사용자가 기다리는 시간에는 영향이 없습니다.

한계도 분명합니다. 규칙으로 셀 수 있는 항목은 형식과 안전에 관한 것이 대부분입니다. 형식을 지킨 답이라도 내용은 틀릴 수 있는데, 규칙 채점에서는 통과로 셉니다.

‍

LLM-as-a-Judge로 사실성과 톤을 채점하는 방법

규칙으로 셀 수 없는 품질이 남습니다. 답에 적힌 내용이 근거 문서에 실제로 있는지, 사용자가 요청한 지시를 이행했는지, 말투가 서비스 안내 문구와 어울리는지 같은 항목입니다. 사람이 읽으면 비교적 빠르게 판단할 수 있지만, 규칙만으로는 조건을 빠짐없이 표현하기 어렵습니다.

LLM-as-a-Judge는 채점 기준을 프롬프트로 적어 다른 모델에게 채점을 맡기는 방법입니다. 채점을 맡은 모델을 판정자 모델이라고 부릅니다. 판정자 모델에게 사용자 질문, 모델의 답, 근거로 쓴 문서를 함께 주고 기준에 따른 판정 이유와 점수를 돌려받습니다.

연구자들이 이 방법을 먼저 검증했습니다. NeurIPS 2023에 실린 「Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena」에서 GPT-4 판정자의 선택은 사람 선호와 80% 넘게 일치했습니다. 다만 동점을 포함하면 일치율은 70%였고, 벤치마크 문항 80개를 대상으로 한 결과이므로 실제 서비스에서도 같은 수치가 나온다는 뜻은 아닙니다.

실제로 붙일 때는 채점 프롬프트에서 다음을 정합니다.

• 기준을 쪼갭니다. 종합 판정 하나만 받으면 결과가 나빠도 무엇 때문인지 알 수 없습니다. 사실성, 지시 이행, 톤처럼 항목 3개에서 5개 정도로 나눠 각각 채점합니다.
• 먼저 통과와 실패로 나눕니다. 1점에서 5점까지 매기라고만 하면 3점과 4점의 경계를 판정자마다 다르게 해석합니다. 운영 기준이 명확하다면 통과와 실패로 나누는 편이 안정적입니다. 모델이나 프롬프트를 바꾼 전후를 비교할 때는 두 답 가운데 나은 쪽을 고르게 할 수도 있습니다. 점수가 필요하다면 각 점수가 어떤 답을 뜻하는지 예시와 함께 적어 둡니다.
• 판정 이유를 점수보다 먼저 받습니다. 점수만 받으면 나중에 그 점수가 맞았는지 검증할 방법이 없습니다. 정해진 형식으로 돌려받을 때 이유 항목을 점수 항목보다 앞에 둡니다. 근거를 먼저 만들어 내도록 만들어진 추론 특화 모델(reasoning model)을 판정자로 쓰는 방법도 있습니다.
• 채점 결과를 호출 기록에 붙입니다. 한 건만 보면 판단하기 어렵습니다. 통과와 실패로 나눴다면 날짜별 실패율, 점수를 매겼다면 평균과 기준 미달(정해 둔 점수 아래) 비율을 쌓아야 추이가 보입니다.

OpenAI는 공식 문서 「Graders」에서 점수를 돌려주는 모델 채점기(score model grader)를 설명하며, 채점 프롬프트를 만드는 일은 한 번에 끝나지 않고 반복해야 한다고 적었습니다. 상세한 작업 설명, 잘 쓴 예시 답, 사람이 매긴 기준 점수를 함께 넣어 판정자가 품질 차이를 실제로 구분하는지 확인하라고 권합니다.

점수가 쌓이면 품질 기준을 숫자로 정해 둘 수 있습니다. 사실성 점수가 기준에 미달한 응답의 비율이 5%를 넘으면 알리는 식입니다. 5%는 예시이고 적정 비율은 서비스마다 다릅니다. 처음 몇 주는 실제 분포를 보고 기준을 정합니다.

‍

‍

판정자 모델의 한계와 사람 검토 기준

판정자 모델도 결국 LLM입니다. 채점하는 쪽으로 역할만 바꿨을 뿐, LLM이 가진 문제를 그대로 갖고 있습니다. MT-Bench 논문은 판정자의 한계로 순서 편향, 긴 답을 선호하는 편향, 자기 답을 높게 보는 편향을 이름 붙여 정리했습니다. 운영에서는 이 세 편향 말고 제공사의 모델 교체까지 겹칩니다.

첫째, 제공사가 판정자 모델을 갱신하면 점수 기준이 흔들립니다. 제공사는 별칭(gpt-4o처럼 세부 버전을 대신 가리키는 이름)이 가리키는 세부 버전을 새 것으로 교체하고, 구형 모델은 예고 기간을 둔 뒤 종료합니다. OpenAI는 모델 종료 정책에서 정식 출시 모델을 최소 6개월 전에 고지한다고 밝혔습니다. 판정자 모델이 바뀌면 답이 그대로여도 점수가 달라질 수 있습니다. 그래서 판정자 모델은 세부 버전까지 적어 고정합니다. 옮길 때는 사람이 점수를 매겨 둔 표본(기준 표본)을 기존 판정자와 새 판정자로 각각 채점해 점수 차이를 확인한 뒤 교체합니다.

둘째, 순서 편향이 있습니다. 「Large Language Models are not Fair Evaluators」에서 저자들은 후보 답을 보여 주는 순서만 바꿔도 품질 순위가 뒤집히는 경우가 있다고 보고했습니다. 저자들이 제안한 보정 방법은 3개입니다. 점수를 매기기 전에 판정 근거를 먼저 쓰게 하고, 답의 순서를 바꿔 여러 번 채점한 뒤 결과를 합치고, 판정이 서로 다르게 나온 건은 사람이 확인하는 방식입니다.

셋째, 판정자 모델은 자기가 만든 답에 관대해집니다(자기 편애). 2024년 논문 「LLM Evaluators Recognize and Favor Their Own Generations」에서 저자들은 모델이 자기 출력을 알아보는 정확도가 높을수록 자기 출력에 점수를 더 주는 정도도 함께 커졌다고 밝혔습니다. 답을 만든 모델과 채점하는 모델은 다르게 둡니다. 긴 답을 선호하는 경향도 함께 보고돼 있어, 길이는 채점 항목에서 빼고 규칙 채점으로 따로 셉니다.

비용 문제도 있습니다. 평가도 추론 호출이라 응답 한 건을 채점하려면 질문과 답, 근거 문서를 판정자에게 다시 넣어야 합니다. 근거 문서가 길면 판정 호출의 입력이 원래 호출보다 커질 수도 있습니다. 그래서 모든 호출을 채점하는 전수 채점 대신 표본만 채점하고, 위험이 큰 호출만 전부 채점합니다. 사용자가 부정 피드백을 남긴 호출, 결제나 의료처럼 틀렸을 때 피해가 큰 기능의 호출, 프롬프트나 모델을 바꾼 직후의 호출이 여기에 듭니다.

판정 호출은 사용자 응답 경로에 넣지 않습니다. 응답을 내보낸 뒤 호출 기록을 받아 따로 채점하거나, 정해진 시간에 모아서 채점합니다.

‍

‍

자동 평가를 붙여도 사람 검토는 남습니다. 다만 검토할 대상이 바뀝니다. 판정자 점수는 사람 판단을 대신 재는 값이므로, 얼마나 맞는지는 사람이 매긴 점수와 비교해야 알 수 있습니다. 순서 편향 보정 방법과 채점기 공식 문서 모두 이 대조를 전제로 삼습니다. 사람 검토는 판정자의 정확도를 점검하는 검토와 실제 품질 문제를 처리하는 검토로 나뉩니다. 남아야 할 대상은 다음과 같습니다.

• 기준 표본 관리: 유형별로 고르게 고른 질문과 답에 사람이 직접 점수를 매겨 둡니다. 판정자 점수를 검증할 때 맞춰 보는 값이 됩니다.
• 낮은 점수 확인: 자동 평가에서 기준 미달로 나온 응답의 원문을 읽습니다. 실제 품질 문제인지, 채점 기준이 모호했던 것인지 구분합니다.
• 통과 건 무작위 확인: 자동 평가가 통과로 판정한 건도 일부는 사람이 다시 읽습니다. 낮은 점수만 보면 판정자가 놓친 건은 드러나지 않습니다.

‍

자주 묻는 질문

‍

판정자 모델은 무엇을 써야 하나요?

후보 모델을 사람이 채점한 기준 표본에 적용해 보고, 사람 판단과 가장 잘 맞는 모델을 고릅니다. 답을 만든 모델과 계열이 다른 쪽을 먼저 검토하되 비용과 응답 시간도 함께 비교합니다. 답을 만든 모델을 그대로 판정자로 쓰면 자기 편애가 개입할 수 있습니다. 비용이 부담이면 작은 모델을 1차 판정자로 두고 기준에 미달한 건만 큰 모델로 다시 채점할 수도 있습니다. 다만 작은 판정자가 놓친 건은 큰 모델로 넘어가지 않습니다. 기준 표본에서 놓치는 사례가 없는지 먼저 확인합니다. 어느 쪽을 쓰든 세부 버전을 기록에 남깁니다.

‍

판정자 점수가 사람 판단과 다르면 어떻게 하나요?

먼저 어느 항목에서 달라지는지 확인합니다. 사실성은 맞는데 톤 점수만 벌어지는 식으로 항목별 차이가 있는 경우가 많습니다. 그다음 판정 이유를 읽어 기준 문장이 여러 뜻으로 읽히지 않았는지 확인합니다. 판정자 모델을 바꾸기 전에 기준 문장부터 고쳐 봅니다. 사람이 채점한 기준 표본 몇 건을 판정 프롬프트에 예시로 직접 넣어 판정 기준을 맞추는 방법도 효과가 있습니다. 사람 점수와의 일치율 자체를 지표로 기록해 두면 기준을 고칠 때마다 나아지는지 볼 수 있습니다.

‍

평가 비용은 얼마나 드나요?

공개된 표준 수치는 없지만 계산은 할 수 있습니다. 판정 호출 한 건의 입력·출력 토큰에 모델 단가를 곱하면 한 건당 비용이 나옵니다. 한 건당 비용에 채점할 표본 건수를 곱하면 전체 비용을 추정할 수 있습니다. 판정 호출에는 채점 기준이 더해지므로 입력이 원래 호출보다 커지기 쉽습니다. 판정 이유를 짧게 받고 근거 문서를 요약해 넣으면 입력을 줄일 수 있습니다.

‍

규칙 평가와 모델 평가 중 무엇을 먼저 해야 하나요?

형식이나 금지어처럼 명확한 규칙 항목이 있다면 규칙 평가부터 시작하는 편이 효율적입니다. 형식이 깨진 응답은 판정자에게 보내도 내용 판단이 흐려질 수 있고, 규칙에서 이미 걸러낸 건은 다시 보내지 않아 비용도 줄어듭니다.

‍

사람이 점수를 매긴 기준 표본은 몇 건이 필요한가요?

건수보다 구성이 중요합니다. 처음에는 주요 사용 유형이 고르게 포함된 작은 표본으로 시작하고, 기능이 추가되거나 질문의 성격이 달라질 때 새 질문을 채워 넣습니다. 판단이 애매한 답도 일부러 넣습니다. 쉬운 건만 모으면 어떤 판정자도 다 맞히기 때문에 비교가 되지 않습니다. 같은 건을 두 사람이 채점해 사람끼리도 점수가 다르게 나오면 채점 항목의 기준 문장이 모호하다는 뜻입니다.

‍

마치며

사람이 전수로 읽을 수 없게 된 뒤에도 품질을 확인할 방법은 있습니다. 형식처럼 규칙으로 셀 수 있는 항목은 코드로 채점하고, 사실성이나 톤은 판정자 모델에게 맡긴 뒤 점수를 호출 기록에 남겨 추이로 봅니다. 판정자 점수가 사람 판단과 얼마나 맞는지는 기준 표본으로 계속 확인합니다.

먼저 최근 호출 기록에서 질문 유형별로 표본을 고르고, 형식 준수 하나만 골라 참·거짓으로 기록해 봅니다. 그다음 사람 판단이 필요한 항목에만 판정자 모델을 적용하면 평가 비용과 검토 범위를 함께 관리할 수 있습니다.

LLM 호출 기록과 응답 품질 점수를 모아 보려면 와탭 LLM Observability를 살펴보실 수 있습니다.

‍

더 읽을거리

• ‍LLM Observability (와탭 공식 문서)
• ‍응답 품질 분석 (와탭 공식 문서)
• ‍AI 모델 드리프트란? LLM 성능 저하 원인과 탐지 방법
• ‍LLM API 비용이 급증하는 3가지 원인과 토큰 비용 절감 방법
• ‍LLM 할루시네이션 환각 현상의 원인과 5가지 실무 검증 방법
• ‍LLM 옵저버빌리티(관찰 가능성)란? LLM 모니터링이 필요한 이유
• ‍Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (NeurIPS 2023)
• ‍Evaluation best practices (OpenAI 공식 문서)