[policy harness]

τ³-bench banking: 규정을 읽고 지키는 과제

τ³-bench의 banking_knowledge는 은행 상담 에이전트를 시험합니다. 에이전트는 지식 문서를 검색해 읽고, 고객과 대화하면서 계좌를 조회하고, 해지나 분쟁 신청처럼 기록을 바꾸는 쓰기 도구를 호출합니다. 과제는 97개이고 각각 네 번씩 돌립니다. 그래서 한 번 성공한 비율(pass^1)과 네 번 모두 성공한 비율(pass^4)을 함께 봅니다.

공개 리더보드 1위는 Qwen3.8 Max의 pass^1 55.2입니다. 같은 계열의 공개 27B 모델은 층 없이 49.5에 머뭅니다.

Policy Harness를 붙이면 같은 27B 모델이 추가 학습 없이 pass^1 49.5에서 57.2로 오르고, 네 번 모두 실패하던 과제는 35개에서 25개로 줄어듭니다. 가중치와 도구, 벤치마크의 정책 문서는 그대로입니다. 달라진 것은 모델의 호출과 실제 도구 사이에 들어간 검사 한 단계입니다.

banking 규칙은 이 97과제를 보며 만들었습니다. 그래서 정답 풀이에 맞춰 고른 규칙은 이 실행 전에 모두 뺐고, 처음 보는 과제로 따로 확인한 결과는 그림 9에 있습니다.

요점: 남은 실패의 상당수는 규칙을 몰라서가 아니라, 아는 규칙을 실행하는 순간 지키지 않아서 생깁니다.

쓰기 직전의 실수

층 없는 27B의 banking 실패 196건 가운데 32건을 무작위로 골라 대화 기록을 끝까지 읽었습니다. 30건에서는 필요한 문서가 이미 검색 결과에 들어와 있었습니다. 지식이 모자란 것이 아니었습니다. 14건(44%)은 모델 자신의 실수였습니다. 정해진 조회를 건너뛰고 바로 쓰거나, 계산을 머릿속으로 하다 틀리거나, 도구 출력 어디에도 없는 값을 인자에 넣는 식이었습니다.

이런 실수는 대화만 읽어서는 잘 보이지 않습니다. 말투는 자연스럽고, 틀린 것은 인자 하나이기 때문입니다. 그런데 기록에 한 번 쓰고 나면 되돌릴 수 없습니다. 아래는 항공 예약 취소 과제에서 이 일이 일어난 장면입니다.

기록으로 판정할 수 있는 것만

정책 조건 가운데 일부는 대화 기록만 보면 참·거짓이 정해집니다. 예약을 조회했는지, 그 기록의 created_at이 정책이 기준으로 삼는 현재 시각(정책 시각) 기준 24시간 안인지, 쓰려는 우편번호가 도구 출력에 나온 적이 있는지가 그렇습니다.

고객이 정말 해지를 원하는지, 이 불만을 상위 담당자에게 넘길지는 다릅니다. 읽는 사람의 판단이 필요합니다. 앞의 것을 닫힌 조건, 뒤의 것을 열린 조건이라 부르겠습니다. 층은 닫힌 조건으로만 막고, 열린 조건은 모델에게 남깁니다.

한 턴 안에서 일어나는 일

모델이 고른 호출 하나가 실제 도구에 닿기까지의 길입니다.

일곱 레버

레버는 실패한 대화에서 되풀이되는 실수에 하나씩 이름을 붙인 것입니다. 레버마다 무엇을 읽고 무엇을 판정하는지와 함께, 그 레버만 끄고 다시 돌렸을 때의 점수를 붙여 두었습니다.

다른 도메인으로 옮기기

엔진 코드에는 카드나 항공편 같은 도메인 단어가 없습니다. 도메인에 딸린 내용, 곧 쓰기마다 먼저 필요한 조회, 출처가 있어야 하는 인자, 쓸 수 있는 계산, 도구마다 붙는 정책 문장은 선언 파일 하나에 들어갑니다.

banking에서 만든 엔진을 SOPBench library와 τ² airline으로 옮길 때 새로 쓴 것은 이 파일이었습니다. airline에서는 시간 차이 계산처럼 범용 연산자가 몇 개 더 필요했지만, 도메인 단어는 여전히 엔진에 들어가지 않았습니다.

수치가 말하는 것

선언 파일만 바꿔 같은 층을 SOPBench library와 τ²-bench의 airline·retail에서, 여러 모델로 돌렸습니다.

이득은 모델이 닫힌 규칙을 어기는 만큼 생깁니다. SOPBench library에서는 다섯 모델 모두 6~15점이 올랐고, airline에서는 기준 점수가 낮은 GPT-4o-mini와 Qwen2.5-32B가 22점 이상 올랐습니다. 이미 정책을 지키는 27B의 airline, 그리고 실패 대부분이 판단 문제인 retail에서는 거의 움직이지 않았습니다.

어떤 레버가 점수를 떠받치나. 세 설정에서 레버를 하나씩 끄고 다시 돌렸습니다. 근거 레버(LB3)를 끄면 세 설정 모두 층 없는 점수 이하로 떨어집니다. 다른 레버가 넣어 주는 계산값과 정책 문장이 출처 검사 없이 모델의 추측과 섞이기 때문으로 봅니다.

절차 레버(LB1)의 몫은 모델이 순서를 얼마나 자주 어기는지에 따라 달랐습니다. 순서 위반으로 거부된 호출이 40건이던 GPT-4o-mini는 LB1을 끄면 9.2점 떨어졌고, 10건이던 Qwen3-8B는 그대로였습니다.

처음 보는 과제에서는? airline 50과제를 규칙 작성용 30개와 시험용 20개로 나눠, 30개만 보고 규칙을 다시 만들었습니다. 시험 20과제에서 GPT-4o-mini는 31.2에서 52.5로 올랐고, 올바른 행동을 잘못 막은 경우는 없었습니다.

효과가 없던 곳

retail에서는 네 모델 모두 변화가 없었습니다. 실패 대부분이 어느 상품, 어느 옵션을 고를지 같은 판단 문제였고, 사용자 시뮬레이터가 대화를 일찍 끝낸 경우도 많았습니다. 기록으로 판정할 수 있는 위반은 적었습니다.

airline의 Qwen3.8-27B도 그대로였습니다. 이 모델은 이미 정책을 지켰고, 층은 한 과제에서만 발동했습니다.

SOPBench hotel의 +11.0은 우리 결과로 치지 않습니다. 195과제 중 56과제에서 채점기가 OR 조건을 AND로 읽는 오류가 있었고, 이를 고치면 차이는 −0.4입니다.

효과가 없던 곳에서 점수를 잃지도 않았습니다. 수백 번의 시뮬레이션 가운데 잃은 것은 0~3건이었고, 그중 잘못된 거부가 원인인 경우는 없었습니다.

측정 방법

비교가 공정하도록 지킨 것과, 우리 이득으로 잘못 셀 수 있었던 것을 적어 둡니다.