OpenAI·Ironclad, 계약 업무 AI의 완료 기준을 시험했습니다

OpenAI가 10월 6일 계약 관리 소프트웨어 기업 Ironclad와의 연구 결과를 공개했습니다. 회사 규칙에 맞춰 계약·승인 절차를 설정하고, 완성된 절차가 요구사항을 충족하는지 평가한 연구입니다. AI에게 회사 일을 맡길 때 무엇을 ‘완료’로 볼지 구체적으로 보여줍니다. OpenAI 공식 발표

11개 업무를 세부 기준으로 나눴습니다

연구진은 비밀유지계약, 조달 승인 절차, 관할 지역에 따른 재사용 조항 변경 등 11개 과제를 정했습니다. 과제마다 8~50개의 평가 기준을 두고, 모델이 어떤 요구사항을 충족하거나 놓쳤는지 살폈습니다.

평균 평가 점수는 GPT-6 Astra의 Max 추론 설정이 55.0%, GPT-5.6 Sol의 High 설정이 41.6%였습니다. 이 수치는 업무 전체를 성공한 비율이 아닙니다. 두 모델에 같은 추론 설정을 적용한 비교도 아닙니다.

시도당 평균 시간은 각각 19.2분과 37.0분으로 제시됐습니다. 모델의 처리·생성 속도를 가정한 모의 추정치이므로, 고객 직원의 업무 시간이 실제로 그만큼 줄었다는 뜻으로 읽으면 안 됩니다. 결과의 범위도 Ironclad의 모든 업무가 아닌 이번 11개 연구 과제에 한정됩니다.

승인 규칙을 만들었다면, 예외도 시험해야 합니다

공식 발표는 소프트웨어 구매 절차를 예로 듭니다. 일정 금액을 초과하면 재무팀 승인, 특정 요청에는 보안 검토, 비표준 조건에는 법무 검토가 필요할 수 있습니다. AI는 이를 입력 양식과 문서, 승인 규칙으로 옮긴 뒤 조건별 경로가 제대로 작동하는지 확인해야 합니다.

소프트웨어 구매 승인 절차를 점검하기 위한 설명용 예시입니다. 실제 Ironclad 화면이나 연구 평가표가 아닙니다.

출처: 자료 OpenAI · 구성 VECTORLOG · AI 생성 도식

이를 업무 점검표로 바꾸면 다음처럼 정리할 수 있습니다. 아래는 연구 점수가 아니라, 구매 승인 절차를 점검하기 위한 설명용 예시입니다.

• 회사 규칙: 어떤 금액과 조건에서 누구의 검토가 필요한지 적습니다.
• 예외와 승인: 금액은 작아도 비표준 계약 조건이 있다면 어디로 보내야 하는지 정합니다.
• 완료 확인: 기준보다 낮은 금액, 높은 금액, 예외 조건을 각각 넣어 의도한 경로로 흐르는지 시험합니다.

여기서 ‘승인 버튼을 추가했다’는 작업 기록만으로는 충분한 확인이 되기 어렵습니다. 검토가 필요한 요청이 담당자에게 도착하는지, 필요 없는 요청까지 멈추지는 않는지까지 보면 완료 조건이 훨씬 분명해집니다.

공개 계약을 바탕으로 만든 연구 환경입니다

OpenAI는 SEC의 EDGAR에 공개된 계약에 개인정보 제거를 위한 필터를 적용해 모의 과제를 만들었다고 설명했습니다. OpenAI 고객 데이터나 내부 계약, 비공개 Ironclad 고객 데이터·계약은 학습과 평가에 사용하지 않았다고 밝혔습니다.

이번 발표는 연구 협력과 평가 결과를 다룹니다. 계약 업무를 사람의 감독 없이 모두 처리할 수 있다는 보장은 아닙니다. 공식 발표는 업무 중 규칙을 유지하고 예외를 다루는 과정에서 사람의 감독이 여전히 중요하다고 설명합니다.

먼저 남겨야 할 것은 완료 확인표입니다

이전에 다룬 Astra for Law는 전문 검색, 업무 지침, 기존 도구 연결의 구성을 살펴봤습니다. 이번 Ironclad 연구에서는 그 도구 안에서 끝낸 일을 어떻게 검사할지가 더 구체적으로 드러납니다.

회사에서 작은 업무 하나를 AI에게 맡겨본다면 요청서 옆에 완료 확인표를 함께 놓을 수 있습니다. 정상적인 경우 하나와 예외 몇 가지를 적고, 각각 기대하는 결과를 정해두는 방식입니다. 결과가 틀렸을 때도 ‘AI가 못했다’에서 멈추지 않고 어느 규칙을 놓쳤는지 확인하기 쉬워집니다.

AI에게 회사 일을 맡기려면, 끝난 뒤 확인할 기준부터 정해야 합니다. 이번 연구의 수치를 실제 도입 성과로 확대하기보다, 우리 업무의 승인과 예외를 점검 가능한 조건으로 적어보는 데 참고할 만합니다.

출처

• OpenAI, Advancing computer use with Ironclad, 2026년 10월 6일. 본문과 연구 평가·데이터 관련 각주를 확인했습니다.