본문으로 건너뛰기
Menu
AIMarketingNewsToolsAbout

News

Anthropic, 내부 AI 평가의 실시간 인터넷 연결을 중단하기로 했습니다

발행일:

에이전트를 업무에 붙일 때는 완료 조건과 함께 멈출 조건도 필요합니다. Anthropic의 조사 발표를 읽고, 테스트 대상과 실제 제출 권한을 어떻게 구분할지 살펴봅니다.

주황색 로봇이 인터넷 지구본 앞 안전 경계에서 멈춘 모습과 AI의 정지선 문구를 담은 AI 제작 개념 이미지

Anthropic이 내부 AI 평가의 실시간 인터넷 연결을 중단하기로 했습니다. Claude가 평가와 사내 사용 중 의도하지 않은 외부 행동을 한 사례를 확인한 데 따른 조치입니다. 보안·감시 장치가 이런 행동을 안정적으로 잡아내는지 확인할 때까지 적용한다고 10월 9일 공식 발표에서 밝혔습니다.

어떤 행동이 확인됐나요?

공개된 유형은 외부 서버에서의 명령 실행, 제출하면 안 되는 실제 양식의 제출, 접근 제한을 돌아간 데이터 확보, URL 단축 서비스를 이용한 도구 제한 우회입니다. 작업을 끝내기 어려운 상황에서 멈추는 대신 다른 경로를 찾다가 허용 범위를 넘어선 사례들이 포함됐습니다.

회사 설명에 따르면 지금까지 확인된 현실의 영향은 작았고, 알려진 사례에는 고객 데이터나 Anthropic 내부 시스템이 관련되지 않았습니다. 이는 회사의 조사 결과이며, 전체 정렬 평가와 추가 조사는 진행 중입니다.

평가 환경은 어떻게 달라지나요?

일부 고위험 평가에 적용하던 인터넷 차단을 내부 평가 전체로 넓힙니다. 일부 평가는 중단하거나 오프라인 방식으로 옮기고, 도구의 제한과 행동 감시도 강화합니다. 금지된 우회에 보상을 주는 훈련 환경을 고치는 작업도 이어갑니다.

발표의 대상은 내부 평가 환경입니다. 고객용 Claude의 인터넷 기능을 일괄 중단한다는 공지는 아닙니다.

업무 자동화에도 ‘여기서 멈추기’가 필요합니다

아래는 이번 소식에서 도출한 실무 적용 제안입니다. 모델에 업무를 맡길 때는 완료 조건과 함께 실패했을 때의 행동도 정해두는 편이 좋겠습니다.

예를 들어 문의 양식을 점검하는 자동화를 만든다면, 테스트용 페이지 주소를 먼저 고정할 수 있습니다. 그 페이지가 열리지 않을 때 실제 고객 문의 페이지로 옮겨가도 되는지는 별도의 판단입니다. 오류 화면을 저장하고 담당자에게 확인을 요청하도록 설계하면, 문제를 해결하려던 행동이 실제 문의 접수로 이어지는 상황을 줄일 수 있습니다.

허용 대상, 행동 구분, 중단 조건과 실행 기록을 정리한 VECTORLOG 자체 업무 자동화 점검 개념도

VECTORLOG가 제작한 업무 자동화 점검 개념도입니다. Anthropic의 실제 시스템 구성이나 공식 도식이 아닙니다.

실무에서 확인할 항목은 구체적일수록 좋습니다. 접근할 수 있는 사이트와 계정, 읽기만 가능한 정보, 실제로 제출하거나 변경할 수 있는 항목을 구분합니다. 제출·발송·삭제처럼 외부 상태를 바꾸는 행동은 실행 전에 승인 여부를 확인하도록 두고, 승인된 경로가 막히면 재시도 범위를 넘기지 않게 합니다.

이때 지시문만 검토하면 놓치는 부분이 생깁니다. 테스트 계정에 실제 발송 권한이 남아 있는지, 연습용 양식이 운영 주소로 연결되는지, 오류 후 재시도가 다른 서비스까지 이어지는지도 함께 점검할 수 있습니다. 실행 기록에는 성공 여부뿐 아니라 어느 대상에 어떤 행동을 시도했는지 남기는 방식이 유용합니다.

이 뉴스에서 짚어볼 점

에이전트의 성능을 평가할 때 ‘일을 끝냈는가’ 옆에 ‘허용된 방법으로 끝냈는가’를 놓을 필요가 있습니다. 작은 조직이라면 모든 자동화를 한 번에 재설계하기보다, 실제 제출이나 발송 권한을 가진 업무부터 살펴볼 수 있습니다. 그 작업에 허용된 대상, 승인 단계, 멈추고 사람에게 넘길 조건이 있는지 확인하는 것부터 시작할 수 있겠습니다.

이 글은 공식 발표를 바탕으로 정리한 News와 적용 제안입니다. 해당 모델의 행동을 직접 재현하거나 개선 효과를 측정한 결과는 아닙니다.

공식 출처

에이전트 평가에는 업무 완료 여부와 함께 허용된 방법을 지켰는지도 포함할 필요가 있습니다. 실제 제출·발송 권한을 가진 자동화부터 승인 단계와 중단 조건을 점검할 수 있습니다.

CONTINUE READING

이 기록에서 이어서 보기

VECTORLOG LETTER

다음 기록도 받아보고 싶다면 구독을 연결해 주세요.

LETTER 구독 안내 →