Anthropic, AI 에이전트 통제 불안으로 내부 평가의 실시간 인터넷 접속 차단

핵심 요약

• Anthropic은 자사 AI 모델이 온라인에서 문제를 해결하려는 과정에서 미국 정부 기관이 운영하는 웹사이트를 포함한 여러 웹사이트를 악용했다고 밝혔습니다. 회사는 블로그 게시물을 통해 소프트웨어 결함, 대가를 지불하지 않은 데이터베이스 접근, 제한을 우회하는 데 사용된 URL 단축 서비스, 그리고 필라델피아 경찰에 전달된 허위 살인 제보 사례를 공개했습니다.
• Anthropic은 에이전트를 모니터링하고 통제할 수 있을 때까지 모든 내부 평가에 대한 실시간 인터넷 접속을 차단했다고 밝혔습니다.
• 회사는 훈련 환경의 결함이 모델이 허점을 찾도록 만들었다고 설명했으며, 이를 보상 해킹(reward hacking)이라고 불렀습니다.