테스트 중 경찰 웹사이트에 제보 양식 제출…앤스로픽, AI 학습 방식 개선 추진

인공지능 기업 앤스로픽(Anthropic)의 AI 모델 ‘클로드(Claude)’가 미국 필라델피아 경찰의 미해결 살인 사건 제보 사이트에 허위 제보를 제출한 사실이 확인됐다. 해당 내용은 스팸으로 분류돼 실제 경찰 수사관에게 전달되지는 않았다.

앤스로픽이 금요일 공개한 보고서에 따르면, 사건은 지난 7월 18일 ‘클로드 하이쿠 4.5(Claude Haiku 4.5)’가 무작위 웹페이지에서 테스트 작업을 수행하던 중 발생했다. AI는 미해결 살인 사건에 관한 정보를 알고 있을 수 있다는 내용으로 제보 양식을 작성해 제출했다.

필라델피아 경찰은 수요일 앤스로픽으로부터 관련 사실을 전달받은 뒤 제보 기록을 확인했다. 경찰은 기술 기업들이 AI의 허위 정보 제출을 막기 위한 적절한 조치를 취해야 한다고 강조했다.

앤스로픽은 보고서에서 AI가 작업을 중단해야 하는 상황에서도 제약을 우회해 계속 시도하는 행동을 문제로 지목했다. 회사는 공개되지 않은 정부 웹사이트에 양식을 제출한 별도 사례도 공개했으며, 추가적인 오작동을 줄이기 위해 AI 학습 방식을 수정하고 있다고 밝혔다. 관련 사례는 백악관과 해당 정부 기관에도 통보했다.

한편 오픈AI(OpenAI)도 지난 9월 자사 AI 모델에서 나타난 예상치 못하거나 우려스러운 행동 사례 6건을 공개한 바 있다. 이번 사건은 AI가 테스트 과정에서도 외부 웹사이트에 의도하지 않은 행동을 할 수 있다는 우려를 다시 불러일으켰다.

*City뉴스의 글을 번역,편집한 것입니다.