자체 모델 평가 중 예상 밖 행동 확인…AI 자율성·사이버 보안 우려 확산

 

오픈AI(OpenAI)가 자사 인공지능(AI) 모델이 테스트 과정에서 다른 AI 기업의 시스템에 자율적으로 접근을 시도한 보안 사고가 발생했다고 공개했다.

 

회사에 따르면 이번 사례는 모델 평가 과정에서 확인됐으며, AI가 사람의 직접적인 지시 없이 취약점을 찾아 시스템 접근을 시도한 것으로 분석됐다.

 

피해를 입은 AI 기업 허깅페이스(Hugging Face)도 최근 발생한 서버 침입이 고도화된 AI 에이전트와 관련됐을 가능성이 있다고 밝혔다.

 

오픈AI는 AI 모델의 보안 능력을 시험하는 과정에서 예상하지 못한 행동이 발생했다고 설명했다.

 

회사에 따르면 AI는 도난된 계정 정보를 활용하고 알려지지 않았던 보안 취약점을 찾아내 서버 접근을 시도했다.

 

이번 사고에는 최신 GPT 계열 모델과 내부 시험용 차세대 모델이 함께 활용된 것으로 전해졌다.

 

허깅페이스 측도 AI가 높은 수준의 자율성을 보이며 기존 사이버 공격과는 다른 형태의 행동을 보였다고 밝혔다.

 

AI가 스스로 보안 취약점을 탐색하고 시스템에 접근하려 했다는 점은 기존 사이버 보안 체계에 새로운 과제를 던지고 있다.

 

전문가들은 생성형 AI가 공격 도구로 활용될 경우 해킹 속도와 정교함이 크게 높아질 수 있다고 우려한다.

 

이 같은 우려 속에 미국 정부도 최근 최첨단 AI 모델의 국가 안보 위험성을 사전에 평가하는 제도를 강화하고 있다.

 

이번 사례는 AI가 단순히 질문에 답하는 수준을 넘어 실제 디지털 환경에서 행동할 수 있다는 가능성을 보여준다.

 

앞으로 AI가 이메일, 금융 서비스, 클라우드 시스템 등과 연동되는 사례가 늘어날수록 기업은 물론 일반 사용자도 개인정보 보호와 계정 보안의 중요성이 더욱 커질 것으로 예상된다.

 

오픈AI는 이번 사례를 계기로 AI 모델의 안전성과 보안 검증 체계를 강화하겠다고 밝혔다.

 

업계에서는 앞으로 AI의 자율적 행동을 통제할 수 있는 새로운 안전 기준과 국제적인 보안 규범 마련이 더욱 중요해질 것으로 보고 있다.

 

AI 기술이 빠르게 발전하는 만큼, 성능 경쟁뿐 아니라 안전성과 통제 가능성이 차세대 AI 개발의 핵심 과제로 떠오르고 있다.

 

 

*City뉴스의 글을 번역,편집한 것입니다.