인공지능(AI) 기술이 급속도로 발전하는 가운데, AI가 인간의 개입 없이 스스로 성능을 개선하는 단계에 가까워지고 있다는 경고가 제기됐다. AI 기업들은 기술 경쟁에만 집중할 것이 아니라, 통제 장치와 안전장치 구축을 서둘러야 한다는 목소리가 커지고 있다.

 

AI 기업 앤트로픽(Anthropic)의 마리나 파바로 소장과 공동 창립자인 잭 클라크는 최근 블로그 게시글을 통해 “완전 재귀적 자기 개선(Fully Recursive Self-Improvement)” 능력을 갖춘 AI 시대가 예상보다 빨리 도래할 수 있다고 경고했다.

 

완전 재귀적 자기 개선은 AI가 인간의 개입 없이 스스로 차세대 모델을 설계·개선하는 개념이다. 연구진은 이 기술이 과학, 의료, 연구 생산성 향상에 큰 잠재력을 갖고 있지만, 동시에 인간이 시스템 통제력을 잃을 위험도 키울 수 있다고 지적했다.

 

두 연구자는 “AI 시스템이 후속 모델을 독립적으로 구축할 수 있게 되면 보호 장치, 감시 체계, 행동 통제가 훨씬 더 중요해진다”며 “기술 발전 속도가 안전 연구 속도를 앞지를 가능성이 있다”고 밝혔다.

 

앤트로픽은 특히 업계가 최첨단 AI 개발 속도를 늦추거나 일시적으로 조정하는 방안도 검토해야 한다고 주장했다. 연구자들이 잠재적 위험을 충분히 이해하고 대응 체계를 마련할 시간을 확보해야 한다는 취지다.

 

클라크 공동 창립자는 CNN 인터뷰에서도 AI 산업에 ‘브레이크 페달’ 구축 필요성을 강조했다.

 

그는 “우리가 운전하는 자동차에는 가속 페달뿐 아니라 브레이크도 있다”며 “AI 역시 미래에는 확실한 제어 장치가 필요하다”고 말했다.

 

AI 위험성에 대한 질문에 그는 대중문화 속 인공지능 재난 시나리오를 직접 언급하기보다, 기술 통제 문제를 더 현실적인 우려로 제시했다.

 

클라크는 “이전보다 훨씬 빠른 속도로 발전하는 거대한 과학 시스템을 어떻게 관리할 것인가가 핵심 질문”이라며, AI 행동을 검증하고 신뢰성을 확보하는 문제가 여전히 해결되지 않은 과제라고 설명했다.

 

이번 경고는 앤트로픽이 기업공개(IPO)를 추진하는 가운데 나왔다. AI 업계는 데이터센터와 연산 인프라 확보 경쟁이 치열해지면서 수십억 달러 규모 투자 유치 경쟁을 벌이고 있다.

 

업계 일각에서는 막대한 자금 경쟁 속에서 기업들이 안전 문제 해결을 위해 협력할 수 있겠느냐는 회의론도 나온다.

 

이에 대해 클라크는 과거 핵무기 통제 사례를 언급하며 국제적 협력이 가능하다고 주장했다.

 

그는 “냉전 시기에도 경쟁국들은 핵 위험을 줄이기 위한 체계를 만들었다”며 “AI 역시 국제 협력과 공통 규칙 구축이 필요한 시점”이라고 말했다.

 

AI 기술 경쟁이 가속화되는 가운데, 업계 내부에서조차 기술 발전 속도보다 통제 장치 구축이 뒤처질 수 있다는 우려가 확산되고 있다.

 

 

*CTV뉴스의 글을 번역,편집한 것입니다.