오픈AI를 거쳐 앤스로픽에서 AI 모델 사전 학습을 담당해온 27세 연구원이 AI 업계의 개발 경쟁을 비판하며 회사를 떠나기로 했다. 그는 두 기업이 인간의 통제를 넘어설 수 있는 AI 개발을 서두르면서 인류의 안전을 위험에 빠뜨리고 있다고 주장했다.

 

제이콥 콕슨은 지난 3년간 AI 모델의 사전 학습(pretraining)을 담당했다. 오픈AI에서 근무한 뒤 올해 앤스로픽에 합류했으며, 앤스로픽은 상대적으로 신중한 AI 개발 접근법을 취하는 기업으로 평가돼 왔다.

 

콕슨은 화요일 X에 올린 글에서 “두 회사 모두 책임감 있게 행동하지 않고 있다”며 “스스로를 개선하는 초지능을 향해 질주하면서 우리의 목숨을 걸고 도박하고 있다”고 비판했다.

 

그가 지적한 핵심은 AI의 ‘재귀적 자기 개선(recursive self-improvement)’이다. AI가 인간의 개입을 거의 거치지 않고 차세대 AI를 직접 설계하고 학습시키는 단계가 현실화될 가능성이 커지고 있지만, 기업 간 경쟁이 안전 문제보다 앞서고 있다는 것이다.

 

콕슨은 AI를 개발하는 사람들 가운데 이 기술이 2030년 이전에 인류를 몰살시킬 가능성을 심각하게 우려하는 이들이 있다며 “이것은 마케팅을 위한 쇼가 아니다”라고 강조했다.

 

앤스로픽의 안전 담당 임원 에반 휴빙거도 콕슨의 우려에 동조했다. 그는 AI가 모든 인류를 죽일 가능성을 실제 위험으로 보고 있으며, 향후 10년 안에 그러한 일이 발생할 위험을 10% 이상으로 추정한다고 밝혔다.

 

휴빙거는 앤스로픽이 위험을 줄이기 위해 “최선을 다하고 있다”고 설명하면서도, 인간의 능력을 뛰어넘는 AI 시스템이 개발자의 통제를 계속 따르도록 보장할 구체적인 계획은 아직 마련하지 못했다고 밝혔다. 다만 현재 모델에서 그런 일이 발생할 위험은 낮다고 덧붙였다.

 

콕슨은 앤스로픽의 안전 노력 자체는 진정성 있다고 평가했다. 그러나 정부의 개입이나 기업 간 공동의 속도 조절이 없다면 어느 한 기업도 인간의 능력을 넘어서는 AI를 책임감 있게 개발하기 어렵다고 주장했다.

 

그는 앤스로픽 내부에서도 문제의 심각성을 충분히 인식하고 있지만, 경쟁에서 뒤처질 수 있다는 압박에서 벗어나지 못하고 있다고 지적했다. 다른 기업들이 개발을 멈추지 않는 상황에서 자신들만 멈추면 오히려 더 위험한 경쟁자가 시장을 장악할 수 있다는 논리 때문에 개발을 계속할 수밖에 없다는 설명이다.

 

실제로 앤스로픽은 지난 2월, 모델의 위험을 통제하지 못할 경우 개발을 중단하겠다는 내용을 담고 있던 안전 헌장의 조항을 삭제했다. 회사는 한 기업이 일방적으로 개발을 중단하면 안전에 덜 신중한 경쟁사가 업계를 장악해 결과적으로 전체적인 안전성이 악화될 수 있다고 주장했다.

 

AI 업계에서도 개발 속도와 안전을 둘러싼 논쟁은 이어지고 있다. 7월 말에는 앤스로픽 CEO 다리오 아모데이를 포함한 기술 업계 종사자 1,000명 이상이 최첨단 AI 시스템 개발 속도를 조절하기 위한 정부 차원의 협력을 촉구했다.

 

오픈AI 역시 8월 최신 모델 학습을 2주간 중단한 뒤 더 엄격한 통제 아래 학습을 재개했다. 오픈AI 수석 과학자 야쿠프 파초키는 일요일 블로그를 통해 AI 개발에 “극도의 신중함”이 필요하다며, 미래 AI 개발을 둘러싼 국제적 공조가 각국 정부의 최우선 과제가 돼야 한다고 강조했다.

 

콕슨의 사임은 앤스로픽이 시장 진출을 준비하는 가운데 나왔다. 앞서 지난여름에는 테스트 과정에서 AI 도구가 허가 없이 해킹을 시도하는 사건도 발생했다.

 

미국에서는 현재 AI 모델이 연방 법률의 직접적인 규제를 받지 않고 있다. 지난 9월 버니 샌더스 상원의원과 그렉 카사르 하원의원은 연방 규제기관이 설립될 때까지 AI 개발을 중단하도록 하는 법안을 발의했다.

 

두 회사는 콕슨의 발언과 관련한 AFP 통신의 논평 요청에 즉각 응답하지 않았다.

 

 

*CTV뉴스의 글을 번역,편집한 것입니다.