워털루대학교 연구진이 AI로 생성된 콘텐츠에 삽입된 워터마크를 손쉽게 제거할 수 있는 도구를 개발했다. 이들은 이번 연구가 딥페이크 대응책으로 워터마킹만을 신뢰하는 현재의 접근 방식이 얼마나 취약한지를 보여준다고 말했다.

 

이 프로젝트를 주도한 컴퓨터과학 박사과정생 안드레 카시스는 "학계와 업계가 워터마킹을 딥페이크 방지의 유일한 수단처럼 여기고, 다른 접근법은 사실상 포기한 상태"라고 지적했다.

 

2023년 백악관 주관 행사에서 OpenAI, Meta, Google, Amazon 등 주요 AI 기업들은 생성된 콘텐츠를 식별하기 위해 워터마킹 기술을 도입하겠다고 약속했다. 워터마킹은 육안으로는 보이지 않지만, 다른 시스템이 인식할 수 있는 숨겨진 서명이나 패턴을 포함하는 기술이다.

 

그러나 카시스는 이번 연구를 통해 워터마킹만으로는 AI 콘텐츠의 위협을 충분히 막을 수 없다는 점을 입증했다고 말했다.

 

“이 도구는 현 시점에서 딥페이크에 실질적으로 대응할 수 있는 효과적인 수단이 없다는 사실을 보여줍니다.”

 

연구진이 개발한 이 도구는 ‘언마커(UnMarker)’라는 이름의 소프트웨어로, 메릴랜드대, UC버클리, 카네기멜론대, 스위스의 ETH 취리히 등 다른 학계 연구를 바탕으로 개발됐다.

 

카시스는 “언마커는 워터마크 알고리즘의 작동 방식이나 내부 매개변수, 또는 감지 시스템과의 상호작용 없이도 워터마크를 제거할 수 있는 것이 특징”이라며, 기존 연구들보다 한 걸음 더 나아간 기술이라고 설명했다.

 

워털루대 보도자료에 따르면 언마커는 다양한 AI 모델에서 50% 이상의 성공률을 기록했다.

 

카시스는 AI가 딥페이크 제작, 허위 정보 유포, 사기 등에 악용될 수 있는 만큼, 생성된 콘텐츠를 식별할 수 있는 신뢰 가능한 기술이 필수라고 강조했다.

 

AI 콘텐츠 탐지기가 점점 무력화되는 상황에서, 워터마킹은 생성 단계에서 콘텐츠의 진위를 구분하려는 시도로 주목받고 있다. 유럽연합의 AI법도 합성 콘텐츠를 생산하는 시스템 제공업체에게 워터마킹 같은 식별 기술의 도입을 의무화하고 있다.

 

캐나다 연방 정부도 2023년 자발적 행동 강령을 통해, AI 시스템 개발자들에게 “신뢰 가능하고 무료로 접근 가능한 콘텐츠 감지 방법”을 마련하도록 요구하고 있다. 당분간은 시청각 콘텐츠에 중점을 둔 워터마킹 방식이 우선 적용될 예정이다.

 

카시스는 언마커가 워터마크의 구조나 출처를 몰라도 제거할 수 있으며, “이 도구를 통해 단 2분 만에 워터마크가 제거된, 원본과 시각적으로 동일한 이미지를 생성할 수 있다”고 밝혔다.

 

그는 “수십억 달러가 투입된 기술이지만, 단 두 번의 클릭으로 무력화된다는 점이 아이러니하다”며, AI 기업들이 워터마킹 기술 경쟁에만 집중할 것이 아니라, 보다 포괄적인 대응책 마련에 나서야 한다고 촉구했다.

 

“현재 워터마킹이 딥페이크 방지를 위한 사실상의 표준처럼 여겨지고 있지만, 이제는 모두가 한 발 물러서서 근본적인 해결책을 다시 고민해야 할 때입니다.”
 

 

*CTV뉴스의 글을 번역,편집한 것입니다.