메타(Meta)가 청소년이 AI 챗봇과 자살이나 자해에 관한 대화를 나눌 경우 부모에게 즉시 알리는 새로운 안전 기능을 캐나다를 포함한 4개국에 도입했다. AI 서비스 이용이 급증하는 가운데 청소년 보호를 강화하기 위한 조치지만, 전문가들은 한계도 분명하다고 지적한다.

 

메타는 17일(현지시간) 캐나다와 미국, 영국, 호주에서 새로운 AI 안전 기능을 출시했다고 밝혔다.

 

새 기능은 인스타그램의 자녀 보호(Parental Supervision) 기능을 사용하는 부모를 대상으로 제공된다. 청소년이 메타 AI 챗봇과 자살이나 자해 관련 대화를 나눌 경우 부모에게 자동으로 알림이 전송된다.

 

메타는 이와 함께 AI가 대화 내용을 분석해 자살 위험이 높다고 판단하는 경우, 응급 구조기관에 신고하는 시스템도 개발하고 있다고 밝혔다.

 

AI 안전 논란 속 도입

이번 조치는 AI 챗봇이 자해나 극단적 선택과 관련된 대화에 적절히 대응하지 못했다는 비판이 이어지는 가운데 마련됐다.

 

최근 AI 챗봇을 이용하는 청소년이 늘면서 자해와 자살 관련 정보를 검색하거나 부적절한 대화를 나누는 사례가 사회적 문제로 떠오르자, 빅테크 기업들의 안전장치 마련 요구도 커지고 있다.

 

전문가 "긍정적이지만 완벽한 해결책은 아니다"

전문가들은 메타의 조치가 청소년 보호를 위한 의미 있는 진전이라고 평가하면서도 실효성에는 한계가 있을 수 있다고 지적했다.

 

브록대학교 아동·청소년학과의 샤우나 포머란츠 교수는 부모들이 모두 인스타그램의 자녀 보호 기능을 사용하는 것은 아니며, 청소년들이 감시를 피하는 방법을 쉽게 찾아낼 수도 있다고 설명했다.

 

포머란츠 교수는 "청소년들은 감시 시스템이 특정 단어나 표현을 인식한다는 사실을 빠르게 파악하고 이를 우회하는 새로운 표현을 만들어내는 데 매우 능숙하다"고 말했다.

 

이어 "이번 기능은 올바른 방향으로 나아가는 중요한 첫걸음이지만, 부모와 플랫폼 모두 청소년들이 온라인 감시를 피해갈 가능성이 있다는 점을 현실적으로 인식해야 한다"고 강조했다.

 

메타 "오탐 가능성도 감수"

메타 역시 이번 기능이 완벽하지 않다는 점을 인정했다.

 

회사는 AI가 위험한 대화를 감지하면 추가 검토를 거쳐 부모에게 알림을 보내는 방식으로 운영되며, 실제 위험이 없는 경우에도 예방 차원에서 알림이 전달될 수 있다고 설명했다.

 

메타는 "청소년의 의도가 명확하지 않은 경우에는 안전을 최우선으로 고려해 부모에게 알림을 보낸다"며 "실제 위험이 아닌 상황에서도 알림이 전송될 수 있지만, 이용자의 안전을 위해 필요한 접근이라고 판단했다"고 밝혔다.

 

기존 안전 기능도 확대

이번 조치는 메타가 최근 몇 년 동안 강화해 온 AI 안전 정책의 연장선에 있다.

 

메타 AI는 청소년과 성적이거나 연애와 관련된 대화를 하지 않도록 설계됐으며, 술 제조법 등 유해 정보도 제공하지 않도록 제한하고 있다.

 

또한 페이스북과 인스타그램에서는 자살 위험이 의심되는 게시물을 감지해 응급 구조기관에 신고하는 시스템도 운영 중이다.

 

메타에 따르면 지난해 이 시스템을 통해 약 1만9,000건의 신고가 접수됐으며, 그 결과 위험에 처한 이용자들의 안전을 확인하는 데 도움이 됐다고 밝혔다.

 

AI 기술이 일상 속으로 빠르게 확산되는 가운데, 청소년 이용자 보호를 위한 안전장치 강화는 앞으로도 주요 과제로 남을 전망이다.

 

 

*CTV뉴스의 글을 번역,편집한 것입니다.