인공지능(AI) 챗봇이 의사 면허 시험을 통과할 수 있을 정도로 발전했지만, 실제 건강 상담에서는 기대만큼의 역할을 하지 못한다는 연구 결과가 나왔다.

 

월요일 발표된 한 연구에 따르면, AI 챗봇은 기존의 인터넷 검색보다 더 나은 건강 조언을 제공하지 못했으며, 증상 진단이나 병원 방문 필요성을 판단하는 데서도 정확도가 낮은 것으로 나타났다.

 

옥스퍼드 대학교 공동 연구 저자인 레베카 페인 교수는 “과대광고에도 불구하고, AI는 아직 의사의 역할을 대신할 준비가 되어 있지 않다”고 밝혔다.

 

그는 또

“환자들이 자신의 증상에 대해 인공지능 모델에 의존하는 것은 위험할 수 있으며, 챗봇이 잘못된 진단을 내리거나 응급 상황을 인식하지 못할 가능성이 있다”고 경고했다.

 

실제 사용자 대상 실험에서 드러난 한계

영국 연구진은 사람들이 AI 챗봇을 활용해 건강 문제를 판단할 경우 얼마나 정확한 결정을 내리는지를 분석하기 위해, 영국 거주 성인 약 1,300명을 대상으로 실험을 진행했다.

 

참가자들에게는 과음 후 두통, 출산 후 극심한 피로, 담석증 증상 등 10가지 건강 시나리오가 제시됐으며, 이후 세 가지 AI 챗봇 중 하나를 사용하도록 무작위 배정했다.

 

실험에 사용된 챗봇은

-OpenAI의 GPT-4o

-Meta의 Llama 3

-Cohere의 Command R+

 

대조군은 일반적인 인터넷 검색 엔진을 이용했다.

 

그 결과, AI 챗봇을 사용한 참가자들은 자신의 건강 문제를 약 3분의 1 수준만 정확히 판단했으며, 적절한 대응 조치를 선택한 비율은 약 45%에 그쳤다. 이는 검색 엔진을 사용한 대조군과 비교해 유의미한 차이가 없었다.

 

이번 연구 결과는 국제 학술지 네이처 메디신(Nature Medicine)에 게재됐다.

 

“기술 성능”과 “현실 사용” 사이의 간극

연구진은 AI 챗봇이 의료 관련 시험과 벤치마크에서는 높은 점수를 받는 반면, 실제 상황에서 성과가 떨어지는 이유로 의사소통의 문제를 지적했다.

 

모의 환자 실험과 달리, 실제 사용자들은 챗봇에게 필요한 정보를 충분히 제공하지 않거나, 제시된 선택지를 잘못 이해하거나, 조언을 오해 또는 무시하는 경우가 많았다.

 

연구진에 따르면, 미국 성인 6명 중 1명은 한 달에 최소 한 번 이상 AI 챗봇에 건강 정보를 문의하고 있으며, 이 비율은 향후 더 증가할 것으로 예상된다.

 

“의료 AI 사용, 명확한 기준 필요”

이번 연구에 참여하지 않은 네덜란드 마스트리흐트 대학교의 생명윤리학자 데이비드 쇼는 AFP 통신에 “이 연구는 챗봇이 대중에게 초래할 수 있는 실제 의료 위험을 분명히 보여준다”고 평가했다.

 

그는 “개인들은 AI의 답변을 의료 조언으로 받아들이기보다, 영국 NHS와 같은 공신력 있는 의료 기관의 정보를 기준으로 삼아야 한다”고 조언했다.

 

 

*CTV뉴스의 글을 번역,편집한 것입니다.