건강 문제에 대한 빠른 답을 얻기 위해 인공지능(AI)을 활용하는 캐나다인들이 늘어나는 가운데, ChatGPT와 같은 AI 도구를 자가 진단 목적으로 사용하는 것은 위험할 수 있다는 연구 결과가 나왔다.

 

워털루 대학교의 연구진은 OpenAI의 대규모 언어 모델(LLM)인 ChatGPT-4의 의료 정보 응답 성능을 평가했다. 이 연구에서 챗봇은 의사 면허 시험을 변형한 시나리오 기반의 주관식 의학 질문을 받았다.

 

하지만 결과는 기대에 미치지 못했다. 연구에 따르면, ChatGPT의 응답 중 정확하다고 판단된 답변은 31%, 명확하게 이해할 수 있는 답변은 34%에 불과했다.

 

연구를 이끈 워털루 대학교 박사과정생 트로이 자다(Troy Zada)는 "그리 높은 수치는 아닙니다. 틀린 답을 정답처럼 말한다면, 그건 심각한 문제입니다."라고 지적했다.

 

"AI, 중요한 정보 놓쳤다"

ChatGPT-4는 이전 버전인 3.5에 비해 성능이 향상됐지만, 여전히 의료 전문가를 대체할 수준은 아니라는 평가이다. 예를 들어, 챗봇은 환자의 피부 발진을 세탁 세제 반응으로 오진했지만, 실제 원인은 라텍스 장갑이었다. 이는 AI가 '영안실에서 과학을 공부하는 학생'이라는 정보는 인식했지만, 직업 특성상 라텍스 장갑을 쓸 수 있다는 사실은 반영하지 못한 사례였다.

 

연구진은 AI 챗봇이 객관식 의료 시험에서는 인간 의사보다 나은 결과를 보이기도 하지만, 실제 임상 현장에서는 여전히 신중하게 접근해야 한다고 강조했다.

 

자다는 "AI가 문제없다고 말하더라도, 실제로는 심각한 질환이 있을 수 있습니다. 반대로, 불필요하게 걱정하게 만들 수도 있습니다."라고 설명했다.

 

주치의 없는 캐나다인 수백만 명… AI 의존 우려

현재 수백만 명의 캐나다인이 주치의를 두고 있지 않은 상황에서, AI에 의존하려는 경향이 나타나고 있다. 비록 ChatGPT는 사용자에게 실제 의사와 상담하라고 자주 조언하지만, 여전히 AI에 진단을 맡기는 사람들이 있다는 점에서 우려의 목소리가 크다.

 

연구진은 AI 챗봇의 정보에 오류가 있을 경우, 그 책임을 누구에게 물을 수 있는지 불분명하다는 점도 문제로 지적했다. 반면, 인간 의사는 실수 시 의료 과실 혐의나 면허 박탈 등 법적 책임을 질 수 있다.

 

자다는 "AI가 제공한 답을 무조건적으로 믿기보다, 반드시 검증해야 합니다."라고 조언했다.

 

"의사에게 말 못하는 환자도 있어… 대화 열어야"

AI 활용에 대한 의료계의 우려는 또 있다. 웨스턴 대학교의 소아 신장내과 조교수이자 AI 분야 연구자인 암릿 키르팔라니(Amrit Kirpalani) 박사는, 많은 환자들이 ChatGPT를 사용하고 있지만 의사에게 이를 솔직히 말하지 못하는 경우가 많다고 지적한다.

 

"의사에게 'ChatGPT에서 다른 결과가 나왔다'고 말하고 싶은 사람은 드뭅니다."라며, "의사가 먼저 AI 사용 여부에 대해 환자에게 물어보는 것이 바람직합니다."라고 말했다.

 

그는 또, "AI는 사람보다 설명이 더 설득력 있게 느껴질 수 있습니다. 하지만 그것이 항상 정확하다는 의미는 아닙니다."라고 경고했다. 잘못된 정보라도 명확하고 자신감 있게 전달될 경우, 사람들은 그 말을 더 쉽게 믿을 수 있기 때문이다.

 

"위키피디아처럼, 출발점일 뿐"

키르팔라니 박사는 ChatGPT와 같은 AI 도구를 위키피디아에 비유했다. 유용한 정보원이 될 수는 있지만, 주요 판단의 근거가 되어서는 안 된다는 것이다.

 

"AI는 훌륭한 출발점이 될 수 있습니다. 하지만 의사 결정을 내릴 때는 검증된 전문가의 의견이 필요합니다."

 

연구진은 향후 LLM이 계속 발전한다면 의료 현장에서도 신뢰할 수 있는 도구로 사용될 수 있을 것으로 보고 있지만, 현재로서는 "AI의 응답을 맹목적으로 받아들이지 말아야 한다"고 강조했다.

 

 

*CP24의 글을 번역,편집한 것입니다.