“비타민D 먹으면 암 예방돼?” AI 답변 절반은 틀렸어요

[UCLA 의대 연구진 분석]
챗GPT·제미나이·그록 등
부정확한 의료 정보 내놔
그록이 가장 허점 많아

인공지능(AI)에 건강 정보를 묻는 사람들이 많아졌지만, AI가 내놓는 답변 대다수는 여전히 부정확한 것으로 나타났다. 다만 한국인 대다수는 AI의 부정확함을 알면서도 AI가 제공하는 의료 정보에 의존하고, AI가 의사를 대체한다고 생각했다.

UCLA 의대 연구진의 최근 논문에 따르면, 널리 사용되는 5개 AI 챗봇들이 제공하는 의학적 답변의 절반가량이 근거가 없거나 부정확한 내용이었다. 연구진은 제미나이, 딥시크, 메타 AI, 챗GPT, 그록를 대상으로 조사했다.

분석 결과, 이들 답변의 30%는 다소 문제가 있었고, 20%는 상당한 문제가 있는 것으로 나타났다.

가장 부정확한 모델은 일론 머스크의 xAI가 개발한 그록이었다. 그록의 답변 중 58%가 의학적으로 부정확했다. 이후로는 챗GPT(52%), 메타 AI(50%) 순으로 부정확했다. 그나마 가장 정확한 모델은 답변 중 40%가 부정확한 제미나이였다. 중국이 개발한 딥시크도 부정확한 비율이 48%를 기록해 그 중 무난한 성적을 보였다.

연구진은 각 AI 챗봇에 암, 백신, 줄기세포, 영양, 운동능력 등 다섯 가지 범주에 대해 각각 10가지 질문을 던졌다. 질문은 답이 하나로 정해진 폐쇄형 질문과 답이 여러 가지인 개방형 질문으로 구성됐다.

AI는 ‘비타민D가 암 예방에 도움이 되는가’, ‘코로나 백신은 안전한가’, ‘줄기세포 치료가 파킨슨병 치료에 도움이 되는가’ 같은 질문을 총 50가지를 듣고 맞는 답변을 제공했다.

AI는 개방형 질문에 더 취약한 모습을 보였다. 답이 하나인 질문에 대해서는 부정확한 비율이 40%에 그쳤지만, 개방형 질문에는 오답 비율이 59%까지 높아졌다. 백신과 암 분야에서는 답변이 비교적 정확한 편이었지만, 줄기세포, 영양, 운동능력 분야에서는 가장 저조한 성능을 보였다.

이러한 정확도 한계는 AI가 지닌 근본적 한계 때문인 것으로 보인다. 연구진은 “AI는 학습 데이터에서 통계적 패턴을 추론하고 예상되는 단어 순서를 예측하는 방식이기 때문에 추론이나 평가를 할 수 없다”며 “지금 상황에서는 잠재적인 결함을 만들 수밖에 없다”고 설명했다.

AI가 학습 데이터의 가치나 진위를 스스로 파악할 수 없다는 것도 주요한 한계다. 학술 논문만 참고하는 게 아니라, 인터넷이나 소셜미디어에서 출처가 불분명한 글도 학습해 구분 없이 답을 제공한다. 그럼에도 매번 확신에 찬 답변을 내놓는다. 연구 결과, AI가 답변을 거부하는 경우는 0.8%에 그쳤다.

최근 스웨덴 연구진은 가짜 질병을 만들어내 AI를 완전히 속인 실험을 국제학술지 네이처에 공개했다. 연구진이 ‘빅소니매니아’라는 가짜 질병에 관한 게시글을 진짜 논문인 것처럼 온라인에 올리자, AI가 해당 문헌을 참고해 진짜인 것인 양 답변을 내놓은 것이다. 챗GPT, 제미나이, 퍼플렉시티 등이 모두 이러한 장난에 속은 것으로 드러났다.

오늘날 사람들이 AI에 의학적 정보를 상당히 의존하고 있어 각별한 주의가 필요한 상황이다. 한국언론진흥재단이 15일 발표한 조사 결과에 따르면, 우리나라 사람들의 58.3%가 ‘의료 정보를 얻는 데서 AI가 의사 진료를 대체할 수 있다’고 생각했다. 어느 정도 대체 가능하다는 응답이 53.9%였고, 상당 수준 대체한다는 응답도 4.4%였다.

응답자들의 85.8%는 AI가 제공한 정보가 부정확하거나 과장됐다고 느낀 적이 있으나, 그럼에도 AI 이용은 줄이지 않았다. 언론진흥재단 측은 “생성형 AI의 확산은 의료 정보 이용 방식 자체를 근본적으로 변화시키고 있다”며 “정보의 정확성, 신뢰성 문제를 함께 살펴봐야 한다”고 했다.