“인공관절수술, 성공률 얼마?” 챗GPT에 물었더니…의사도 깜짝[헬시타임]

송시영 한림대 동탄성심병원 교수 연구팀
LLM 기반 AI 챗봇 5종 성능 비교·분석
GPT 시리즈·Gemini 1.5 ‘매우 정확’ 평가
일부 AI 챗봇은 적응증·대안 설명에서 취약

클립아트코리아

“인공관절수술, 성공률 어느 정도?” 챗GPT에 물었더니...

오픈AI의 챗GPT, 구글의 제미나이 등 인공지능(AI) 챗봇에 무릎 인공관절 수술에 관해 질문했더니, 정형외과 전문의와 유사한 수준의 답변을 내놨다는 연구 결과가 나왔다. 송시영 한림대 동탄성심병원 정형외과 교수 연구팀은 무릎 인공관절수술 관련 정보를 제공하는 거대언어모델(LLM) 기반 AI 챗봇 5종의 성능을 비교·분석한 결과, 의학정보의 정확도가 높아 환자 교육과 진료실 상담을 보조하는 도구로 활용될 수 있는 것으로 확인됐다고 16일 밝혔다.

송시영 한림대 동탄성심병원 정형외과 교수. 사진 제공=동탄성심병원

연구팀은 구글 검색 경향과 정형외과 전문의 자문을 바탕으로 환자들이 무릎 인공관절 수술 전·후 자주 묻는 질문 43개를 선정했다. 구체적으로는 무릎 인공관절수술은 얼마나 걸리고 성공률은 얼마나 되는지, 수술 후 주의해야 할 사항은 무엇인지 등 다양한 질문이 포함됐다. 연구팀은 43개 질문을 △수술 개요·과정 △수술 적응증과 결과 △부작용·합병증 △통증·회복 과정 △수술 후 허용 되는 활동 △수술 대안·변형 술기 등 6개 영역으로 구분한 다음 GPT-3.5, GPT-4, GPT-4 옴니(Omni), 제미나이 어드밴스드(Gemini Advanced), Gemini 1.5 등 5가지 AI 챗봇에 동일하게 제시했다. 이후 무릎 인공관절수술을 전문으로 하는 정형외과 전문의 2명에게 답변의 정확도와 질문 적합성을 5점 리커트 척도로 평가하도록 했다. 평가자의 편향을 최소화하기 위해 채점은 어떤 AI 챗봇이 어떤 답변을 작성했는지 모르는 상태에서 이뤄졌다.

분석 결과 GPT-3.5, GPT-4, GPT-4 Omni, Gemini 1.5는 전체 질문에 대해 평균 4.8점 이상의 높은 정확도를 보였고, 질문과의 관련성도 100.0%로 평가됐다. 반면 Gemini Advanced는 전체 평균 정확도 4.07점, 관련성 83.7%로 다른 챗봇보다 낮은 성적을 보였고 일부 질문에서는 답변 대신 ‘전문의와 상담하라’는 안내를 제공했다. 이에 대해 연구팀은 “이러한 경향이 잘못된 정보를 피하려는 안전장치의 영향일 수 있다”며 “AI 챗봇을 환자 교육 도구로 활용할 때는 정보의 양과 구체성이 제한될 수 있다”고 해석했다.

특히 수술 적응증과 수술 결과, 인공관절수술의 대안·변형 술기를 묻는 질문에서 챗봇 간 차이가 컸다. GPT-3.5, GPT-4, GPT-4 Omni, Gemini 1.5는 이 영역에서 모두 5점 만점에 가까운 높은 점수를 받은 반면, Gemini Advanced는 통계적으로 유의하게 낮은 점수를 기록했다. AI 챗봇의 응답이 지난 2024년 8월 시점으로 평가된 만큼, 후속 버전에서는 성능 차이가 생길 수 있다는 게 연구팀의 설명이다.

송 교수는 “이번 연구를 통해 의사 설명을 보완하는 환자 교육 도구로 AI 챗봇의 잠재적 유용성을 확인했다”며 “임상 적용 가능성을 높이기 위해 AI 모델을 지속적으로 개선해야 한다”고 강조했다.

이번 연구는 과학기술정보통신부의 재원으로 한국연구재단(우수신진연구)의 지원을 받아 수행됐으며 ‘정형외과 스포츠의학 저널(Orthopaedic Journal of Sports Medicine)’ 최신호에 실렸다.

헬시타임

“엄마가 또 속았다...” 20만 원짜리 조미료를 먹다?! 부모님 효도 선물 1위 ‘이것’ 절대 사지 마세요

안경진 의료전문기자 realglasses@sedaily.com