전문가 79% “챗GPT 답변이 의사보다 낫다”

[사이언스 카페]
어느쪽 답변인지 모르게 평가 결과
공감도·정보의 질도 챗GPT 우수

생성형 인공지능(AI) 챗GPT와 의사의 의학 질문에 대한 답변을 비교해보니 챗GPT 답변이 정보의 질과 공감도 등 여러 면에서 더 뛰어나다는 연구 결과가 나왔다.

챗gpt 로고. /연합뉴스

미 샌디에이고 캘리포니아대(UCSD) 퀄컴연구소 연구팀은 인공지능(AI) 비서가 의학 분야에서 어떤 역할을 수행할 수 있는지 알기 위해 챗GPT와 의사의 답변을 비교 분석한 결과를 미국의학협회 학술지(JAMA) ‘JAMA 내과학’ 최신호에 발표했다.

연구팀은 온라인 커뮤니티 ‘레딧’의 ‘에스크닥스’ 게시판에 올라온 질문 중 195개를 무작위로 선정했다. 에스크닥스는 약 45만2000명의 회원이 의학 질문을 게시하면 의사 면허를 가진 전문가들이 답변해주는 공간이다.

연구팀은 195개 질문과 답변을 세 명의 의료 전문가에게 블라인드 형식으로 보여줬고, 전문가들은 각각 답변에 대해 ‘어느 응답이 더 나은지’ ‘정보의 질’ ‘공감도’ 등 세 가지 문항으로 평가했다. 그 결과 전체 전문가 평가 중 79%가 챗GPT의 응답이 의사보다 낫다고 답했다. 정보의 질도 챗GPT가 ‘우수’하거나 ‘매우 우수’하다는 응답이 의사보다 3.6배 높았고 공감도도 챗GPT가 의사보다 9.8배 높았다.

연구팀은 의사가 환자 중심 진료를 위한 맞춤형 의료 조언을 AI에게 받을 수 있고, AI가 직접 환자와 소통하는 역할도 수행할 수 있을 것으로 내다봤다. 특히 코로나를 겪으며 비대면 진료가 늘어나고 있는 만큼 AI가 의사의 부담을 크게 낮출 수 있을 것으로 기대했다. 논문 공동 저자 애덤 폴리악 교수는 “의사를 완전히 쫓아내는 것이 아니라 의사가 AI를 활용하는 것이 환자의 공감을 더 잘 이끌어낼 수 있는 방법이라는 것”이라고 밝혔다.

의료 전문가 평가에서 챗GPT 답변은 78.5%가 '우수' 또는 '매우 우수' 평가를 받았으나 의사 답변은 22.1%만 '우수'와 '매우 우수'로 평가됐다. 표A(왼쪽)는 '정보의 질'에 대해, 표B(오른쪽)는 '공감도'에 대한 측정값을 표시했다./UCSD 제공