[아무Tech]의료전문가가 평가한 '챗GPT' 의료 답변?…"도움 될 수도"

온라인에 올라온 의사의 답변을 챗GPT와 비교 평가 연구…"실제 소통과정과는 다른 한계 있어"
품질·공감도에서 챗GPT 답변이 더 좋은 평가 받아

21일 경북 포항시 북구 흥해읍 용한리에 있는 한국로봇융합연구원 안전로봇실증센터에서 열린 우수 기술설명회에서 의료서비스로봇이 가상 환자를 상대로 문진하고 있다. (사진은 기사 내용과 무관함) 2022.2.21/뉴스1 ⓒ News1 최창호 기자

(서울=뉴스1) 김승준 기자 = 챗GPT가 온라인에 올라온 의료 질문에 답변한 결과가 의사들보다 좋은 평가를 받았다는 연구가 나왔다.

존 에어스(John Ayers) 미국 캘리포니아 샌디에이고 대학 박사 연구팀은 미국의사협회 내과 저널(JAMA Internal Medicine)에 AI챗봇과 의사의 응답을 비교한 논문을 지난달 28일 발표했다.

이번 연구는 한국의 네이버 지식인과 비슷한 방식으로 운영되는 레딧의 '의사에게 물어보세요'(AskDocs)에 올라온 질문을 가지고 수행됐다.

이 서비스는 답변자의 전문성을 확보하기 위해 의료인 인증 시스템이 있다. 연구팀은 의사 인증이 이뤄진 답변과 질문 195개 쌍을 무작위로 추출했다. 이후 질문을 챗GPT에 입력해 결과물을 모았다.

이후 연구팀은 의료전문가들에게 질문과 누가 답변했는지 가린 두 개의 답변을 주고 평가하도록 했다.

평가자들은 78.6%의 질문에서 챗GPT의 답변을 더 선호했다. 또 챗GPT의 응답이 더 품질이 좋고 질문자에 대한 공감도도 높은 것으로 나타났다. 5점만점으로 챗GPT는 품질 4.13점, 공감도 3.65점을 받았지만 의사의 답변은 품질 3.26점, 공감도 2.15점으로 나타났다.

연구팀은 "이번 연구가 온라인에서이 질문·답변인만큼 일반적인 환자-의사의 소통과는 다를 수 있다. 실제 의사는 환자와의 관계를 맺으며 과거 기록 등 사전 지식을 가지고 답변한다"며 "환자와의 소통에서 AI의 보조는 의사와 환자 모두에게 이로울 가능성이 있다"고 설명했다.

이어 "(이번 실험이 이뤄진) 의료전문가의 평가와 환자의 평가는 다를 수 있다"며 "의료 분야에서 AI의 보조를 허용하는 것은 다양한 윤리적 문제가 있을 수 있다. 또 AI가 생성한 콘텐츠의 정확성과 진실성에 대한 사람의 검토도 필요하다"고 덧붙였다.

seungjun241@news1.kr