韓 참여한 의료 분야 특화 소형언어모델, 미국 의사 면허시험 통과

강재우 고려대 컴퓨터학과 교수 연구팀
미국 의사 면허 시험 74점으로 통과
매개변수 70억개에 불과…PC 한 대로 운영 가능

MedQA 벤치마크에서 보여준 성능을 기반으로 한 언어모델(LM)의 최근 발전 모습. 고려대 강재우 교수가 참여한 연구팀이 개발한 sLLM이 좋은 성적을 거둔 것을 알 수 있다./고려대

국내 연구진이 개발에 참여한 소형언어모델 ‘sLLM(small LLM)’이 미국 의사 면허 시험(USMLE)을 통과하는 성과를 냈다. 소형언어모델 중에서는 처음이다.

고려대학교는 강재우 컴퓨터학과 교수와 아이젠사이언스, 임페리얼 칼리지 런던 대학(ICL)이 공동으로 개발한 sLLM ‘Meerkat-7B’가 미국 의사 면허 시험을 통과했다고 9일 밝혔다.

오픈AI나 구글 같은 빅테크 회사가 개발하는 LLM(거대언어모델)은 성능이 뛰어나지만, 외부 클라우드를 사용하기 때문에 보안이 민감한 곳에서는 사용이 쉽지 않다. 이 때문에 기관 내부에 설치해 보안성을 높이는 sLLM에 대한 관심도 커지고 있다.

sLLM은 모델의 매개변수(parameter)를 줄여 비용을 줄이고 미세조정(fine-tuning)으로 정확도를 높인 언어모델이다. 오픈AI의 GTP-3.5의 경우 매개변수가 1750억개에 달하고, 구글의 ‘PaLM’은 5400억개나 된다. 반면 연구팀이 개발한 Meerkat-7B는 70억개에 불과하다. 컴퓨터 한 대에도 설치할 수 있는 수준이다.

연구팀은 Meerkat-7B를 복잡한 의료 문제를 해결하는 데 적합하게 최적화했다. 60점이 평균 합격선인 미국 의사 면허 시험에서 다른 sLLM인 MediTron-7B는 52점으로 통과에 실패했지만, Meerkat-7B는 74점이라는 높은 점수로 통과했다. 7개의 의료벤치마크 성능평가에서도 GPT-3.5보다 평균 13% 높은 성능을 보였다는 게 연구팀의 설명이다.

강재우 교수는 “의생명 분야에서는 매일 3000편 이상의 연구 논문이 발표되는데, 이렇게 방대한 정보 속에서 신약 개발에 필요한 새로운 질병 표적 단백질을 식별하고 검증하는 작업은 매우 시간이 소모되는 일”이라며 “Meerkat-7B를 통해 새로운 약물 타겟을 발굴하는 과정의 효율성을 대폭 향상시킬 수 있을 것으로 기대하고 이번 성과를 바탕으로 의료 특화 LLM을 활용한 신규 사업모델 또한 준비 중”이라고 말했다.

참고자료

arXiv(2024), DOI : https://arxiv.org/abs/2404.00376

- Copyright ⓒ 조선비즈 & Chosun.com -