[과기원NOW] UNIST, 몸집 줄고 성능 유지되는 대형언어모델 개발
전체 맥락을 이해하기 위해서는 본문 보기를 권장합니다.
■ 울산과학기술원(UNIST)은 김태환 인공지능대학원 교수 연구팀이 대형언어모델(LLM)의 여러 신경망 층이 '전문가 신경 모듈'을 함께 공유해 활용하는 'GMoE(Global Mixture of Experts)'를 개발했다고 10일 밝혔다. GMoE는 모든 신경망 층이 함께 쓰는 '공용 전문가'와 각 층에 하나씩 배치되는 '전용 전문가'로 구성된다.
이 글자크기로 변경됩니다.
(예시) 가장 빠른 뉴스가 있고 다양한 정보, 쌍방향 소통이 숨쉬는 다음뉴스를 만나보세요. 다음뉴스는 국내외 주요이슈와 실시간 속보, 문화생활 및 다양한 분야의 뉴스를 입체적으로 전달하고 있습니다.
■ 울산과학기술원(UNIST)은 김태환 인공지능대학원 교수 연구팀이 대형언어모델(LLM)의 여러 신경망 층이 '전문가 신경 모듈'을 함께 공유해 활용하는 ‘GMoE(Global Mixture of Experts)’를 개발했다고 10일 밝혔다. GMoE는 모든 신경망 층이 함께 쓰는 ‘공용 전문가’와 각 층에 하나씩 배치되는 ‘전용 전문가’로 구성된다. 여러 층에서 비슷한 기능을 하는 모듈과 매개변수를 반복해 저장하지 않아도 돼 모델 파일 크기와 필요한 메모리를 줄일 수 있는 방법이다. 입력된 토큰을 어느 전문가 모듈로 보낼지 정하는 라우팅 방식도 개선해 특정 전문가 조합으로 입력값이 쏠리는 문제를 줄였다. 연구 결과는 국제 학술대회 ‘계산언어학학회 2026(ACL)’에서 발표됐다.
[문세영 기자 moon09@donga.com]
Copyright © 동아사이언스. 무단전재 및 재배포 금지.