연세대, GPT 대체할 ‘디퓨전 언어모델’ 연구…AI 최고 권위 학회 등재

챗 GPT보다 10배 빠른 속도…오류 발생 보완 기법 도입

(왼쪽부터) 연세대 인공지능융합대학 서영빈 연구원, 여진영 교수, 김재형 교수, 이동하 교수 (연세대학교 제공)

(서울=뉴스1) 송송이 기자 = 연세대학교는 인공지능융합대학 서영빈 연구원이 제1 저자로 제출한 논문이 세계 최고 권위의 머신러닝 학회인 뉴립스(NeurIPS)에서 스포트라이트(Spotlight) 등급에 채택됐다고 26일 밝혔다.

스포트라이트 등급은 전체 제출작 중 상위 약 3%에게 주어지는 등급이다. 이번 성과는 국내 연구 기관이 주도한 디퓨전 언어모델 연구가 국제적으로 검증받은 최초 사례다.

이번 논문은 '디퓨전' 패러다임을 언어 생성에 적용한 것이다.

디퓨전 언어모델은 챗 GPT와 같은 자가 회귀 언어모델이 1000단어를 생성하기 위해 1000단계를 거쳐야 하는 것과 달리 100단계 만에 결과를 낼 수 있는 것이 특징이다.

연구팀은 “사람 머릿속에서 생각이 한 번에 ‘반짝’ 떠오르는 것과 유사한 방식으로 빠르고 유창한 생성이 가능하다"고 설명했다.

논문에는 불안정성을 줄이는 방법도 제시됐다. 디퓨전 언어모델은 한 번에 여러 단어를 생성할 수 있는 장점이 있지만, 긴 글에서는 문법 오류나 문맥의 불연속성이 발생하기 쉽다. 이를 해결하기 위해 컨볼루션 디코딩과 R2FT라는 두 가지 기법을 도입했다. 그 결과 기존 언어모델보다 3배 이상 빠른 속도를 내면서도 문법적 안정성과 질문 응답 성능을 유지했다.

서 연구원은 "디퓨전 언어모델의 장점인 빠른 속도와 양방향 주의는 강화학습에서도 중요한 특성”이라며, “이러한 장점 덕분에 기존 자가 회귀 패러다임을 대체할 가능성이 있다고 보고 연구를 시작했다”고 말했다.

이번 연구는 여진영·김재형·이동하 연세대 인공지능학과 교수와의 협력으로 진행됐다. 여진영 교수는 “이번 성과는 기존 언어모델을 대체할 수 있는 핵심 기술로서 디퓨전 언어모델의 잠재력을 한 단계 끌어올렸다”며, “최근 ChatGPT와 같은 챗봇 서비스에서도 오랜 시간 생각을 거쳐 답변을 시작하는 방식이 보편화되고 있기 때문에 생성 속도를 비약적으로 끌어올릴 수 있는 디퓨전 언어모델은 산업적으로 잠재성이 높다"고 말했다.

뉴립스 학회는 12월 2~7일 미국 샌디에이고 컨벤션센터에서 열린다.

mark834@news1.kr