AI 모델 크기 3/1로 축소···성능은 '달리3'보다 5배 향상

ETRI, 신기술 개발...'코알라' 모델 3종과 대화형 시각언어모델 '코라바' 2종 공개

(지디넷코리아=방은주 기자)한국전자통신연구원(ETRI, 원장 방승찬)은 생성형 인공지능과 시각지능 기술을 결합해 문장 입력 시 2초 만에 이미지를 만드는 기술을 일반에 공개한다고 26일 밝혔다.

ETRI는 문장을 입력해 이미지를 만드는데 기존 대비 5배 빠른 ‘코알라(KOALA)’ 3종 모델과 이미지나 영상을 불러와 질의응답을 할 수 있는 대화형 시각언어모델 ‘코라바(Ko-LLaVA)’ 2종 등 총 5종 모델을 선보였다.

‘코알라(KOALA)’ 모델은 공개SW 모델의 2.56B(25억 개) 파라미터를 지식 증류 기법을 적용해 700M(7억 개)로 획기적으로 줄였다고 ETRI는 설명했다. 파라미터 수가 크면 연산량이 많아 시간이 오래 걸리고 서비스 운영 비용도 증가한다.

ETRI 연구진은 모델 크기를 3분의 1로 축소한 반면 고해상도 이미지는 기존 대비 2배, 또 달리(DALL-E)3 대비 5배가량 개선했다고 설명했다. 또 모델 생성 속도를 2초 내외로 만들고 모델 크기도 대폭 줄여, 8GB 저용량 메모리의 저가 그래픽처리장치(GPU)에서도 구동할 수 있다고 덧붙였다.

ETRI는 자체 개발한 파라미터별 ‘코알라(KOALA)’ 3종 모델을 미국 뉴욕 소재 AI스타트업 허깅페이스(HuggingFace)가 만든 AI환경에서 공개했다. 실제 연구진이 '달 아래 화성에서 책을 읽고 있는 우주비행사 사진'이라는 문장을 입력하자, ETRI가 만든 코알라 700M(7억 개)는 1.6초 만에 이미지를 만들어 냈다. 반면 '칼로(카카오브레인)'는 3.8초, '달리 2(오픈AI)'는 12.3초, '달리 3(오픈AI)'는 13.7초 걸렸다고 설명했다.

ETRI는 기존 공개SW인 스테이블 디퓨전 모델 2종, 기업에서 공개한 BK-SDM, 칼로(Karlo), 달리(DALL-E) 2, 달리(DALL-E) 3 등 4종을 포함해 총 9개 모델을 비교, 체험할 수 있는 사이트 및 모델 제공 사이트를 만들어 공개했다.

연구진은 또 챗GPT와 같은 대화형 인공지능에 시각지능 기술을 더해 이미지나 비디오를 불러와 한국어로 이미지나 비디오에 관해 질의응답할 수 있는 대화형 시각언어모델인 ‘코라바(Ko-LLaVA)’ 모델도 함께 공개했다.

이용주 ETRI 시각지능연구실장(맨 왼쪽)과 연구진이 문장을 입력해 이미지를 만드는 코알라(KOALA) 모델을 시연하고 있다.

특히 '코라바(Ko-LLaVA)' 모델은 미국 위스콘신대학교 매디슨과 ETRI 연구진의 국제공동연구로 개발했고, 인공지능 분야 최우수학회인 '뉴립스(NeurIPS‘23)'에 발표했는데, GPT-4 수준의 이미지 해석 능력을 지닌 오픈소스 '라바(LLaVA)'를 활용했다. 연구진은 이미지를 포함한 멀티모달 모델의 대안으로 떠오르고 있는 '라바' 모델을 기반으로 한글을 더욱 잘 이해할 수 있고 기존에 없는 비디오 해석을 할 수 있도록 확장 연구를 진행했다. 아울러, 자체 개발한 한국어 기반 소형 언어 이해 생성 모델(KEByT5)도 사전 공개했다.

또 공개한 모델(330M(Small), 580M(Base), 1.23B(Large) 급)은 신조어와 학습하지 않은 단어를 처리할 수 있는 토큰-프리 기술을 적용했다. 학습 속도는 2.7배 이상, 추론에서는 1.4배 이상 강화했다.

연구진은 현재 생성형 인공지능 시장이 문장 위주의 생성형 모델에서 점차 멀티모달 생성형 모델로 변화가 이뤄지고 있으며, 모델의 크기 경쟁에서 점차 작고 효율적인 모델이 출현할 것으로 예상했다.

ETRI는 "이번에 모델을 공개하는 이유는 모델이 크면 수천 대의 서버가 필요한데 모델을 줄여 중소기업 이용을 활성화해 관련 시장 생태계를 조성한다는 취지"라면서 "앞으로 생성형 AI의 대표적인 공개 언어모델에 시각지능 기술이 더해진 한글 크로스모달 모델에 대한 수요가 많을 것"이라고 예측했다. 특히 연구진은 이번 기술의 핵심 특허가 지식 증류 기반 경량화된 스테이블 디퓨전 기술이라고 설명했다. 인공지능을 활용, 지식을 쌓아 작은 모델로 대형모델 역할을 수행할 수 있는 기술이다.

ETRI는 이번 기술을 일반에 공개한 뒤 이미지 생성서비스, 창작교육 서비스, 콘텐츠 제작 및 사업자 등에 기술이전을 할 계획이다. 또 세계 생성형 인공지능 연구가 문장 입력에서 문장 응답으로 이어지는 유형을 넘어 사진이나 영상을 문장으로 응답해주는 유형, 문장에서 이미지나 비디오로 응답해주는 유형으로 진화하는 것에 발맞춰 세계적 수준의 연구역량을 선보일 방침이다.

ETRI 이용주 시각지능연구실장은 "향후 생성형 인공지능 기술의 다양한 시도를 통해 크기는 작지만, 성능이 뛰어난 다양한 모델을 공개할 계획"이라면서 "글로벌 연구를 통해 기존 거대모델에 대한 의존성을 탈피하고 국내 중소기업이 인공지능 기술을 효과적으로 활용할 기회를 제공할 예정"이라고 밝혔다.

미국 위스콘신대학교 매디슨의 이용재 교수는 “라바(LLaVA) 프로젝트를 총괄하며 GPT-4에 맞서 오픈소스 기반의 시각언어모델 연구를 통해 더 많은 사람이 활용할 수 있는 연구를 진행했다"면서 "향후 ETRI와 국제공동연구를 통해 멀티모달 생성모델에 관한 연구도 지속할 예정"이라고 밝혔다.

ETRI의 이번 성과는 과학기술정보통신부와 정보통신기획평가원(IITP)이 지원하는 한국어 대형 언어모델 기술개발사업 일환으로 '효율적 사전학습이 가능한 한국어 대형 언어모델 사전학습 기술 개발' 과제를 통해 수행했다.

방은주 기자(ejbang@zdnet.co.kr)