이미지 이해하고 글로 답하는 카카오브레인 '허니비' 공개
전체 맥락을 이해하기 위해서는 본문 보기를 권장합니다.
카카오브레인이 개발한 멀티모달 언어모델 오픈소스 '허니비(Honeybee)'를 '깃허브(Github)'에 공개했다고 19일 밝혔다.
카카오브레인은 이미지와 대규모 언어모델을 연결할 수 있는 새로운 모듈을 제안하고자 높은 수준의 멀티모달 언어모델(MLLM, Multimodal Large Language Model) 오픈소스 '허니비'의 소스코드를 를 공개했다.
이 글자크기로 변경됩니다.
(예시) 가장 빠른 뉴스가 있고 다양한 정보, 쌍방향 소통이 숨쉬는 다음뉴스를 만나보세요. 다음뉴스는 국내외 주요이슈와 실시간 속보, 문화생활 및 다양한 분야의 뉴스를 입체적으로 전달하고 있습니다.
카카오브레인이 개발한 멀티모달 언어모델 오픈소스 '허니비(Honeybee)'를 '깃허브(Github)'에 공개했다고 19일 밝혔다.
카카오브레인은 이미지와 대규모 언어모델을 연결할 수 있는 새로운 모듈을 제안하고자 높은 수준의 멀티모달 언어모델(MLLM, Multimodal Large Language Model) 오픈소스 '허니비'의 소스코드를 를 공개했다. 현재 멀티모달 언어모델에 대한 연구는 공개된 모델의 수가 적고, 학습 방법 역시 자세히 공개되지 않아 개발이 어려운 상황이기 때문이다.
MLLM은 이미지와 명령어(프롬프트)를 입력하면 텍스트로 답변하는 모델이다. 텍스트로만 입력 및 출력하는 대규모 언어모델에서 확장된 형태다. 이미지와 텍스트를 모두 입력할 수 있기에 이미지에 담긴 장면을 묘사하거나 이미지와 텍스트가 혼합된 콘텐츠에 관한 질문을 이해하고 답변할 수 있는 능력을 가진다. 예를 들어 '허니비'에 '농구 경기 중인 두 명의 선수' 이미지와 함께 '왼쪽 선수는 몇 번 우승했나요?'라는 질문을 영어로 입력하면, '허니비'가 입력된 이미지 내용과 질문을 종합적으로 이해하고 답변을 생성해낸다.
그 결과, 'MME', 'MMBench', 'SEED-Bench' 등의 벤치마크(성능 실험)에서 모델이 공개된 타사 MLLM 대비 최고 성능을 달성했다. 특히 지각 능력과 인지 능력을 평가하는 'MME' 벤치마크에서는 2800점 만점 중 1977점을 받았다.
아울러 관련 논문 'Honeybee: Locality-enhanced Projector for Multimodal LLM(허니비: 멀티모달 LLM을 위한 로컬리티 강화 프로젝터)'이 지난해 논문 공개 사이트 '아카이브(arXiv)'에 게재됐다. 논문에는 이 기술에 대해 "이미지 데이터를 처리해 딥러닝 모델이 더 효과적으로 학습하고 이해할 수 있도록 돕는 기술"이라며 "시각 프로젝터(Visual projector)가 사전 훈련된 비전 인코더와 대규모 언어 모델(LLM)을 연결하는 데 중요한 역할을 하며, 이를 통해 시각적 이해를 깊게 하면서 LLM의 능력을 활용할 수 있다"고 설명했다.
카카오브레인은 '허니비'가 향후 효과적인 교육 및 학습 보조 도구로 사용될 것으로 전망하고 있다.
김일두 카카오브레인 각자 대표는 "허니비 모델의 추론을 가능하게 하는 코드도 깃허브에 공개했으며 '허니비'를 활용한 각종 서비스 확장을 고려 중"이라며 "더욱 발전된 AI 모델 확보를 위해 끊임없이 연구개발할 것"이라고 전했다.
최우영 기자 young@mt.co.kr
Copyright © 머니투데이 & mt.co.kr, 무단 전재 및 재배포 금지
- 현아, '정준영 몰카 공유' 용준형과 목격담…누리꾼 "아니라고 해줘" - 머니투데이
- 무심한 표정에 신발신는 전혜진…故이선균 떠나보낸 후 첫 근황 - 머니투데이
- '탕후루집 옆 탕후루집' 상도덕 논란 일파만파…유튜버 "개업 취소" - 머니투데이
- 위암으로 떠난 남편 휴대폰서 '불륜' 흔적…10대 딸은 알고 있었다 - 머니투데이
- 서정희, ♥김태현과 30년 인연…"어머니 소개, 집안끼리 각별" - 머니투데이
- "지하철서 지갑 도난" 한국 온 중국인들 당황…CCTV 100대에 찍힌 수법 - 머니투데이
- "진료 거부 의사에 병원 손실 구상권 청구"…초강수로 돌아선 정부, 왜? - 머니투데이
- "1.1조에 이자도 줘" 러시아 생떼…"삼성重, 큰 타격 없다" 왜? - 머니투데이
- 빵 11개나 담았는데 1만원…"왜 싸요?" 의심했다 단골 된 손님들 - 머니투데이
- 송다은 "버닝썬 루머 사실 아냐…승리 부탁으로 한달 일하고 관둬" - 머니투데이