카카오, AI 언어모델 '허니비' 공개…사진 주면 바로 설명 가능
전체 맥락을 이해하기 위해서는 본문 보기를 권장합니다.
카카오브레인이 이미지와 대규모 언어모델(LLM)을 연결할 수 있는 언어모델(MLLM) '허니비(Honeybee)'를 오픈소스 커뮤니티 '깃허브(Github)'에 공개했다고 19일 밝혔다.
MLLM은 이미지와 명령어(프롬프트)를 입력하면 텍스트로 답변하는 모델로 텍스트로만 입·출력하는 LLM보다 확장된 형태다.
이 글자크기로 변경됩니다.
(예시) 가장 빠른 뉴스가 있고 다양한 정보, 쌍방향 소통이 숨쉬는 다음뉴스를 만나보세요. 다음뉴스는 국내외 주요이슈와 실시간 속보, 문화생활 및 다양한 분야의 뉴스를 입체적으로 전달하고 있습니다.
카카오브레인이 이미지와 대규모 언어모델(LLM)을 연결할 수 있는 언어모델(MLLM) '허니비(Honeybee)'를 오픈소스 커뮤니티 '깃허브(Github)'에 공개했다고 19일 밝혔다.
MLLM은 이미지와 명령어(프롬프트)를 입력하면 텍스트로 답변하는 모델로 텍스트로만 입·출력하는 LLM보다 확장된 형태다. 이미지와 텍스트를 모두 입력할 수 있어 이미지를 묘사하거나 이미지와 텍스트가 혼합된 콘텐츠에 관한 질문을 이해하고 답변할 수 있다.
예컨대 허니비에 '농구 경기 중인 두 명의 선수 이미지와 함께 왼쪽 선수는 몇 번 우승했나요?'라는 질문을 영어로 입력하면, 허니비가 입력된 이미지 내용과 질문을 종합적으로 이해해 답변을 생성한다. 허니비는 '다중모델앙상블(MME)', '엠엠벤치(MMBench)', '시드벤치(SEED Bench)' 등의 성능 실험(벤치마크)에서 특히 지각 능력과 인지 능력을 평가하는 MME 벤치마크에서 2800점 만점 중 1977점을 받았다.
회사 측은 지난해 논문 '허니비: 멀티모달 LLM을 위한 로컬리티 강화 프로젝터 (Honeybee: Locality-enhanced Projector for Multimodal LLM)'가 논문 공개 사이트 아카이브에 게재됐다고 전했다. 논문에는 이 기술에 대해 "이미지 데이터를 처리해 딥러닝 모델이 더 효과적으로 학습하고 이해할 수 있도록 돕는 기술"이라며 "시각 프로젝터가 사전 훈련된 비전 인코더와 LLM을 연결하는 데 중요한 역할을 하며 이를 통해 시각적 이해를 깊게 하면서 LLM의 능력을 활용할 수 있다"고 설명했다.
김일두 카카오브레인 각자 대표는 "허니비 모델의 추론을 가능하게 하는 코드도 깃허브에 공개했으며 허니비를 활용한 각종 서비스 확장을 고려 중"이라며 "더욱 발전된 인공지능(AI) 모델 확보를 위해 끊임없이 연구하고 개발할 것”이라고 말했다.
유지희 한경닷컴 기자 keephee@hankyung.com
Copyright © 한국경제. 무단전재 및 재배포 금지.
- 7억 주고 산 회사 119억에 팔았다…남매의 '잭팟 투자' [김익환의 컴퍼니워치]
- "3개월 안에 방법 찾아라"…日 총리 '특명' 떨어진 까닭 [정영효의 일본산업 분석]
- "강남 아파트 3억 싸게 샀어요"…2030 몰려드는 이곳
- "아버지가 남긴 땅값 너무 올랐어요"…변심한 동생의 꼼수 [김상훈의 상속비밀노트]
- 끌려 나간 강성희…진중권 "사건 만들려는 운동권 버릇"
- "영탁이 150억 요구했다" 주장했던 막걸리 업체 대표 '징역형'
- 현아·용준형 공개 열애하나…손잡은 사진 공개
- 박수홍, 친형 횡령 청구액 '116억→198억'으로 올렸다
- '주호민 아들 사건' 특수교사에 징역 10월 구형…교사들 '분노'
- "썩어빠진 한국 드라마 본 죄"…北 소년들 '12년 노동형' 선고