이미지 인식해 텍스트로 답하는 AI…카카오 ‘허니비’ 공개

카카오가 인공지능(AI) 멀티모달 언어모델(MLLM) ‘허니비’를 공개했다. 

19일 카카오에 따르면 허니비는 카카오브레인이 개발한 MLLM이다. 이날 오픈소스 공유 플랫폼 깃허브에 소스코드를 공개했다. 

MLLM은 이미지와 명령어(프롬프트)를 입력하면 텍스트로 답변하는 모델이다. 텍스트로만 이용하는 대규모언어모델(LLM)에서 확장된 형태다. 

이미지와 텍스트를 모두 입력할 수 있기에 이미지에 담긴 장면을 묘사하거나 이미지와 텍스트가 혼합된 콘텐츠에 관한 질문을 이해하고 답변할 수 있다. 

예를 들어 허니비에 농구 경기 중인 두 명의 선수 이미지와 함께 왼쪽 선수는 몇 번 우승했나'라는 질문을 영어로 입력하면 허니비는 이에 맞는 답을 생성해낸다. 

카카오브레인 '허니비' 사용 예. 개와 고양이 이미지를 올린 뒤 두 동물의 대화를 만들어 달라고 하자 고양이가 개 등에 앉아 있는 상황에 맞춘 문장을 만들어낸다. 카카오브레인 제공

카카오브레인이 공개한 또 다른 허니비 이용사례를 보면, 눈 위에 개와 고양이가 있는 이미지에 대해 “두 동물의 대화를 써줘”라고 입력하면 허니비는 “이미지에서 한 고양이가 눈 속에 누워있는 개의 등에 앉아 있습니다. 특이하고 재미있는 장면이네요. 만약 고양이와 강아지가 의사소통을 한다면, 다음과 같은 대화를 나눌지도 모릅니다. 고양이: 냐옹~ 덩치 큰 친구야. 태워줘서 고마워 /  강아지: 왈왈~ 천만에, 내 친구. 네가 내 등에 있어서 너무 좋아”라고 답했다. 

카카오브레인은 허니비가 ‘MME’, ‘MMBench’, ‘SEED-Bench’ 등의 벤치마크(성능 실험)에서 모델이 공개된 타사 MLLM 대비 최고 성능을 달성했다고 밝혔다. 특히 지각 능력과 인지 능력을 평가하는 ‘MME’ 벤치마크에서는 2800점 만점 중 1977점을 받았다고 전했다. 

카카오브레인은 허니비가 향후 효과적인 교육 및 학습 보조 도구로 사용될 것으로 기대하고 있다. 

김일두 카카오브레인 각자 대표는 “허니비 모델의 추론을 가능하게 하는 코드도 깃허브에 공개했다”며 “허니비를 활용한 각종 서비스 확장을 고려 중”이라고 말했다. 

이진경 기자 ljin@segye.com