마음AI, 시각지능 가미한 언어모델 VLM 벤치마크 공개

AI(인공지능) 기업 마음AI가 텍스트 기반 LLM(거대언어모델)에 이미지를 이해할 수 있는 시각 지능을 추가한 멀티모달 모델 VLM(영상 언어모델) 벤치마크를 공개한다.

마음AI의 기술 총괄 CEO(최고 경영자) 최홍섭 대표는 8일 "우리 회사는 최근 세계 최고의 인공지능 학회인 NeurIPS에서도 수상할 만큼 VLM 연구 분야에서 앞서나가고 있는 만큼, 연구개발 과정에서 한국어 모델의 성능을 제대로 측정할 벤치마크가 부족하다는 점에 큰 아쉬움을 느꼈다"며, "이에 우리가 먼저 시행착오하며 제작한 벤치마크를 공개함으로써 국내 AI 연구자들이 VLM 연구를 가속하는 마중물 역할을 하려한다"고 밝혔다.

마음AI에 따르면 VLM은 시각 지능이 추가된 LLM으로 최근 챗GPT나 제미나이 등 대표적인 생성형 AI 모델들도 VLM으로 분류된다.

LLM의 성능을 객관적으로 비교할 텍스트 기반의 벤치마크들은 다양하게 공개되어 있는 반면, 이미지에 대한 이해와 언어적인 능력을 동시에 측정해야 하는 VLM에 대한 벤치마크는 상대적으로 여전히 부족하다. 특히 한국어 기반의 VLM 벤치마크가 아직 많이 부족하기 때문에, 국내 연구자들이 한국어 VLM 성능을 객관적으로 비교할 만한 기준이 없다는 한계가 있었다.

이에 마음AI는 그동안 연구개발 과정에서 자체적으로 모델의 성능을 평가하기 위한 벤치마크 데이터셋을 만들어 운영해왔다. 이번에 이를 국내의 많은 연구자들도 활용할 수 있도록 공개하는 것이다.

이번에 공개하는 한국어 VLM 벤치마크는 최근 한국어 LLM 벤치마크에서 가장 신뢰도가 높다고 평가 받는 LogicKor 벤치마크의 설계 철학을 상당 부분 차용했다. 마음AI는 약 300개의 고품질 데이터로 구성된 간결한 설계를 통해 과도한 리소스 소모 없이 정밀한 평가를 가능하게 했다. 또 오픈소스 LLM인 오픈소스 LLM인 Gemma 9B를 사용해 챗GPT와 같은 유료 API 없이 실행하도록 해 비용을 줄일 수 있도록 했다.

벤치마크의 주제를 설계할 때도 한국 사용자와 환경에 적합하도록 신경을 썼다. 해외 VLM 벤치마크의 다양한 주제들을 참고하면서도, 한국 사용자 환경에 밀접한 10가지 주제로 구성했다. 이 주제들은 색상, 숫자, 존재 여부 등 객체의 속성에 대한 질문들과, 한국어 콘텐츠를 인식하는 능력, 문서나 표, 그래프를 이해하는 능력, 할루시네이션(환각) 등으로 구성됐다. 한국어 사용자들이 VLM을 실제 사용하는 데 있어서 겪게 되는 주요 사례들을 포괄하며, 모델의 신뢰성까지 측정할 수 있도록 했다.

마음AI는 이번에 한국어 VLM 벤치마크를 공개함으로써 국내 VLM 연구와 응용을 활성화하는 데 기여할 것으로 기대하고 있다. 벤치마크 데이터셋과 추론 코드는 가까운 시일 내에 깃헙을 통해 공개할 예정이며, 이 때 마음AI가 자체적으로 개발한 한국어 VLM과 학습데이터셋도 함께 오픈소스로 공개한다. 현재는 허깅페이스 사이트에서 해당 벤치마크를 활용한 리더보드를 먼저 확인할 수 있다.

황국상 기자 gshwang@mt.co.kr