텍스트 외 시각적 분석… 불 붙은 ‘멀티모달’ 경쟁

머스크 ‘xAI’ 1세대 LMM 공개
국내선 네이버 등 서비스 잇달아

대규모멀티모달모델(LMM) ‘그록-1.5V’가 스타트업과 대기업 직원의 땅 파는 작업 사진에 관한 설명을 내놓은 모습. 이 모델은 함께 일하는 스타트업과 관료제 성격의 대기업 상황을 유머러스하게 비교한 것이라는 취지로 답했다. xAI 블로그 캡처

미국 전기차업체 테슬라 최고경영자인 일론 머스크의 인공지능(AI) 스타트업 ‘xAI’가 텍스트뿐 아니라 시각적 분석이 가능한 멀티모달 모델을 출시했다. 텍스트 이해 중심의 거대언어모델(LLM) 경쟁에 이어 범용인공지능(AGI) 개발의 중간 단계로 여겨지는 대규모멀티모달모델(LMM) 경쟁이 본격화한 모습이다. 구글, 오픈AI가 주도하는 AI 시장 경쟁이 한층 치열해질 전망이다.

14일 정보기술(IT) 업계에 따르면 xAI는 지난 12일(현지시간) 공식 블로그를 통해 1세대 LMM ‘그록-1.5V’를 공개했다. 이 모델은 이달 중 챗봇 ‘그록’에 적용될 예정이다. xAI가 공개한 그록-1.5V의 활용 사례를 보면 어린이가 그린 그림 한 장만으로 동화 한 편을 창작하는 게 가능하다. 또 지붕 사진을 보여주며 질문하자 나무가 썩은 것 같다며 사용자에게 이 부분 교체를 추천한다. 그록-1.5V는 비전 기능을 활용한 수학, 텍스트 이해 범주 등에서 높은 점수를 기록한 것으로 나타났다. 오픈AI의 GPT-4V, 앤트로픽의 클로드3 소네트 버전·오퍼스 버전, 구글 제미나이 1.5 프로와 비교한 결과다.

글로벌 AI 시장 키워드는 불과 1년 만에 텍스트만 처리하던 LLM에서 이미지, 영상, 음성 등 데이터를 분석해 통합적인 추론이 가능한 LMM으로 확장됐다. LLM은 이미지나 영상, 음성 등 다양한 정보를 인식하지 못하는 탓에 활용에 한계가 있었다.

반면 멀티모달 AI는 복잡하고 다양한 데이터를 활용해 정교한 결과물을 내놓을 수 있다. 이에 모든 분야에서 인간 이상의 지적 능력을 보이는 AGI를 구축하는 중간 단계로 평가된다. 글로벌 시장 분석 업체 마켓앤마켓은 멀티모달 AI 시장은 올해 10억 달러에서 2028년 45억 달러까지 성장할 것으로 전망했다.

AI 개발사들은 앞다퉈 LMM을 내놓고 있다. 일찌감치 AI 시장을 선점한 오픈AI가 GPT-4를 공개하자 구글은 지난 2월 제미나이 1.5 프로를 출시하며 반격했다. 오픈AI의 대항마로 평가받는 미국 AI 스타트업 앤트로픽은 지난달 인간의 평균 IQ(지능지수) 100을 넘어선 것으로 평가받는 ‘클로드3’를 공개했다. 오픈AI는 올여름 멀티모달 AI GPT-5를 공개할 예정이다.

국내 기업들도 LMM 서비스를 내놓으며 글로벌 AI 따라잡기에 나섰다. 네이버의 멀티모달 검색엔진 ‘옴니서치’는 텍스트와 이미지 등 서로 다른 입력 내용을 조합해 이해한 뒤 검색 결과를 도출한다. 한국 개발자가 세운 영상이해 초거대 AI 개발 기업 트웰브랩스에서 지난달 업데이트한 영상 언어 생성 모델 ‘페가수스’(Pegasus-1)와 멀티모달 영상 이해 모델 ‘마렝고’(Marengo 2.6)는 제미나이 1.5 프로, GPT-4V 등의 상용·오픈소스 영상 언어 모델과 비교해 최대 43%가량의 성능 우위를 보였다.

임송수 기자 songsta@kmib.co.kr

GoodNews paper ⓒ 국민일보(www.kmib.co.kr), 무단전재 및 수집, 재배포금지