독파모 판 뒤집은 스타트업⋯모티프 1위, 글로벌 최상위와는 ‘거리’ (종합)
모티프 47점으로 ‘독파모 2차’ 모델 중 선두
국내 인공지능(AI) 스타트업들이 정부의 ‘독자 AI 파운데이션 모델(독파모)’ 글로벌 성능 평가에서 대기업을 제치는 이변을 연출했다. 가장 늦게 합류한 모티프테크놀로지가 선두에 올랐고 업스테이지도 2위를 차지했다. 다만 글로벌 빅테크의 최상위 프런티어 모델과는 여전히 격차를 보였다.
13일 공개된 글로벌 AI 평가기관 아티피셜 애널리시스의 ‘인텔리전스 인덱스(AAII)’에 따르면 모티프테크놀로지스의 ‘모티프3’는 47점으로 1위를 기록했다. 이어 업스테이지 ‘솔라 오픈2’가 37점, SK텔레콤 ‘A.X-K2’가 35점, LG AI연구원 ‘K-엑사원 2.0’이 31점으로 뒤를 이었다. 지난해 1차 평가 벤치마크 1위였던 LG가 4개 모델 중 최하위로 밀리며 순위가 뒤집힌 것이다.
LG AI연구원은 2차 평가를 앞두고 K-엑사원 2.0의 매개변수를 7500억개로 1차 모델보다 3배 이상 키웠다. 업계에서는 모델 체급을 크게 키우면서 제한된 개발 기간 안에 최적화가 충분히 이뤄지지 못한 영향이 있었던 것으로 보고 있다.
이번 독파모 모델들은 일부 글로벌 모델과 경쟁 가능한 수준에 올라섰다는 평가를 받았지만, 프런티어 모델과의 간극은 여전했다. 모티프3는 중국 ‘미니맥스 M3’(45점)를 웃돌았고 구글 ‘제미나이3.6 플래시’(52점)에도 근접했다. 다만, 앤트로픽 ‘클로드 오푸스5’는 63점, 오픈AI ‘GPT-5.6 솔’은 61점을 기록해 국내 선두와도 두 자릿수 차이를 보였다. 중국 문샷AI의 ‘키미 K3’ 역시 60점으로 최상위권에 랭크됐다.
하지만 AAII 점수가 모델 경쟁력을 의미하는 건 아니다. AAII는 지식·추론·코딩 등 영역별 개별 벤치마크 여러 개를 묶어 단일 점수로 환산하는 종합 지수다. 벤치마크 구성과 버전이 계속 바뀌는 만큼 점수는 시점 평가 기준을 고려해 볼 필요가 있다. 또 한국어 성능이 반영되지 않고 특정 벤치마크에 맞춰 점수를 끌어올리는 ‘벤치맥싱’ 가능성까지 있어 한계가 있다는 지적도 나온다. 한 업계 관계자는 “고성능이라면 AAII에서 측정하지 않는 다른 벤치마크에서도 비슷한 경향성이 나타나는지 함께 봐야 한다”고 말했다.
정부도 이 같은 한계 보완을 위해 독파모 2차 평가에서 AAII 점수 외에 다른 평가 결과를 함께 반영하고 있다. AAII는 전체 100점 중 25점을 차지하며, 한국지능정보사회진흥원(NIA) 자체 벤치마크 15점과 전문가 평가 35점, 사용자 평가 25점이 함께 반영된다. 사용자 평가에는 일반 국민 200명이 직접 모델을 사용한 국민평가 결과도 포함된다. 정부는 이달 중 4개 정예팀 가운데 다음 단계에 진출할 3팀을 발표할 예정이다.
나유진 기자 yujin@viva100.com