모티프 이의제기에 과기부, 독파모 점수 전면 공개…SKT 1위

모티프, 벤치마크 1위에도 사용자 평가 밀려 4위
SKT 70.6점·업스테이지 69.9점·LG 69.0점

과학기술정보통신부가 독자 AI 파운데이션 모델 프로젝트(독파모) 2차 단계평가의 벤치마크·전문가·사용자 평가 세부 결과를 27일 공개했다.(자료 제공 = 과학기술정보통신부)

독자 AI 파운데이션 모델 프로젝트(독파모) 2차 단계평가에서 SK텔레콤이 종합 1위를 차지한 것으로 나타났다. 정부는 탈락한 모티프테크놀로지스가 세부 평가 결과 공개를 요구하자 다른 정예팀의 동의를 거쳐 세부 평가 점수를 공개했다.

과학기술정보통신부는 27일 독파모 2차 단계평가의 벤치마크·전문가·사용자 평가 세부 결과를 공개했다.

종합 점수에서는 SK텔레콤이 70.6점으로 가장 높았다. 업스테이지가 69.9점으로 2위, LG AI연구원이 69.0점으로 3위를 기록했다. 모티프는 65.8점으로 4개 정예팀 가운데 가장 낮았다.

평가는 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점 등 총 100점으로 진행됐다.

벤치마크 평가는 글로벌 평가기관 아티피셜 애널리시스의 '아티피셜 애널리시스 인텔리전스 인덱스(AAII)' 25점과 한국지능정보사회진흥원(NIA) 벤치마크 15점으로 구성됐다.

사용자 평가는 AI 전문 사용자진 15점과 일반 국민 평가 10점을 합산했다.

모티프는 객관적 성능을 측정하는 벤치마크 평가에서는 가장 높은 점수를 받았다. AAII 평가에서 11.9점으로 1위를 기록했고 NIA 평가에서는 12.7점을 받아 총 24.6점을 확보했다. 업스테이지 22.7점, SK텔레콤 22.2점, LG AI연구원 20.6점보다 높았다.

다만 전문가와 사용자 평가에서 격차가 벌어졌다. 전문가 평가에서는 LG AI연구원이 29.5점으로 가장 높았고 SK텔레콤 29.3점, 업스테이지 29.1점, 모티프 27.1점 순이었다.

사용자 평가에서 모티프의 점수가 상대적으로 낮았다. AI 스타트업 대표 등 전문 사용자 49명이 참여한 평가에서 SK텔레콤이 11.6점으로 1위를 차지했다. LG AI연구원은 11.3점, 업스테이지는 10.8점이었지만 모티프는 8.4점에 그쳤다.

일반 국민 평가에서도 LG AI연구원이 7.6점, SK텔레콤이 7.5점, 업스테이지가 7.3점을 받은 데 비해 모티프는 5.7점을 기록했다. 국민 평가단은 주민등록인구 통계를 기준으로 성별·연령별 쿼터를 설정해 무작위 선정했다. 총 185명이 실제 평가에 참여했다.

전문 사용자와 일반 국민 평가를 합친 사용자 평가 점수는 SK텔레콤 19.1점, LG AI연구원 18.9점, 업스테이지 18.1점, 모티프 14.1점으로 집계됐다.

과기정통부는 "이번 결과 공개 이후에도 우리 기업들이 단순한 점수나 순위로 평가받기보다 보유한 저력과 역량을 바탕으로 국내외 AI 생태계에 폭넓게 기여하기를 기대한다"고 밝혔다.