정부, 모티프 이의제기에 부분별 점수 공개 종합 SKT 70.6점·업스 69.9점·LG 69점·모티프 65.8점 모티프, 벤치마크 1위에도 사용자 평가서 뒤처져
독파모 2차 평가 결과. 빨간색은 부분별 1등 점수/자료=과학기술정보통신부
정부가 '독자 AI 파운데이션 모델' 프로젝트 2차 단계평가의 기업별 세부 점수를 공개했다. SK텔레콤이 70.6점으로 종합 1위를 차지했으며 업스테이지와 LG AI연구원이 뒤를 이었다. 탈락한 모티프테크놀로지스는 벤치마크 평가에서 가장 높은 점수를 받았지만 전문가·사용자 평가에서 낮은 점수를 기록했다.
과학기술정보통신부는 27일 독파모 2차 단계평가 세부 결과를 공개했다. 종합점수는 SK텔레콤이 70.6점으로 1위를 기록했고 뒤를 이어 업스테이지 69.9점, LG AI연구원 69.0점, 모티프테크놀로지스 65.8점 순이었다.
이번 공개는 2차 평가에서 탈락한 모티프가 이날 평가 결과에 이의를 제기하고 세부 점수 공개를 요구한 데 따른 것이다. 과기정통부는 다른 정예팀도 공개에 동의해 기존에 밝히지 않았던 기업별 점수와 평가위원·사용자별 평가 결과를 공개했다고 설명했다.
2차 평가는 벤치마크 40점, 전문가 35점, 사용자 25점 등 총 100점이다.
벤치마크 평가에서는 모티프가 24.6점으로 1위를 기록했다. 업스테이지는 22.7점, SK텔레콤은 22.2점, LG AI연구원은 20.6점을 받았다. 세부 항목인 글로벌 AAII 벤치마크에서는 모티프가 11.9점, 국내 환경을 반영한 NIA 벤치마크에서는 SK텔레콤이 13.4점으로 각각 가장 높은 점수를 받았다.
전문가 평가에서는 LG AI연구원이 29.5점으로 1위에 올랐다. SK텔레콤이 29.3점, 업스테이지가 29.1점으로 뒤를 이었으며 세 팀의 점수 차는 0.4점에 그쳤다. 모티프는 27.1점을 기록했다.
사용자 평가에서는 SK텔레콤이 19.1점으로 가장 높은 점수를 받았다. LG AI연구원은 18.9점, 업스테이지는 18.1점, 모티프는 14.1점이었다. 사용자 평가는 AI 전문 사용자 49명과 일반 국민 185명이 각 팀의 모델을 직접 이용한 뒤 사용성을 평가하는 방식으로 진행됐다.
사용자 평가 가운데 AI 전문 사용자 평가에서는 SK텔레콤이 11.6점, LG AI연구원 11.3점, 업스테이지 10.8점, 모티프 8.4점 순이었다. 일반 국민 평가에서는 LG AI연구원이 7.6점으로 1위를 기록했고, 그 다음으로 SK텔레콤 7.5점, 업스테이지 7.3점, 모티프는 5.7점으로 집계됐다.
과기정통부는 지난 18일 2차 평가 결과를 발표하면서 진출팀만 공개하고 기업별 점수와 순위는 밝히지 않았다. 평가 결과가 기업에 부정적인 영향을 줄 수 있다는 이유다. 이후 평가 투명성 논란이 제기되자 20일 평가 항목별 1위 점수와 점수 격차를 추가로 공개했으며, 모티프의 이의 제기 이후 전체 세부 점수까지 공개했다.
한편, 정부는 독파모 사업의 평가와 지원 방식을 재검토하기로 했다. 빠르게 변하는 AI 시대에 현재 평가·경쟁 방식이 유효하지 않다고 판단한 것으로 보인다.
과기정통부는 "최상위급 독자 AI모델 개발 필요성을 깊이 인식하고, 기존의 방식을 뛰어넘는 새로운 지원체계를 관계부처와 논의 중에 있다"며 "추후 구체적 내용을 준비해 발표할 계획"이라고 말했다.
