과기정통부, 독자AI기반모델 성능평가 데이터셋 구축기관 모집

수학·지식·장문이해 3개 분야 데이터셋 구축에 총 24억원 투입

과학기술정보통신부는 한국지능정보사회진흥원(NIA)와 ‘독자 인공지능 기초 모형’(독자 AI 파운데이션 모델) 사업에 참여할 정예팀이 개발한 AI 모델의 성능을 평가하기 위해 ‘성능 평가 데이터셋 구축 사업’ 수행기관을 17일부터 8월 7일까지 공개 모집한다고 밝혔다.

이 사업은 독자 AI 파운데이션 모델 프로젝트의 일환으로, 국내 AI모델에 대한 성능평가에 활용할 데이터셋을 구축하는 게 목표다. 사업에 참여하려면 초거대AI나 자연어처리(NLP) 또는 멀티모달AI 등 대규모 데이터셋 기반의 AI개발 역량을 갖춘 기업·기관이 1개 이상 수행기관 컨소시엄에 포함돼야 한다.

그동안 AI모델 성능평가에 대부분 영어권의 평가지표가 활용돼 국내 서비스 이용환경 등을 충분히 고려하지 못했으므로 우리나라 문화와 사회적 가치 등을 반영하고 국내외 다양한 AI모델 성능을 객관적으로 진단한다는 취지다. 총 24억원(총 3개 과제, 과제별 8억원)을 투입해 고품질 성능 평가 데이터셋 구축을 추진한다.

올해에는 우선 △대형언어모델(LLM)의 수학 풀이 능력 평가 데이터(수학 분야) △한국형 지식을 평가하기 위한 주제별 질의-정답 및 추론 데이터(지식 분야) △장문 문맥에서 다양한 과업에 대한 성능평가 데이터(장문이해 분야) 등 3개 분야 데이터셋을 구축한다. 향후에는 멀티모달, 에이전트 등 생성형AI의 다양한 영역을 평가하기 위한 데이터셋을 구축해나갈 계획이다.

김경만 과기정통부 인공지능기반정책관은 “국민이 체감할 수 있는 고성능 국내 독자 AI 파운데이션 모델을 확보하기 위해서는 그 성능을 평가하는 데이터셋도 국내 사회·문화 환경 등이 반영돼야 한다”며 “이번 사업을 통해 구축한 성능 평가 데이터셋은 정예팀뿐 아니라 향후 국내 AI개발기관이 활용할 수 있도록 공개할 계획”이라 말했다.

팽동현 기자 dhp@dt.co.kr