독파모 3차 평가 어떻게…전문가들 "벤치마크 다변화·사용성 구체화" 제언

최병호 고려대 교수, 김장현 성균관대 교수, 안광섭 세종대 겸임교수, 이승현 가천대 겸임교수 등
"특정 벤치마크 의존 낮추고…외부·실전 평가 다변화해야"
"탈락이 퇴장돼선 안 돼"…AI 생태계 다양성도 과제

[아이뉴스24 서효빈 기자] 정부의 '독자 AI 파운데이션 모델'(독파모) 3차 평가 방식에 대해 전문가들은 특정 벤치마크 의존을 낮추고 사용성 평가 기준을 구체화해야 한다고 제언했다. 탈락팀의 기술과 연구 성과가 생태계 안에서 이어질 수 있도록 후속 지원 체계도 마련해야 한다는 지적이다.

류제명 과학기술정보통신부 2차관이 18일 서울 종로구 정부서울청사에서 독자 AI파운데이션모델 프로젝트 2차 단계평가 결과 브리핑을 하고 있다. [사진=연합뉴스]

앞서 독파모 2차 평가는 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점으로 진행됐다. 하지만 평가 기준에 대한 문제 제기가 안팎에서 이어지면서 3차 평가 방식에 대한 정부의 고민도 깊어가고 있다.

1일 아이뉴스24가 AI 학계·업계 전문가들의 제언을 종합한 결과 3차 평가에서는 특정 벤치마크에 대한 의존도를 낮추고 사용성 평가 기준을 보다 명확하게 설계해야 한다는 의견이 나왔다.

특정 벤치마크 의존 낮추고…외부·실전 평가 다변화

최병호 고려대 인공지능연구소 교수는 글로벌 벤치마크 성능만으로는 한국형 소버린 AI에 필요한 역량을 충분히 평가하기 어렵다고 지적했다. 최 교수는 "소버린 AI가 되려면 한국형에 맞아야 한다"며 "한국의 제조 환경과 언어, 문화, 보안성에 맞아야 하고 일정 수준의 지능도 있어야 한다"고 말했다. 특정 벤치마크에 의존할 경우 왜곡된 결과가 나올 것이라는 지적이다.

안광섭 세종대 겸임교수(OBF 대표)도 특정 시험에 최적화한 점수보다 다양한 외부 평가에서 안정적인 성능을 보이는지를 살펴야 한다고 조언했다. 그는 "좋은 모델은 어떤 평가에 갖다 놔도 좋은 점수를 받는다"면서 추론과 코딩, 에이전트 수행 능력 등 서로 다른 역량을 측정하는 여러 벤치마크를 함께 활용해야 한다고 주문했다.

안 교수는 "오래된 벤치마크를 반복적으로 사용할 경우 특정 시험에 맞춰 성능을 끌어올리는 '벤치맥싱'이 발생할 수 있다"면서 벤치마크 다변화를 통해 특정 벤치마크에서 점수가 높게 나오는 벤치맥싱을 해소해야 한다고 주장했다.

이승현 가천대 스타트업칼리지 겸임교수도 특정 글로벌 지표가 평가를 좌우해서는 안 된다고 봤다. 그는 자신의 SNS를 통해 "AAII 같은 외부 글로벌 지표를 통과·미달 판정이나 20~30% 수준의 최소 가중치로 활용할 것"을 제안하면서 "그 이상의 권한을 주면 국가 예산이 외국 리더보드를 향해 최적화된다"고 했다.

"사용성 기준 명확히"…평가 목표 구체화해야

3차 평가에서는 AI의 사용성 기준을 보다 명확히 해야 한다는 의견도 다수를 이뤘다.

김장현 성균관대 글로벌융합학부 교수는 2차 평가에서 사용성이 주요 변수로 작용한 만큼 3차에서는 평가 목표와 기준을 사전에 구체적으로 제시해야 한다고 지적했다. 그는 "3차 심사에서도 사용성 부분이 중요하게 간주된다면 구체적인 타깃과 마일스톤을 명확하게 줘야 한다"며 "그래야 업체도 명확하게 준비하고 평가 결과에도 승복할 수 있다"고 말했다.

이승현 교수는 사용성 평가도 실제 서비스와 산업 현장에서 측정 가능한 지표로 구체화해야 한다고 제언했다. API 지연시간과 서빙 비용, 에이전트 툴 연동성, 공공·산업 분야 실증 결과 등을 평가 대상으로 제시하며 "사용성·활용성은 인상 투표가 아니라 재현 가능한 수치로 측정돼야 한다"고 조언했다.

박승희 나라지식정보 부사장은 사용자 평가에서 모델 자체의 성능과 서비스 환경의 영향을 구분할 필요성을 언급했다. 그는 "사용성은 모델 자체뿐 아니라 인터페이스와 외부 도구 등 서비스 환경에 따라 달라질 수 있다"며 어떤 모델 버전과 시스템을 평가했는지 기록해 재검증할 수 있도록 해야 한다고 제안했다.

"탈락 기업 역량 활용해야"…AI 생태계 다양성도 과제

단계평가에서 탈락한 팀도 기술과 성과를 이어갈 수 있도록 후속 경로를 마련해야 한다는 지적도 나왔다. 김장현 교수는 "패자의 역량까지도 우리 사회와 국가의 중요한 자원으로 활용할 수 있는 방안을 고민해야 한다"며 "1등 뿐 아니라 3등부터 10등까지도 각자의 특징을 갖고 세계 LLM 시장에서 경쟁할 수 있다"고 설명했다.

안광섭 교수도 "탈락팀의 성과가 소멸하지 않는 경로를 넓혀야 한다"며 "목표가 순위 경쟁이 아니라 생태계 육성이라는 공언의 증명은 잔류팀 지원이 아니라 탈락팀의 다음 6개월에서 나온다"고 제언했다.

/서효빈 기자(x40805@inews24.com)