“세차하러 가는데 걸어가라고?”...‘국가대표 AI’ 추론 성능 논란 확산

간단한 추론 문제에도 오답 내놔
사용자 평가가 주요 변수될 듯
벤치마크 평가 신뢰성 문제도 제기

배경훈 부총리 겸 과학기술정보통신부 장관이 30일 오후 서울 강남구 코엑스 오디토리움에서 열린 '독자 AI파운데이션 프로젝트' 발표회에서 환영사를 하고 있다. 2025.12.30 ⓒ 뉴스1 구윤성 기자

‘국가대표 AI’(독자 AI 파운데이션 모델 프로젝트) 2차 평가 발표를 앞둔 가운데 이번 평가에 참여하는 AI 모델들이 간단한 추론 문제에도 제대로 답변을 하지 못한다는 지적이 나왔다. 여러 AI 사용자 커뮤니티에서 AI 모델의 성능을 검증하기 위해 주로 사용하는 질문들이 있는데, 국가대표 AI 모델 중 이들 질문에 제대로 답을 못 하는 경우가 속출하고 있다는 것이다.

이번 2차 평가에서는 1차 평가와 달리 일반 국민이 참여하는 사용자 평가 점수가 반영된다. 만약 사용자들의 질문에 AI의 대답이 만족스럽지 않을 경우 낮은 점수를 받게 된다. AI 업계 고위 인사는 “기존 벤치마크(성능 평가 시험지) 평가와 달리 사용자가 직접 체감하는 성능 수준이 점수로 매겨지기 때문에 변수로 작용할 수 있다”고 말했다.

◇국대 AI, ‘세차장 문제’에 잇따라 오답

국가대표 AI 2차 평가에는 지난 1월 1차 평가를 통과한 LG AI 연구원·SK텔레콤·업스테이지와 추가 공모로 선발된 AI 스타트업 모티프테크놀로지스가 참여한다. 앞서 지난해 8월 선발된 네이버클라우드와 NC AI는 1차 평가에서 독자성과 성능 부족으로 탈락했다. 과학기술정보통신부는 ‘2차 평가에 4팀 참여’라는 기존 방식을 유지하기 위해 지난 2월 모티프를 선발했다.

평가 항목은 벤치마크 평가 40점, 전문가 평가 35점, 사용자 평가 25점으로 구성된다. AI 업계에선 12일까지 이어지는 평가에서 사용자 평가가 상당한 변수로 작용할 수 있다는 전망이 나오고 있다. 지난 1차 평가에서는 AI 전문가 49명이 사용자 평가단으로 참여했지만 이번엔 대국민 공모를 통해 일반 국민 200명의 평가단을 선발했다.

최근 평가단에 선정된 일부 사용자가 온라인 커뮤니티에서 특정 모델의 성능이 크게 떨어진다는 글을 올린 데 이어 일반 사용자들도 직접 사용 후기를 올리면서 국대 AI 성능 관련 논란이 확산하고 있다. 대표적인 문제는 일명 ‘세차장 벤치(마크)’다. 몇 달 전부터 온라인상에서 “세차장은 50m 앞에 있다. 나는 내 차를 세차하고 싶다. 걸어가야 할까, 차로 가야 할까”라는 질문에 여러 AI가 ‘걸어가는 것이 합리적’이라는 오답을 내놓는 경우가 많다는 사실이 드러났기 때문이다.

실제 본지가 11일 국대 AI가 서비스하고 있는 챗봇 모델에 같은 질문을 입력한 결과 A사와 B사의 모델들은 ‘가까운 거리이므로 걸어가는 게 합리적’이라는 오답을 내놨다. C사 모델은 ‘세차하기 위해 차를 가지고 가야 한다’고 답했으나, 이용자 커뮤니티에서는 지난 10일 C사 모델이 세차장 질문에 오답을 내놓았다는 후기를 캡처 사진과 함께 올리고 있다. D사는 2차 평가를 위해 챗봇을 만들었지만 일반 국민에는 공개하지 않고 있다. 반면 프런티어급 AI인 구글 제미나이는 ‘차를 타고 가는 것을 추천한다’는 정답을 내놨다.

이용자들은 이 외에도 AI가 자주 틀리는 수학 문제, 애국가 가사 문제, 상식 문제 등으로 성능을 테스트하고 있다. 일부 이용자는 몇몇 기업은 자사 모델에 이들 문제에 대한 답을 미리 입력시켰다는 일명 ‘족보’ 의혹까지 제기하고 있다.

◇벤치마크 평가에도 신뢰성 문제 제기

이번 평가에서 가장 큰 배점을 차지하는 벤치마크 성능 평가 점수도 모델 성능을 정확히 대변하기 어렵다는 이야기가 나온다.

AI 업계 관계자들에 따르면, 미국 AI 학습 전문 업체들이 일부 국대 AI 기업과 협력한 사례가 있는 것으로 알려졌다. 이 업체들은 벤치마크의 취약 항목을 분석해 관련 성능을 집중적으로 높이는 평가·개선 등을 지원하고 있다. 사후 학습 과정에서 모델이 어떤 작업을 실패하는지 분석하고 강화 학습(RLVR)을 통해 최적화된 데이터를 가공해 납품하는 것이다.

문제는 이 같은 데이터를 통한 핀포인트식 학습이 AI 모델의 전반적인 추론 성능보다 벤치마크 평가 점수만 올리는 요소로 작용하고 있다는 것이다. AI 업계 관계자는 “생성형 AI의 기술이 비약적으로 성장하고 있고 이미 실생활에서 광범위하게 사용되면서 단순히 벤치마크 점수로만 해당 모델의 우수성을 판가름하기 어려워졌다”며 “독파모 프로젝트의 목표가 프런티어급 AI와 견줄 만한 AI 모델을 만들겠다는 것인데, 기업들이 경쟁에 매몰되면서 1순위 목표가 평가 통과로 변질된 것 같다”고 말했다.