수학 1등인데 독파모 꼴찌 왜?···모티프가 증명한 벤치마크 한계

GDLA로 KV 구조까지 직접 재설계
글로벌 AAII선 국내 참여 모델 선두
벤치마크 점수로는 당락 못 갈랐다
좋은 구조와 좋은 제품 사이의 간극

임정환 모티프테크놀로지스 대표가 지난 4월 9일 서울 코엑스에서 열린 'Physical AI Conference 2026'에서 피지컬 AI를 위한 파운데이션 모델의 진화를 주제로 발표하고 있다. 임 대표는 언어모델이 다음 토큰을 예측하는 단계를 넘어 실제 환경의 상태를 파악하고 행동으로 이어지는 구조로 발전해야 한다고 설명했다. /모티프테크놀로지

글로벌 인공지능(AI) 성능 평가에서 가장 앞선 국산 모델이 정부의 '독자 AI 파운데이션 모델(독파모)' 경쟁에서는 꼴찌로 탈락했다. 모티프테크놀로지스의 '모티프 3(Motif 3)' 이야기다. 모티프 3는 글로벌 AI 평가기관 아티피셜 애널리시스의 인텔리전스 인덱스(AAII)에서 독파모 참여 모델 가운데 가장 높은 성적을 기록했지만 18일 발표된 2차 단계평가에서는 최하위에 머물렀다. LG AI연구원과 SK텔레콤, 업스테이지가 다음 단계에 진출했다.

표면적으로는 이상한 결과다. AI 모델을 뽑는 경쟁에서 가장 높은 글로벌 성능 지표를 받은 모델이 떨어졌기 때문이다. 그러나 평가 구조와 모티프 3의 아키텍처를 함께 뜯어보면 모순은 상당 부분 사라진다. 이번 결과는 모티프가 AI를 설계하지 못해서가 아니라 좋은 모델 아키텍처를 만드는 능력과 실제 사용 환경에서 좋은 AI 시스템을 만드는 능력이 서로 다른 문제라는 사실을 보여준다.

모티프 3의 구조 자체는 가볍게 평가하기 어렵다. 기술보고서에 따르면 전체 3140억개(314B) 파라미터 가운데 토큰당 132억개(13.2B)를 활성화하는 전문가혼합(MoE) 모델이다. 하나의 MoE 레이어에는 384개 전문가가 존재하고 토큰마다 8개가 선택된다. 여기에 모티프가 직접 설계한 핵심 구조가 '그룹 차등 잠재 어텐션(Grouped Differential Latent Attention·GDLA)'이다.

GDLA에서 눈여겨볼 부분은 기존 어텐션 기법을 단순히 하나 선택하지 않았다는 점이다. 모티프가 공개한 코드에는 Multi-head Latent Attention(MLA) 방식의 저차원 Q·KV 프로젝션이 구현돼 있고, 쿼리 헤드를 그룹으로 묶는 구조와 signal·noise head를 분리한 differential attention이 결합돼 있다. 실제 연산에서도 signal attention에서 sigmoid 함수로 조절된 noise attention을 빼는 구조가 확인된다.

이는 모티프가 MHA, GQA, MLA 같은 어텐션을 단순한 제품명처럼 이해하고 있지 않다는 의미다. 쿼리 헤드와 KV 헤드의 관계, KV 표현의 압축, RoPE가 적용되는 차원, 어텐션 출력의 필터링을 각각 설계 변수로 분리해 다시 조합했다. AI 모델의 내부 구조를 직접 만질 수 있는 역량은 분명하다.

모티프의 높은 AAII 점수를 단순한 벤치마크 최적화의 결과로 치부하기 어려운 이유도 여기에 있다. 임정환 대표는 옥스퍼드대에서 산술기하학을 연구해 박사학위를 받은 정수론 연구자 출신이다. 산술기하학은 계산을 빠르게 수행하는 기술이라기보다 정수와 방정식의 문제를 대수적·기하학적 구조 사이의 관계로 바꿔 추적하는 순수수학의 영역이다.

이런 배경을 놓고 보면 GDLA에서 기존 MHA·GQA·MLA 가운데 하나를 선택하는 대신 쿼리와 KV의 관계, 저차원 압축, 헤드 그룹화, 신호와 잡음의 차등 처리를 각각의 설계변수로 분해한 접근도 우연으로만 보기는 어렵다. 모티프 3가 AAII류 수학·과학·코딩 벤치마크에서 강한 성능을 보인 데에는 문제를 구조로 분해하고 다시 조합하는 아키텍처 자체의 특성이 작용했을 가능성이 있다.

아키텍처 다시 짠 눈부신 기술력
좋은 수식이 좋은 시스템은 아냐

문제는 어텐션 구조의 영리함이 AI 시스템 전체의 효율을 자동으로 보장하지 않는다는 데 있다. MLA 계열 구조가 KV 캐시를 압축하면 HBM에 저장해야 하는 데이터 양을 줄일 수 있다. GQA 계열의 그룹화 역시 여러 쿼리 헤드가 KV를 공유하면서 메모리 사용량을 낮춘다. GDLA는 여기에 differential 구조를 결합한다. 수학적·아키텍처적 관점에서는 상당히 정교한 선택이다.

하지만 실제 GPU에서 토큰 하나가 생성되는 과정은 어텐션 수식에서 끝나지 않는다. 압축된 latent representation을 읽어야 하고 projection을 수행해야 한다. MoE에서는 토큰을 어떤 expert로 보낼지 결정하고 필요한 weight를 불러와야 한다. 여러 GPU를 사용하면 tensor parallel과 expert parallel 과정에서 통신도 발생한다. HBM에서 SRAM으로 데이터를 가져오고 다시 레지스터에 올린 뒤 연산하는 물리적인 데이터 이동 역시 사라지지 않는다.

따라서 GDLA의 진짜 성능은 "KV 캐시를 얼마나 압축했는가" 하나로 판단할 수 없다. 같은 품질의 출력을 만들 때 MHA나 GQA, MLA 대비 실제 HBM read/write가 얼마나 감소했는지, decode 단계에서 토큰당 latency가 얼마나 낮아졌는지, GPU utilization이 얼마나 높아졌는지, MoE expert routing에서 발생하는 통신 비용까지 포함했을 때 throughput이 얼마나 개선되는지를 함께 봐야 한다.

대규모 AI 모델을 구동하는 GPU 서버가 데이터센터 내부에 밀집해 있다. 모티프 3처럼 수천억개 파라미터를 가진 MoE 모델은 토큰마다 일부 전문가만 활성화하더라도 전체 가중치를 저장하고 필요한 전문가로 데이터를 보내기 위한 GPU·HBM·네트워크 자원이 필요하다. 높은 벤치마크 성능과 실제 서비스 구동비용을 따로 봐야 하는 이유다. / 여성경제신문DB

블랙월급 가속기 체중 고려 못해
13B만 깨워도 314B는 남는다

모티프 3의 또 다른 역설은 계산을 줄였다고 반드시 작은 컴퓨터에서 돌아가는 모델이 되는 것은 아니라는 점이다. 전체 3140억개 파라미터 가운데 토큰당 132억개만 활성화하는 MoE 구조는 매 순간 수행하는 연산량을 줄이지만, 나머지 전문가 가중치가 사라지는 것은 아니다. GDLA가 KV 캐시를 압축해 어텐션의 메모리 부담을 낮추더라도 거대한 전문가 가중치를 GPU 메모리에 배치하고 토큰마다 필요한 전문가로 데이터를 보내는 비용이 남는다.

결국 따져야 할 것은 활성 파라미터 수가 아니라 일정한 응답속도와 동시처리량을 유지하기 위해 실제 몇 장의 GPU와 얼마의 HBM, 어느 정도의 GPU 간 통신이 필요한가다. 블랙웰급 고사양 가속기 여러 장을 붙여야 비로소 장점이 나타나는 구조라면 높은 벤치마크 점수와 별개로 실제 산업현장의 도입비용은 커질 수밖에 없다.

여기서 모델 아키텍처와 시스템 아키텍처의 경계가 나타난다. 독파모 2차 평가도 바로 이 경계 쪽으로 이동했다. 1차 평가에서 기술적 독자성이 핵심 쟁점이었다면 2차 평가는 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점을 합산했다. 평가 전부터 정부는 AI 에이전트 역량과 산업 현장 적용성, 생태계 확산을 주요 평가 대상으로 예고했다.

모티프는 AAII 1위가 전체 평가 1위를 의미하지 않는다는 것을 보여줬다. 오히려 이번 결과에서 주목할 숫자는 평가 항목별 격차다. 정부 발표에 따르면 벤치마크 평가에서 1위와 4위 사이의 점수 차이는 약 5점 수준이었다. 반면 사용자 평가에서는 팀 사이 격차가 더 크게 벌어졌다. 즉 모델들의 순수 지능 측정값보다 사람이 실제로 모델을 사용하면서 경험한 차이가 당락에 더 큰 영향을 줬다는 뜻이다.

모티프에도 약점은 이미 예고돼 있었다. 2차 평가 직전 공개된 자료에서도 모티프 3는 314B 가운데 13B만 활성화하는 높은 계산 효율과 독자 아키텍처가 강점으로 평가됐지만 국민 대상 서비스와 산업 적용 사례의 구체성은 상대적으로 부족하다는 지적이 나왔다. 반대로 업스테이지는 H200 두 장으로 구동 가능한 구조와 최대 100만 토큰 컨텍스트, 기업 업무 환경을 겨냥한 에이전트 활용성을 전면에 내세웠다.

이를 이유로 모티프의 탈락을 단순히 "사용성이 나빴다"로 정리해서도 안 된다. 모티프는 30명 안팎의 조직으로 대기업 연구조직과 경쟁하면서 독자 어텐션 구조를 만들고 300B급 MoE를 학습시켜 글로벌 리더보드 상위권까지 끌어올렸다. 정부 역시 지난 2월 모티프를 추가 정예팀으로 선정하면서 AI 핵심 모듈을 자체 제안·구현할 능력과 높은 기술 내재화 수준을 선정 이유로 들었다.

혼자만 똑똑한 척하다 떨어졌다
변별력 없는 절대평가 올인 탓

GDLA는 잘 만들었다. 모델이 벤치마크 문제를 얼마나 잘 푸는지는 AI 경쟁력의 한 축이다. 모티프 3가 보여준 것은 한국에서도 어텐션과 MoE 구조 자체를 다시 설계할 수 있다는 사실이다. 그러나 독파모 결과는 그 다음 단계가 따로 존재한다는 것을 보여줬다.

임정환 대표의 "글로벌 프론티어 수준을 증명했다"는 자평은 너무 앞서갔다. 프론티어 수준 기술력은 수학·과학·코딩 문제를 잘 풀었다는 사실만으로 성립하지 않는다. 실제 경쟁에서는 같은 성능을 얼마나 적은 GPU와 전력으로 내는지, 응답속도와 동시처리량이 어떤지, 긴 작업을 얼마나 안정적으로 수행하는지, 산업 현장에 얼마나 쉽게 배포할 수 있는지까지 함께 봐야 한다. 

물론 독파모에서 모티프가 떨어졌다고 벤치마크가 무의미하다는 뜻도 아니다. 오히려 이번 결과는 AAII가 무엇을 잘 측정하고 무엇을 아직 충분히 측정하지 못하는지를 선명하게 드러냈다. 좋은 수식을 만든 뒤에는 그 수식이 GPU의 HBM과 SRAM, 네트워크를 지나 실제 서비스의 응답으로 변환되는 전체 실행경로까지 완성해야 한다는 것. GDLA 이후 모티프가 풀어야 할 문제는 이미 만든 구조를 실제 사용자가 체감하는 속도·안정성·비용으로 변환하는 일이다.

글로벌 AI 모델 평가기관 아티피셜 애널리시스의 인텔리전스 인덱스(AAII) 추이. /모티프테크놀로지

☞ AAII(Artificial Analysis Intelligence Index) = 인공지능 분석기관 아티피셜 애널리시스가 여러 벤치마크를 종합해 대규모언어모델(LLM)의 지능 수준을 비교하는 지표다. 수학·과학·코딩·추론 등 난도가 높은 문제에서 모델이 얼마나 정확하게 답을 내놓는지를 측정해 하나의 점수로 환산한다. 단순한 지식 암기보다 복잡한 문제 해결 능력을 측정한다는 점에서 범용인공지능(AGI)으로 향하는 모델의 능력을 비교하려는 성격이 강하다.

모티프 3 베타는 44점을 기록하며 LG AI연구원과 업스테이지 등 국내 오픈 모델 가운데 가장 높은 수준에 올라섰으나 독파모 2차 평가에서는 모티프가 탈락했다. 글로벌 벤치마크 순위와 실제 선발 결과가 뒤집히면서 수학·과학·코딩 중심 성능지표만으로 모델 경쟁력을 가려내기에는 변별력이 제한적이라는 점도 드러났다.

문제는 시험을 잘 푸는 능력과 범용지능이 같은 개념은 아니기 때문이다. 고난도 수학 기출문제나 과학·코딩 문제의 정답률이 올라가면 AAII 점수는 높아질 수 있지만, 그것만으로 새로운 환경에 적응하고 도구를 사용하며 장시간 작업을 수행하는 범용적 능력까지 입증되는 것은 아니다. 특히 상위 모델들의 벤치마크 점수가 빠르게 수렴할수록 기존 문제의 정답률만으로 실제 모델 간 차이를 가려내기도 어려워진다.

이번 결과는 AAII의 변별력이 부족했다는 수준을 넘어, 지표가 무엇을 '지능'이라고 부를 것인지부터 다시 묻게 한다. 모티프 3가 수학·과학·코딩 문제에서 가장 높은 점수를 기록했는데 실제 사용자 평가와 산업 적용성까지 포함한 독파모 경쟁에서는 최하위로 밀렸다면, AAII는 적어도 이번 선발에서 필요했던 AI 능력 전체를 충분히 설명하지 못했다. 문제를 얼마나 잘 맞히는지는 정확히 측정했을 수 있다. 그러나 그 점수를 '인텔리전스 인덱스'라는 이름으로 범용적인 모델 능력까지 대표시키는 순간 잣대가 틀린 것이다.

여성경제신문 이상헌 기자
liberty@seoulmedia.co.kr

*여성경제신문 기사는 기자 혹은 외부 필자가 작성 후 AI를 이용해 교정교열하고 문장을 다듬었음을 밝힙니다. 기사에 포함된 이미지 중 AI로 생성한 이미지는 사진 캡션에 밝혀두었습니다.