엔쓰리엔, ‘오픈 LLM 리더보드 2’ 11B 이하 세계 1위 달성

< 이미지 제공 : 엔쓰리엔 >

엔쓰리엔(대표 남영삼)은 11월 8일 오후 5시 기준으로 ‘오픈 LLM 리더보드 시즌2’의 11B 이하 부문에서 국내에서 처음으로 세계 1위를 달성했다고 발표했다.

엔쓰리엔의 자체 개발 LLM(large language model, 거대언어모델)은 평균 점수 32.02점을 기록하며 글로벌 유수의 AI 기업들을 제치고 탁월한 성과를 달성했다고 전했다.

올해 6월 시작된 ‘오픈 LLM 리더보드 시즌2’는 시즌1의 평가 지표와 평가 방식을 대대적으로 개편하여 새롭게 출범했다. 개편된 평가 방식은 난이도가 크게 향상되어, 글로벌 주요 빅테크 기업인 마이크로소프트(29.67점, 17위), 구글(28.86점, 22위), 메타(28.2점, 29위)도 상대적으로 높은 순위에 머물렀다.

그러나 국내 주요 AI 기업 중에서는 업스테이지가 19.63점으로 278위, 카이스트AI가 19.18점으로 293위, 시즌1에서 약 50일간 1위를 차지했던 투디지트가 18.49점으로 311위를 기록하며 어려움을 겪고 있다. 이번 시즌2에서는 국내 기업 중 두드러진 성과를 낸 사례가 드물었다.

시즌1의 11B 이하 기준 종합 1위 점수는 76.76점에 달했으나, 시즌2에서는 32.02점으로 크게 낮아졌다. 이는 시즌2의 평가 난이도가 상승하고 평가 지표가 재구성된 결과이다. 예를 들어, 시즌1에서 사용된 MMLU(Massive Multitask Language Understanding) 지표는 시즌2에서 난이도와 평가 항목이 강화된 MMLU-PRO로 대체되었다.

이에 대해 엔쓰리엔 김승섭 AI 팀장은 “엔쓰리엔은 학습 데이터셋 생성부터 데이터 평가, 이를 바탕으로 한 모델링에 이르기까지 AI 개발의 전 과정을 독자적인 기술력으로 구축했으며, 이번 성과를 통해 이러한 기술력이 세계적 수준임을 확인했다”라고 밝혔다.

또한 엔쓰리엔 남영삼 대표는 “이번 성과는 엔쓰리엔의 AI 기술력이 국내 주요 AI 기업은 물론 글로벌 빅테크와 비교해도 객관적으로 우수하다는 점을 입증한 것”이라며, “향후 엔쓰리엔이 제공할 AI 서비스에 대한 고객사의 신뢰를 높일 수 있는 계기가 될 것”이라고 강조했다.

그는 또한 “이번 성과는 엔쓰리엔의 자체 인프라 ‘직지랩스’의 기반하에 이루어졌으며, 세계적 수준의 AI 모델 학습을 지원할 수 있는 인프라 역량을 확인하는 기회가 되었다”라고 덧붙였다.

한편, 최근 엔쓰리엔의 AI Computing Infra 전문 브랜드 직지랩스는 10월 23일부터 25일까지 ‘AI Computing Industry Week’ 온오프라인 동시 진행 행사를 성황리에 마친 바 있으며, 향후 엔쓰리엔은 직지랩스의 인프라를 기반으로 AI 글로벌 서비스를 내년에 런칭할 계획이다.