'잘 배우는 AI'로…네이버클라우드, LLM 학습 안정화 기술 공개

사진은 기사와 연관 없음. 사진=게티이미지뱅크

네이버클라우드가 자체 초 거대언어모델(LLM)의 학습 안정성을 크게 높여주는 기술을 세계 최고 수준의 인공지능(AI) 학회에서 공개했다. LLM 경쟁이 모델을 크게 만드는 경쟁을 넘어 학습 안정성이 LLM 경쟁의 핵심으로 떠오르고 있는 가운데 국산 AI 기술의 실전 체력을 끌어올릴 수 있는 기술적 기반이 될 것으로 평가된다.

27일 정보기술(IT)업계에 따르면 네이버클라우드는 2025 국제머신러닝학회(ICML)에서 ‘Peri-LN’(페리-엘엔)이라는 새로운 트랜스포머 구조를 소개했다.

LLM은 학습 과정에서 모델 내부 정보들이 지나치게 커지거나, 계산이 튀는 현상이 자주 발생한다. 특히 연산 속도를 높이기 위해 사용하는 FP16 방식에서는 계산값이 표현 가능한 범위를 초과하면서 학습이 중단되는 경우가 많았다. 실제로 메타의 OPT 모델은 학습 중 하루에 40번 이상 시스템을 재시작해야 했고, 학습 중단이 잦았다는 내부 보고가 있다.

논문은 이런 문제를 완화하는 구조로 Peri-LN을 제안했다. Peri-LN은 기존 방식에서 입력뿐 아니라 출력까지 정규화(Normalization)를 추가한 방식이다. 연산 전후에 두 차례 안정화 장치를 거치기 때문에 학습 전반에 걸쳐 분산이 폭주하지 않는다. 

소버린 AI의 조건인 ‘자체 LLM 학습 능력’ 확보에도 중요한 전환점이 될 수 있다는 분석도 나온다. 대규모 모델을 안정적으로 훈련시키기 위해선 수천 개의 GPU를 수십 일간 사용하는데, 이 과정에서 학습이 자주 중단되면 비싼 GPU 자원을 허비하게 된다. Peri-LN은 이 같은 낭비를 최소화하고, 한정된 자원으로도 LLM을 훈련할 수 있게 해주기 때문이다.

무엇보다 이 기술은 복잡한 하드웨어나 튜닝 없이 모델 구조만 간단히 바꾸면 적용 가능하다는 장점이 있다. 즉, GPU가 많지 않아도 ‘잘 배우는 AI’를 만들 수 있다는 뜻이다. 이동수 네이버클라우드 전무는 이를 두고 “(Peri-LN 같은) 기술들이 바로 소버린 AI의 ‘연료’”라고 표현했다. 외부 기술이나 인프라에 의존하지 않고, 자체 AI를 키우기 위한 핵심 요소로 작동할 수 있다는 의미로 해석된다.

한 IT업계 관계자는 “Peri-LN은 단순히 구조를 살짝 바꾼 것처럼 보이지만, AI가 얼마나 빨리, 정확하게, 안정적으로 배울 수 있느냐를 결정하는 기술”이라며 “국산 AI가 글로벌 무대에서 경쟁력을 갖추기 위해 꼭 필요한 기술 중 하나”라고 평가했다.

안정훈 기자