네이버, 이미지·영상 AI 학습 병목 풀어 처리량 1.5배 늘려

엔비디아 AI 데이서 연구 공개
비전 인코더 재구현에 큰 효과
시각언어모델 학습 효율 높여

9일 서울 강남구 코엑스에서 열린 엔비디아 AI 데이 서울 2026에서 참가자들이 이동하고 있다. 이번 행사는 엔비디아 주요 기술 리더들의 기조연설을 비롯해 3개 트랙에서 진행되는 15개 브레이크아웃 세션, AI 에이전트 체험 프로그램, 개발자 실습 워크숍 등이 마련됐다. /사진=뉴스1

네이버클라우드가 텍스트와 이미지, 비디오를 함께 이해하는 시각언어모델(VLM)의 사전학습 처리량을 엔비디아의 학습 프레임워크 '메가트론 브리지' 기본 설정 대비 1.5배 수준으로 끌어올렸다. 이미지와 영상이 섞인 데이터를 학습할 때 생기는 병목을 풀어 같은 장비로 더 많은 데이터를 빠르게 학습할 수 있게 됐다.

9일 서울 강남구 코엑스에서 열린 '엔비디아 AI 데이 서울 2026'에 연사로 나선 김윤식 네이버클라우드 멀티모달 파운데이션 리서치 엔지니어는 "하이퍼클로바X 기반의 VLM 사전학습(MMPT) 단계에서 발생하던 데이터 병목 현상을 해결해 학습 처리량을 150.2%까지 끌어올렸다"고 밝혔다.

VLM은 글자만 읽는 기존 거대언어모델(LLM)과 달리 사진이나 동영상 등 시각 정보를 함께 입력받아 분석하는 인공지능(AI)이다. 이미지는 글자보다 데이터 용량이 훨씬 커서 학습 과정에서 그래픽처리장치(GPU) 병목 현상이나 서버 멈춤 현상을 일으키기 쉽다.

네이버 연구진은 이미지가 많이 든 학습 데이터가 일부 GPU에 몰리는 문제를 줄이기 위해 '글로벌 패킹 교환' 알고리즘과 메가트론 방식으로 새로 구현한 비전 인코더를 적용했다. 개선 효과는 비전 인코더를 메가트론 방식으로 재구현한 것이 23.9%로 가장 컸고 이미지 토큰 수 기준 재분배 13.3%, 활성화 재계산 5.4%, 저장·입출력 개선 2.5% 순이었다.

대만 타이베이에서 개최된 엔비디아 GTC 타이베이 2026에서 젠슨 황 엔비디아 CEO가 주요 AI 네이티브 클라우드 파트너로 네이버클라우드를 소개하고 있다. /네이버클라우드

김 엔지니어는 "학습 데이터량을 기존 2000억 토큰에서 4000억 토큰으로 2배 늘리자 시각적 맥락 이해와 공간 측정(그라운딩) 능력이 대폭 향상됐다"고 설명했다. 현장에서 알파카를 닮은 것으로 알려진 프로게이머 사진을 제시했을 때 기존 2000억 토큰 모델은 엉뚱한 연예인을 답으로 냈으나 4000억 토큰 모델은 인물을 정확히 맞혔다.

네이버클라우드는 블로그, 지식iN 등 독자적 데이터 기반의 소버린 AI를 구축하는 한편 글로벌 AI 생태계에서도 보폭을 넓히고 있다. 회사는 지난 6월 엔비디아가 이끄는 글로벌 기술 연합인 '네모트론 연합'에 합류해 한국어 지식 평가 벤치마크를 제공하고 기술 버그 수정과 최적화 노하우를 엔비디아와 공유하고 있다.

이날 함께 발표에 나선 이지현 엔비디아 생성형 AI 솔루션 아키텍트는 "네이버는 LLM 분야에서 오랜 기간 협업해 온 한국의 대표적인 파트너로 작년과 올해 하이퍼클로바X를 개발하면서 연구와 엔지니어링 측면 모두에서 긴밀하게 협력해 왔다"고 말했다.

김미현 기자 m222h@sidae.com