HBM으로 AI 메모리 잡은 SK하이닉스…이번엔 ‘데이터 길’ 뚫는다

네이처 일렉트로닉스에 AI·HPC용 패키지 광학기술 논문 게재
데이터 병목 해법 제시…“메모리 인터페이스까지 확대”

SK하이닉스는 글로벌 연구진과 함께 차세대 인공지능(AI) 및 고성능 컴퓨팅(HPC)을 위한 ‘CPO’(Co-Packaged Optics) 기술을 다룬 논문 ‘고성능 컴퓨팅 및 인공지능을 위한 패키지 내 광학 기술’을 세계적인 학술지 ‘네이처 일렉트로닉스’에 게재했다고 20일 밝혔다.

이번 연구에는 홍승훈 SK하이닉스 AI 인프라 팀장과 이규상 미국 버지니아대학교 전기컴퓨터공학과 교수가 교신 저자로 참여했다. 또 일리노이대학교 어바나-샴페인(UIUC), 난양공과대학교(NTU), 매사추세츠공과대학교(MIT), 연세대학교 연구진도 공동 연구에 참여했다.

논문에 따르면 지금까지 고대역폭메모리(HBM)가 AI 가속기 내부의 메모리 병목을 해결하는 역할을 했지만, 향후 AI 데이터센터가 수천 개의 그래픽처리장치(GPU)와 HBM을 연결하는 초대형 클러스터로 확대되면 새로운 문제가 나타날 수 있다. 칩과 칩, 랙과 랙 사이에서 데이터를 주고받는 과정에서 발생하는 대역폭 부족이다.

연구진은 이를 ‘대역폭 장벽(Bandwidth Wall)’으로 규정했다. 연산 성능은 2년마다 약 3배씩 증가하는 반면 대역폭은 1.4배 늘어나는 데 그치면서 데이터 이동이 시스템 성능을 제한하는 상황이 발생하고 있다는 설명이다.

기존 구리 기반 전기 연결은 데이터 전송 거리가 길어질수록 신호 손실과 전력 소모가 커지는 한계가 있다.

CPO는 광 송수신기(TRx)를 프로세서와 같은 패키지에 집적해 칩 사이의 데이터를 빛으로 전송하는 방식이다. 고속 전기 신호가 이동하는 거리를 줄이고 광 신호를 활용해 데이터 전송 속도와 에너지 효율을 높일 수 있다.

논문은 CPO를 단순한 패키징 기술이 아니라 AI 인프라 전체의 데이터 연결 구조를 바꾸는 핵심 기술로 제시했다. 연구진은 차세대 AI 인프라 구현을 위해 초당 100테라비트 이상의 데이터 전송 대역폭과 데이터 1비트당 1피코줄 미만의 에너지 소비, 10나노초 미만의 칩 간 지연시간을 기술적 목표로 제시했다.

패키징 기술 역시 2D에서 2.5D 인터포저, 3D 이종 집적으로 발전할 것으로 전망했다. 이를 통해 칩 단위 연결을 넘어 랙과 포드 등 시스템 규모의 데이터 통신으로 CPO 적용 범위를 확대할 수 있다는 것이다.

장기적으로는 광 연결을 메모리 인터페이스까지 확대하는 방안도 제시했다. 광 인터포저를 활용해 메모리와 프로세서를 직접 연결하고 여러 가속기가 하나의 거대한 메모리 풀을 공유하는 ‘옵틱스 중심’ 구조다.

AI 모델이 커질수록 메모리 용량과 데이터 이동의 효율적인 확장이 중요해지는 만큼 차세대 AI 시스템의 핵심 구조가 될 수 있다는 설명이다.

SK하이닉스는 이번 연구를 통해 HBM을 중심으로 한 메모리 경쟁에서 나아가 AI 시스템 전체의 데이터 이동과 연결 구조까지 기술 영역을 확장한다는 구상이다. CPO를 통해 프로세서와 메모리, 가속기뿐 아니라 랙과 포드 단위의 연결 효율을 높이고 향후 메모리 인터페이스까지 광 연결을 확대한다는 전략이다.

이규상 교수는 “연산칩 성능이 향상되어도 칩 사이의 데이터 이동 능력이 이를 따라가지 못하면 시스템 전체 성능은 올라가지 않는다”라며 “물리적 한계를 안고 있는 구리 배선 대신 빛으로 데이터를 옮기는 것이 가장 유력한 확장 경로”라고 말했다.

이어 “광 인터커넥트는 앞으로 AI 인프라를 구성하는 핵심 연결 기술로 자리 잡을 가능성이 높다”며 “관련 기술은 이미 실험실을 벗어나 산업화 초입에 들어섰다”고 진단했다.

홍승훈 팀장은 “학계의 전문성과 산업계의 현장 경험이 연결되어 AI 인프라의 미래 방향을 함께 제시했다는 점에서 큰 의미가 있다”며 “앞으로도 고객과 산업 생태계에 실질적인 가치를 제공할 수 있는 개방형 협력을 지속 확대해 나갈 것”이라고 밝혔다.

이어 “고객의 AI 경쟁력을 높일 수 있도록 메모리의 역할을 ‘단일 부품’이 아닌 ‘시스템 관점’에서 바라보고, 다양한 산업 파트너와의 협력을 통해 새로운 가치를 만들어가는 데 집중하고 있다”고 덧붙였다.

홍승훈(왼쪽부터) SK하이닉스 팀장과 이규상 버지니아대학교 교수가 차세대 광 인터커넥트(CPO) 기술 연구에 관해 의견을 나누고 있다. SK하이닉스 뉴스룸 제공

CPO 방식과 기존 방식 비교 이미지. SK하이닉스 뉴스룸 제공

이상현 기자 ishsy@dt.co.kr