“생성형 AI, 일반검색보다 100배 더 비싸…SK하이닉스가 최적 솔루션 제공” [헤럴드 기업포럼 2023]

임의철 SK하이닉스 메모리담당 부사장
‘헤럴드 기업포럼 2023서’ AiMX 특장점 소개
GPU 시스템 대비 13배 이상 성능 제공
응답시간 0.5초내로 줄이고, 에너지소모 5분의 1 수준으로 감소

임의철 SK하이닉스 메모리솔루션담당 부사장이 12일 서울 중구 신라호텔 다이너스티홀에서 열린 ‘헤럴드 기업포럼 2023’에 참석해 ‘생성형 AI의 효율적 처리를 위한 반도체 기술’을 주제로 강연하고 있다. 임세준 기자

[헤럴드경제=김민지 기자] 챗GPT 같은 거대 언어모델(Large Language Model) 서비스가 각광받는 가운데 성능 향상에 필수적인 고성능 메모리반도체의 중요성이 커지고 있다. HBM(고대역폭 메모리)로 새로운 먹거리 분야에서 리더십을 확보한 SK하이닉스는 생성형 AI 모델에 특화된 ‘AiMX’로 다시 한번 초격차를 만들겠다는 포부다.

임의철 SK하이닉스 메모리솔루션담당 부사장은 12일 서울 중구 신라호텔 다이너스티홀에서 열린 ‘헤럴드 기업포럼 2023’에서 진행한 ‘생성형 AI의 효율적 처리를 위한 반도체 기술’이란 주제의 강연에서 “SK하이닉스가 개발한 ‘AiMX’는 최신 그래픽처리장치(GPU) 시스템 대비 13배의 성능을 제공할 수 있고, 에너지소모량은 17%까지 줄여 실시간 생성형 인공지능(AI) 응용 서비스에 최적의 솔루션이 될 것”이라고 강조했다.

AiMX는 생성형 AI와 같은 거대 언어모델에 특화된 가속기 카드다. SK하이닉스는 지난달 미국 캘리포니아에서 열린 ‘AI 하드웨어 & 에지 AI 서밋 2023’에서 처음으로 시제품을 공개했다. 앞서 SK하이닉스는 지난해 2월 메모리반도체에 연산 기능을 접목한 차세대 기술 PIM이 적용된 GDDR6-AiM을 개발한 바 있다.AiMX는 GDDR6-AiM을 여러 개 연결해 성능을 한층 개선했다.

임의철 부사장은 “챗GPT 같은 AI 챗봇은 거대 언어모델이라는 혁신 기술을 기반으로 한다”며 “많은 사람이 AI 챗봇 서비스에 열광하면서 얼리어댑터(Early Adopter)들의 시장에서 주류시장으로 이동하고 있다”고 말했다.

그러면서 “하지만 서비스 운영에 엄청난 양의 전기료 등 때문에 기존 검색 서비스에 비해 100배 이상 높은 운영비용이 든다”며 “이를 해결하기 위해 최신 GPU 시스템보다 낮은 비용으로 서비스 지연시간을 줄일 수 있는 AiM 기반 가속기 시스템의 필요성이 대두됐다”고 말했다.

임 부사장은 AI 챗봇의 성능이 메모리반도체 성능에 의해 좌우된다고 설명했다.

그는 “AI 챗봇 서비스는 기존 검색 서비스보다 훨씬 더 데이터 인텐시브(집약적)이고 메모리집약적”이라며 “답변을 할 때마다 한 번 쓴 데이터를 다시 사용할 수 없는 알고리즘이기 때문에 메모리 성능이 떨어지면 좋은 퍼포먼스를 낼 수 없다”고 말했다.

AI 챗봇은 응답 하나를 만들기 위해 수많은 데이터를 읽고 처리해야 한다. 때문에 아무리 최신의 GPU를 쓰더라도 메모리 성능이 뒷받침되지 않으면 응답시간이 지연된다는 의미다.

임 부사장은 “최신 GPU 시스템의 경우 1개 단어를 처리하는 데 23ms(1ms=1000분의 1초), 261개의 단어를 처리하는 데 6초가량의 지연시간이 필요해 매우 느리다”며 “GPU는 AI 챗봇의 답변 생성과 같은 메모리 집약적인 워크로드 처리에 효율적이지 않다”고 말했다. 이어 “매우 비싼 고성능의 GPU를 탑재해도 오직 0.3%의 성능만을 사용할 수밖에 없어 전력 낭비가 크다”고도 덧붙였다.

GDDR6-AiM(Accelerator-in-Memory)을 여러 개 연결해 성능을 한층 개선한 가속기 카드 ‘AiMX’ 시제품. [SK하이닉스 제공]

임 부사장은 SK하이닉스의 AiM은 생성형 AI 처리에 최적의 옵션이라고 강조했다.

그는 “AiM을 탑재하면 서비스 응답시간을 0.46초로, 기존 GPU 시스템보다 약 13.3배 줄일 수 있어 완전히 다른 고객경험을 제공할 수 있다”며 “동시에 에너지소모량은 GPU의 5분의 1, 약 17%까지 감소해 막대한 운영비를 절감할 수 있다”고 말했다.

AiMX가 기존 시스템에서 많은 부분을 변경할 필요 없이 비교적 간단하게 적용할 수 있다는 점도 특징이다.

임 부사장은 “기존 액셀러레이터(가속기)의 메모리를 AiM으로 교체하는 것이 아니라 AiM 가속기 카드를 만들어서 AI 서버에 꽂으면 된다”며 “기존 중앙처리장치(CPU)나 GPU, 가속기 등을 수정할 필요가 없고 소프트웨어 수정도 최소화할 수 있다”고 말했다.

마지막으로 임 부사장은 향후 스페셜티(Specialty)를 전략을 기반으로 AiM 제품을 각 고객사가 원하는 맞춤형으로 공급하겠다고 밝혔다.

임 부사장은 “미래에는 결국 메모리와 컴퓨팅을 합치는 방향이 될 것”이라며 “AiM 칩과 AiM 컨트롤 허브 칩의 레퍼런스 디자인과 가속기 카드를 제공해 AI 서비스 인프라에 최적화된 나만의 가속기 카드 시스템을 구축할 수 있도록 할 예정”이라고 말했다.

SK하이닉스는 AI 시대에 고성능 메모리의 중요성이 더욱 커질 것으로 보고 관련 제품 라인업을 강화하고 있다. 10년 전 HBM 제품을 세계 최초로 개발하고 꾸준한 투자를 이어온 결과, 지금의 챗GPT에 탑재되는 엔비디아 GPU에 자사 HBM3(4세대)를 공급하고 있다.

곽노정 SK하이닉스 대표이사 사장은 최근 진행한 ‘창립 40주년 특별대담’에서 “그동안 범용 제품(Commodity)으로 인식돼왔던 메모리반도체를 고객별 차별화된(Customized) 스페셜티(Specialty) 제품으로 혁신해 가겠다”며 “메모리는 계속해서 고객 요구에 맞춰 차별화해야 하고, 이것이 우리를 성장시키는 원동력이 될 것”이라고 말한 바 있다.

jakmeen@heraldcorp.com