엔비디아 GPU보다 58배 크고 15배 빠른 AI 칩 만들어

[강다은의 실리콘밸리 씬]
셀레브라스 본사·데이터센터 가보니

22일(현지 시각) 미 캘리포니아주 산타클라라의 한 데이터센터에서 줄리 최 셀레브러스 최고마케팅책임자(CMO)가 셀레브라스 AI 칩이 탑재된 서버와 서버 랙에 대해 설명하고 있다. /강다은 특파원

22일(현지 시각) 미국 캘리포니아주 산타클라라의 한 데이터센터. 삼엄한 보안 검색을 거쳐 내부로 들어서자 사람 키보다 높게 솟은 검정 서버 랙들이 끝없이 늘어서 있었다. 서버 팬이 쉴 새 없이 돌아가며 옆 사람의 목소리가 묻힐 정도의 굉음이 장내를 울렸고, 칩에서 발생하는 막대한 열을 식히기 위한 액체 냉각 배관이 혈관처럼 얽혀 있었다.

겉보기에 평범한 데이터센터 같지만, 서버 안에 들어 있는 인공지능(AI) 반도체의 실체는 범상치 않다. 손톱만 한 엔비디아 그래픽처리장치(GPU) 수백 개를 초고속 네트워크로 엮어 쓰는 일반 데이터센터와 달리, 미국 AI 칩 기업 ‘셀레브라스 시스템즈’가 개발한 거대한 단 1개의 칩이 연산을 독식하고 있었다. 데이터센터 관계자는 “이 칩은 기존 GPU보다 58배나 크고, AI 연산속도는 15배 빠르다”며 “현존하는 가장 빠른 AI 칩”이라고 설명했다.

셀레브라스가 엔비디아의 견고한 성벽에 균열을 내며 시장의 주목을 받는 핵심 비결은 다름 아닌 ‘역발상’이다. 반도체 업계는 일반적으로 지름 30㎝짜리 원형 실리콘 웨이퍼를 잘게 잘라 수백 개의 작은 칩을 만든다. 하지만 셀레브라스는 이 웨이퍼를 자르지 않고 통째로 사용해 지름 30㎝ 크기의 세상에서 가장 큰 AI 칩을 만들었다. 원형 웨이퍼의 모서리만 깎아낸 정사각형 모양으로, 실물은 마치 호텔 뷔페에서 사용하는 식사용 접시를 연상시킬 정도로 거대하다.

이들이 거대한 칩을 만든 이유는 AI가 답을 내놓는 과정인 추론 효율을 극대화하기 위해서다. GPU처럼 작은 AI 칩으로 거대 AI 모델을 구동하려면 문제 하나를 풀 때마다 칩끼리 데이터를 주고받아야 해 네트워크가 막히는 병목 현상이 발생한다. 반면 셀레브라스는 커다란 하나의 칠판 위에 90만 개의 연산 코어와 초고속 메모리를 전부 집어넣었다. 데이터를 오가는 데 드는 이동 시간을 사실상 ‘제로(0)’에 가깝게 줄여, AI가 질문을 받자마자 순식간에 답을 출력하도록 만든 것이다.

셀레브라스의 지름 30cm 웨이퍼 크기 AI 칩./강다은 특파원

실제로 한국 AI 스타트업 업스테이지의 언어 모델 ‘솔라’를 셀레브라스 시스템에서 구동한 결과, 초당 2000개 이상의 단어(토큰)를 생성해냈다. 기존 GPU 시스템 보다 최대 15배 빠른 속도다. 줄리 최 셀레브라스 최고마케팅책임자(CMO)는 “똑똑한 모델보다 더 빠른 모델이 중요해졌다”며 “AI 경쟁의 기준이 ‘지능’에서 ‘단위 시간당 지능’으로 바뀌고 있다”고 전했다.

AI 업계는 이제 단 하나의 칩으로 모든 과정을 처리하는 대신 작업 성격에 맞춰 최적의 반도체를 조합해 쓰는 ‘칩 혼합’ 전략으로 선회하고 있다. 방대한 데이터를 학습시킬 때는 엔비디아 GPU를 쓰고, 1초가 급한 실시간 추론 서비스에는 셀레브라스 같은 특화 칩을 붙여 쓰는 방식이다. 회사 관계자는 “우리는 엔비디아를 대체하는 것이 아니라, 엔비디아의 한계를 메워주는 강력한 보완재”라고 설명했다.