GPU 빈부 격차…'AI 낙오국' 만들까 [테크토크]

이용 가능한 GPU 수, 기업마다 판이해
빅테크가 쓸어간 GPU…스타트업은 부족
GPU 빈부 격차, 국가간 경쟁력까지 영향

현재 인공지능(AI)의 훈련과 추론 작업에 있어 가장 필수적인 칩은 엔비디아 그래픽처리유닛(GPU)입니다. 이젠 GPU의 '빈부 격차'가 각국 AI 산업 경쟁력까지 갈라놓고 있습니다.

GPU 부자 vs GPU 빈자

GPU 기업 '엔비디아'가 직접 설립한 '케임브리지 슈퍼컴퓨터 센터' [이미지출처=엔비디아]

AI 모델을 보유한 기업들은 직접 AI 슈퍼컴퓨터에 투자해 보유하거나, 다른 전문 클라우드 업체로부터 GPU 데이터센터 사용 시간을 대여해 '컴퓨팅 능력'을 확보합니다.

미 반도체 시장 조사 그룹 '세미애널리시스'에 따르면, 구글(+영국 AI 연구 자회사 딥마인드)·마이크로소프트·오픈AI 같은 기업들은 이런 방식으로 약 2만개에 달하는 GPU에 접속할 수 있습니다. 이런 회사들을 'GPU 부자'라 할 수 있습니다.

반대편에는 'GPU 빈자'가 있습니다. 주로 AI 관련 사업을 하는 신설 스타트업들이거나, 미국 외 IT 회사들입니다. 이런 회사들도 나름 GPU 컴퓨팅에 상당한 자본을 투입했지만, 미국 빅테크의 GPU 비축량에는 도저히 미치지 못합니다.

GPU 빈자들은 오픈소스 AI에 기댑니다. 메타가 대중에 무료로 공개한 대형 언어 모델 '라마(Llama)'가 대표적이지요. 스타트업들은 이런 모델의 크기를 압축하면서 성능은 그대로 유지하는 효율화 작업을 통해, 상대적으로 적은 GPU로도 AI 모델을 원활히 구동하는 데 주력해 왔습니다. 빅테크처럼 거대 컴퓨터 인프라를 보유하지 못한 GPU 빈자들은 이런 방식으로 GPU 부자에 대항해 왔습니다.

빈자의 '효율화' 잡아먹은 부자의 '낭비' 전략

지난 3년간 인공지능(AI) 분야 최고 논문을 작성한 국가 순위. 미국, 중국, 영국을 제외하면 대부분 국가들은 미흡한 수준. [이미지출처=AI 동향 리포트]

그러나 GPU 빈자의 '효율화' 전략은 GPU 부자들을 추월하지 못하는 모양새입니다. 여전히 대형 언어 모델 계열에서 가장 선두 그룹에 있는 기업은 GPU 자원을 맘껏 이용할 수 있는 오픈AI의 GPT-4.0, 혹은 구글-딥마인드의 제미니 모델 정도입니다.

GPU 빈자의 AI 연구가 효율화에 집중한다면, GPU 부자들은 '낭비 전략'이라 할 수 있습니다. 이들은 효율성 따위는 아예 신경쓰지 않고 그냥 초대형 AI를 만들어 막대한 AI 컴퓨터로 훈련하길 반복합니다.

문제는 현시점에선 낭비 전략이 효율화 전략보다 더 효율적이라는 겁니다. AI 훈련은 과학보다는 공예에 가깝습니다. 훈련을 몇 회 반복할지, 데이터 세트를 어떻게 구성할지 등 다양한 변수를 조정하는 게 AI의 품질에 결정적인 영향을 미칩니다.

따라서 고스펙 컴퓨터로 최대한 많은' 시행착오'를 거치는 게 저스펙 컴퓨터를 알뜰하게 사용하는 것보다 나은 결과를 얻는 일이 벌어지지요.

이런 추세는 최근 공개된 벤처캐피털(VC)사 '에어스트릿캐피털'의 2023 AI 동향 리포트 자료에서도 확인할 수 있습니다. 해당 리포트가 집계한 자료에 따르면, 지난해 AI 관련 최고 수준 논문을 출간한 국가(중복 집계 허용)는 미국, 중국, 영국 순이었습니다. 모두 GPU 기반 슈퍼컴퓨터를 풍족하게 갖춘 나라들입니다.

이 가운데 미국은 3년 연속 점유율 70%를 차지했고, 2·3위인 중국과 영국은 각각 20% 안팎으로 경쟁을 펼칩니다. 나머지 나라들은 모두 한 자릿수대 %에 불과합니다.

AI 동향 리포트가 집계한 2023년 3분기 기준 각국 슈퍼컴퓨터의 GPU 탑재 수 순위.(구글-딥마인드 등 일부 기업 및 엔비디아 GPU가 수출 제한된 중국은 제외됨)

같은 보고서에서 공개된 각국의 AI 컴퓨팅 인프라를 보면, GPU 빈부 격차가 확연히 드러납니다. 순위권에 오른 건 미국, 영국제 GPU 슈퍼컴퓨터뿐입니다. EU의 레오나르도 컴퓨터도 3위를 기록하긴 했으나, 해당 인프라는 EU 27개국 공동 프로젝트에 분산돼 사용하기 때문에 한계가 있습니다.

정부가 직접 불균형 해소해야 할까

GPU 빈부 격차는 단순히 기술 경쟁력에만 영향을 미치지 않습니다. 거대한 GPU 인프라를 보유했다는 것은 최고급 인재들의 AI 이론을 검증할 기회를 훨씬 많이 가졌다는 뜻이겠지요. 이 때문에 메타나 구글, MS 같은 빅테크는 최고 수준의 AI 인재를 빨아들이는 블랙홀이 됩니다. 그만큼 인재 유출을 겪는 다른 나라와의 산업 경쟁력 격차는 더욱 벌어져만 갈 겁니다.

일부 국가들은 극소수의 민간 빅테크에 AI 기술이 좌우될 것을 우려해 정부가 직접 'AI 컴퓨터'에 투자하기도 합니다. 아랍에미리트(UAE)에 기반을 둔 민관 합작 기술 기업 'G42'도 엔비디아 GPU, 혹은 AI 구동에 특화된 컴퓨터 칩 구매에 공을 들이고 있습니다.

이미 세계 3대 AI 허브로 이름을 날리고 있는 영국도 정부가 직접 나서서 'AI 태스크포스'를 구성하고, 10억달러(약 1조3300억원) 넘는 예산을 투자해 AI 전용 슈퍼컴퓨터 센터를 짓겠다고 발표한 바 있습니다. 현재까지 발표된 정부 투자 AI 컴퓨터 프로젝트 중 가장 거대한 수준입니다.

임주형 기자 skepped@asiae.co.kr