광주에는 생성형 AI를 위한 ‘농장’이 있다?…NHN 국가 AI데이터센터 가보니

개당 4만달러짜리 고성능 GPU ‘H100’
1000개 이상 확보, 클라우드 구축
470개 이상 AI 기업에 서비스 제공
김동훈 대표 “AI 인프라 시장 선도할 것”

광주 북구 오룡동에 자리잡은 NHN 국가 AI데이터센터. NHN클라우드 제공

광주광역시 북구에는 생성형 인공지능(AI)을 위한 ‘농장’이 있다. 이름은 ‘NHN 국가 AI 데이터센터’. 광주과학기술원(GIST)과 길 하나를 사이에 둔 AI 집적단지에 가장 먼저 자리잡은 이곳은 국내 최초로 문을 연 AI 특화 데이터센터다.

지난 21일 방문한 AI 데이터센터는 연면적 3200㎡, 지상 2층의 상자형 건물이었다. 좋게 말하면 기능적인 디자인이고, 겉만 봐선 지식산업단지의 창고형 건물처럼 특색없다는 얘기다. 하지만 내부에는 오픈AI의 GPT를 신호탄으로 1년여 만에 전 산업을 뒤흔들어 놓은 생성형 AI 연구를 뒷받침하는 국내 최대 ‘GPU 팜(Farm)’이 있다.

‘GPU 팜’은 생성형 AI 연산에 필수적인 그래픽처리장치(GPU) 여러 대를 하나의 시스템으로 연결해 대규모 데이터 처리 작업을 수행하는 컴퓨팅 시스템을 의미한다. GPT-3를 한 장의 GPU로 훈련시키면 335년이 걸린다는 조사결과가 있을 만큼, AI 진화 속도에 맞춰 GPU 수요도 기하급수적으로 커지고 있다.

문제는 비용이다. 엔비디아의 고성능 GPU ‘H100’의 개당 가격이 4만달러(약 5300만원)에 달하는 것으로 알려져 있다. 이러한 GPU를 기업들이 대량으로 갖추기에는 부담이 클 수밖에 없다. NHN 데이터센터는 품귀 현상을 빚고 있는 H100을 1000개 이상 확보했고, 그래프코어·사피온 AI 칩도 갖췄다. 과학기술정보통신부·광주광역시가 추진하는 ‘인공지능 중심 산업융합 집적단지 조성 사업’의 운영 사업자로 선정된 NHN클라우드가 구축한 GPU 인프라다. 센터는 지난해 11월부터 운영에 들어갔으며, 연구기관과 기업들이 이 인프라를 빌려 생성형 AI 관련 연구·개발을 하고 있다.

NHN AI 데이터센터의 역량은 세계 10위권 수준이라고 한다. 김동훈 NHN클라우드 대표는 “모 통신사에서 H100를 팔아달라고 했을 정도로 국내에선 큰 규모”라면서도 “글로벌 기준으로는 부족하기 때문에 더 많은 투자가 필요하다”고 했다.

“입장하면서 덧신 착용 부탁드립니다.” 신원 확인 절차를 거쳐 건물에 들어섰다. 1층은 텅 빈 필로티 공간을 사이에 두고 전기를 공급·관리하는 수배전실과 비상발전기실, 통신시설이 있다. 2층에는 두 개의 전산실과 종합운영실이 있고, 옥상에는 공조시설이 자리잡고 있다.

엔비디아의 H100을 비롯한 최신형 GPU로 구성된 전산실. NHN클라우드 제공

핵심인 전산실은 눈으로만 훑으면 도서관의 서가 같다. 정연하게 서 있는 유리 진열장 안에 책처럼 GPU가 가지런히 꽂혀 있다. 실제로는 콘서트장의 대형 스피커 앞에 서 있는 것처럼 엄청난 소음이 귓가를 때린다. 전기 장비 특유의 냄새가 뿜어져나오는 내부를 걷노라면, 열풍과 냉풍이 온몸을 휘감는다. “GPU의 소음이랑 풍량이 크니까 귀마개를 착용하시는게 좋을 겁니다.” 안내하는 직원의 목소리조차 잘 들리지 않았다.

전산실1에는 열마다 12개씩 랙(선반)이 120개, 전산실2에는 열마다 14개씩 랙 140개가 있다. 랙 하나에 H100이 8개 들어간다. 장비마다 끊임없이 점멸하는 노란 불빛에 시선을 머물다 인간의 한계를 아득히 넘는 어떤 ‘무한’을 떠올렸다. 호르헤 루이스 보르헤스가 짧은 소설에서 묘사한 똑같은 구조의 진열실이 무한히 이어지는, 세상의 모든 정보가 존재하는 도서관과 같은 상상이었다.

이 시설에서 수행할 수 있는 연산처리 횟수는 88.5페타플롭스(PF), 1초에 8경8500조번의 계산을 할 수 있다. 노트북 약 50만대가 있어야 처리할 수 있는 성능과 비슷하다고 했다. 저장 용량은 107PF로, 1TB 하드디스크 10만7000개의 용량이라고 한다. 이런 능력으로도 한참을 학습해야 사람들이 사용하는 AI 서비스가 된다니, 첨단산업의 지경이 어디까지인지 새삼 놀라웠다.

이 건물의 형태도 급박하게 돌아가는 AI 산업의 속도와 관련있다. 운영 시작을 서두르려다보니 땅 팔 시간도 부족했다는 것이다. 1층 중간을 비워둔 데도 사연이 있다. 공간을 많이 차지하는 2층 전산실과 다른 설비들의 배치를 고려하는 과정에서 건물 연면적에 포함되지 않는 1층 필로티 공간으로 면적 기준을 맞췄다는 것이다.

건물·전기·공조·설비 전체를 새롭게 구성해야 했다. GPU 칩 크기는 x86 CPU보다 5배 정도 큰데, 소비전력 및 요구 풍량은 30~50배 늘어난다고 한다. GPU로 구성된 데이터센터를 기존 데이터센터처럼 만들면 공간이 수십배 더 필요하다는 얘기다.

랙마다 공급 전력을 의미하는 전력밀도의 경우도 기존 국내 데이터센터 평균이 4.8kW인데 AI 데이터센터는 15kW로 끌어올렸다고 한다. GPU에서 발생하는 어마어마한 열에 대응하기 위해 전산실 층고를 7.5m로 높이고, 외부의 자연 바람을 이용한 기기 냉각 시스템을 도입했다. 전산실 양쪽에서 쏟아지는 차가운 바람이 열을 식혀준다. 카카오 데이터센터 화재 이후 경각심이 높아진 재난 상황에 대비해 소방 시스템을 갖추고, 리히터 규모 7.0 지진에도 견디는 내진 설계도 반영했다.

NHN클라우드는 현재 470개 이상의 AI 기업에 서비스를 제공하고 있다. AI 데이터센터를 통해 국산 AI 반도체, AI 서비스 기업을 위한 클라우드 환경 제공을 목표로 하고 있다. 김동훈 대표는 “스타트업들이 투자금을 장비 구매에 많이 쓰는데, 비용을 아끼는 것은 물론 대규모 인프라를 바로 사용해 학습시간 단축도 가능할 것으로 본다”면서 “이번에 얻은 노하우를 통해 AI 인프라 시장을 선도할 것”이라고 말했다.

데이터센터 내 모든 설비를 모니터링하고 관리하는 종합 운영실. NHN클라우드 제공

전기 공급을 관리하고 통제하는 수배전실. NHN클라우드 제공

데이터센터 옥상에 설치된 공랭식 프리쿨링 냉동기. NHN클라우드 제공

광주 | 배문규 기자 sobbell@kyunghyang.com