기존 GPU 속도의 911배… 생생한 3D 이미지 만드는 AI반도체[Science]

■ Science - 카이스트 전기공학부 유회준 교수팀 ‘메타브레인’
에너지효율 2만6400배 높아
사용되는 메모리 180배 줄여
3D 모델 제작비도 크게 절감
복잡한 소프트웨어 필요없어
일반인도 쉽게 메타버스 가능

그래픽=전승훈 기자

미국 오픈AI가 작년 말 공개한 실시간 대화 인공지능(AI) ‘챗GPT’ 때문에 전 세계가 알파고 쇼크 이래 또다시 제2의 AI 열풍에 휩싸였다. 일상의 모든 영역에 AI의 진출이 가속화되자 지금까지 딥러닝의 대용량 수학 계산을 주로 맡아온 반도체 ‘그래픽처리장치(GPU)’로도 몰려드는 데이터의 속도를 처리하기 힘들게 됐다. 고전 컴퓨터의 중앙정보처리장치(CPU)보다 병렬적 정보 처리에 훨씬 강한 GPU 생산업체로서 AI 학습용 수요 덕분에 주가가 급등했던 엔비디아도 이제 서서히 위기감을 느끼고 있다.

그러자 AI에 특화된 전용 반도체가 나오기 시작했다. 우리나라도 3대 AI 반도체 벤처업체인 리벨리온, 퓨리오사, 사피온이 각각 서로 다른 대기업과 손을 잡고 세계 시장을 개척 중이다. 그런데 이번엔 대학 연구실에서 GPU보다 전력 손실은 적고 연산 속도는 빠른 AI 반도체를 내놔 화제다. 카이스트 전기 및 전자공학부 유회준 교수 연구팀은 기존 GPU보다 속도는 911배 빠르고 에너지 효율은 2만6400배 높은 AI 반도체 개발로 메타버스의 대중화를 앞당길 전망이다. 이 AI 반도체를 사용하면 영상 처리에서 값싸게 3D 모델을 생성할 수 있고, 저장용량도 180배 이상 절약이 가능하다. 또 복잡한 소프트웨어 도움 없이 일반인도 손쉽게 3D 모델 제작과 수정이 가능한 신세계가 열린다. 생생한 3D 실사 이미지의 손쉬운 구현을 돕는 AI 반도체의 이름은 ‘메타브레인’이다. 한동현 박사과정생이 제1 저자로 참여한 이번 연구는 지난 2월 18∼22일 전 세계 반도체 연구자들이 미국 샌프란시스코에 모여 개최한 국제고체회로설계학회(ISSCC)에서 발표됐다.

유회준 교수 연구팀이 선보인 AI 반도체는 실사에 가까운 입체 이미지를 저전력, 고속으로 모바일 기기에서 구현할 수 있다. 이 반도체는 GPU로 구동되는 기존 레이 트레이싱(ray-tracing) 기반 3D 렌더링(rendering)을 그냥 반도체 위에서 해치운다. 과거에 막대한 비용을 들이던 3D 영상 캡처 스튜디오를 별도로 둘 필요가 없어 3D 모델 제작 비용을 크게 줄이고, 사용되는 메모리도 180배 이상 줄일 수 있다.

특히 블렌더(Blender) 등의 복잡한 소프트웨어를 사용하던 기존 3D 그래픽 편집과 디자인을 간단한 AI 학습만으로 대체해 일반인도 손쉽게 원하는 스타일을 입히고 편집할 수 있다는 장점이 있다. 레이 트레이싱이란 빛의 광원(光源), 물체의 형태, 질감에 따라 바뀌는 모든 광선의 궤적을 추적함으로써 실사에 가까운 이미지를 얻도록 하는 기술이다. 렌더링은 2D 평면 이미지를 컴퓨터 그래픽으로 3D 입체로 만든 후, 동영상을 끊김 없이 부드럽게 연속 동작시키는 기술을 말한다.

유 교수팀은 3D 렌더링을 구현할 때 발생하는 비효율적 연산을 발견하고 이를 줄이기 위해 사람의 시각적 인식 방식을 결합한 새로운 콘셉트의 반도체를 개발했다. 사람은 사물을 기억할 때 대략적 윤곽에서 시작해 점점 그 형태를 구체화하는 과정, 그리고 바로 직전에 보았던 물체라면 이를 토대로 현재의 물체가 어떻게 생겼는지 바로 추측하는 인지능(認知能)을 갖고 있다. 이를 모방해 새 반도체는 저해상도 복셀을 통해 미리 사물의 대략적인 형태를 파악하고, 과거 렌더링했던 결과를 토대로 현재 렌더링할 때 필요한 연산량을 최소화하는 연산 방식을 채택했다.

유 교수팀이 개발한 메타브레인은 최대 100FPS(초당 프레임 수) 이상의 렌더링 속도를 달성하고, 1개 영상화면 처리 당 소모 에너지를 나타내는 에너지효율도 비약적으로 높였다. 앞으로 가상현실(VR)·증강현실(AR) 헤드셋, 모바일 기기에서도 AI 기반 실시간 렌더링의 가능성을 열었다. 연구팀은 사람의 시각적 인식 과정을 모방한 하드웨어 아키텍처뿐 아니라 D램 내부에서 AI 연산이 가능한 아날로그 PIM 반도체도 함께 개발했다. 하나의 반도체 위에서 메모리, 연산, 데이터변환의 3가지 기능을 동시에 처리해 트리플 모드 셀로 불린다.

연구팀은 AI에게 원하는 스타일의 이미지를 주고 재학습만 수행하면 되기 때문에 복잡한 소프트웨어의 도움 없이도 손쉽게 3D 모델의 스타일을 손쉽게 바꿀 수 있다고 설명했다. 유 교수는 “현재 3D 그래픽스는 사람이 사물을 어떻게 보고 있는지가 아니라 사물이 어떻게 생겼는지를 묘사하는 데 집중하고 있다”며 “사람의 공간 인지 능력을 모방해 사람이 사물을 인식하고 표현하는 방법을 차용함으로써 효율적 3D 그래픽 처리를 가능케 한 연구”라고 의의를 밝혔다.

노성열 기자 nosr@munhwa.com