김녹원 딥엑스 대표 “가전, 로봇 등에서 생성형 AI 구동하는 반도체 만들 것”

김녹원 딥엑스 대표 [사진 = 딥엑스]

“200억 파라미터 규모의 생성형 AI 모델을 개인화 기기에서 구동할 수 있는 AI 반도체를 기획하고 있다.”

김녹원 딥엑스 대표는 최근 매일경제신문과 만나 개발하고 있는 AI 반도체의 목표에 대해 이같이 설명했다. 딥엑스는 CCTV, 로봇 등 다양한 엔드 디바이스에 최적화된 AI 반도체를 설계하는 기업이다.

기존에 선보였던 DX-V1 등 4개의 반도체 제품은 올해 하반기 양산에 들어갈 예정이며, 딥엑스는 거대언어모델(LLM)을 구동할 수 있는 AI 반도체 개발에도 들어갔다. 국내 통신사인 LG유플러스와도 협력해 내년에 시제품을 선보인다는 목표다. (이하 일문일답)

시스코 애플 등 빅테크 거친 반도체 전문가
아이폰 NPU 설계 참여…2018년 딥엑스 창업

▶ 처음 AI를 접하게 된 계기가 궁금하다

-2010년 UCLA에서 박사 과정을 밟던 중에 IBM T.J.왓슨 연구소 방문 연구원으로 갔었다. 이전에도 머신러닝 등을 공부해보긴 했으나 이때 본격적으로 AI를 시작했다.

당시 연구소에서 미국 국방고등계획연구국(DARPA)으로부터 연구 과제를 받아 군용 머신러닝 반도체를 만들고 있었다. 외국인이라 해당 과제에는 들어가지 못했으나, 당시 딥러닝이 유망하니 딥러닝에 대한 AI 반도체를 개발해보라는 것을 연구 주제로 받아서 그때 연구를 시작했다.

▶ 어떠한 계기로 AI 반도체 연구에 집중하게 됐나

-학부 졸업을 앞두고 있던 때, 외부 교수들이 강연하는 행사에 참석했다. “메모리반도체는 이미 우리나라가 1위를 하고 있는 영역이지만 시장 자체는 시스템반도체가 더 큽니다. 여러분들은 메모리 반도체를 하지 말고 시스템 반도체로 나아가 우리나라가 부강한 나라가 되는 데 일조하십시오.” 낯설지 않은 이야기였지만 도전 의식을 깨웠다. 그 길로 시스템반도체의 길을 걷기로 마음을 굳혔다.

▶ 시스코, 애플 등 빅테크를 거쳤다

-시스코는 인터넷을 대중화시켰던 회사이고, 애플은 개인 컴퓨터와 스마트폰을 대중화시켰다. 애플에는 2014년부터 2017년 사이 재직하면서 신경망처리장치(NPU)를 협력해 개발했다. 그때 NPU는 애플의 생체 인식인 페이스ID에 사용됐다.

▶ 딥엑스를 창업한 이유는

-인터넷, 스마트폰, 컴퓨터 등을 다 합친 것보다 AI를 훨씬 더 인간이 좋아하게 될 것이라고 생각했다. 그래서 회사에 남아있기보다 나가는 것을 택했다.

▶딥엑스에서 개발 중인 제품에 대해 소개해달라

-딥엑스의 1세대 반도체는 DX-V1, DX-V3, DX-M1, DX-H1으로 구성되어 있다. 비전 시스템에 특화되어 있는 DX-V1은 싱글 카메라에서 최신 AI 알고리즘 연산 처리가 가능하며 DX-V3는 카메라 3~4대 실시간 연산 처리가 가능한 성능으로 3D 센서 처리가 필요한 자율 주행, 로봇 비전 등에 특화되어 있다. DX-M1은 칩 하나로 16채널 이상 다채널 영상에 초당 30FPS 이상의 실시간 AI 연산 처리를 지원하며, AI 서버용 DX-H1은 AI 추론형 솔루션으로 AI 추론 전용 GPGPU 대비 성능, 전력, 비용 효율성을 극대화한 제품이다.

▶딥엑스만의 차별화된 경쟁력은

-기술적인 면면이 뛰어나다. 우선 특허가 많다. (특허정보 분석업체 페이턴트피아에 따르면 NPU 분야에서 딥엑스의 공개 특허는 34개로, 인텔, 퀄컴 등과 나란히 하고 있다) 특허가 많다는 것은 굉장한 무기다. 또한 자체 메모리 저감 기술이 있어서 LLM 시대에 더 빛을 발할 수 있다.

LG유플러스와 협력해 커스텀 반도체 개발
“박사급 지능은 서버에서 구동되지만
비용 문제 해결 위해 온디바이스 AI 필수“

김녹원 딥엑스 대표 [사진 = 딥엑스]

▶LG유플러스와의 협력에 관해 설명해 달라

-오픈소스 LLM을 구동하는 반도체를 목표로 하고 있었는데, 고객사에서 더 빠르게 구현할 수 있으면 좋겠다는 바람이 있어 LG유플러스에 제안했다. LG유플러스는 AI에 대한 강력한 가치 의식을 갖고 있었고, 디바이스에서 구현하겠다는 목표가 있었다. LLM을 구동하는 반도체 시제품은 내년 정도에 나올 것이라 예상하고 있으며, 딥엑스의 1세대 제품을 활용한 협업도 올해 추진할 예정이다.

▶생성형 AI의 가장 큰 문제는

-비용이다. AI를 다 데이터센터에서 구동하려면 과금이 엄청나다. LLM 상용화를 광범위하게 할 수 있으려면 마이크로소프트(MS)처럼 엄청난 자금을 투입할 수 있어야 한다. 박사급의 초지능 AI는 서버에서 구동될 수밖에 없지만, 생성형 AI의 과금 문제를 해결하기 위해서는 온디바이스 AI가 작동하는 ‘연합구동’이 필수적이다. 두번째가 전력으로, 에너지 저감을 통해 탄소 배출 문제를 해결해야 한다.

▶생성형 AI를 온디바이스로 구동하는 데 있어 과제는

-LLM은 처리해야 하는 데이터의 양이 어마어마하게 크다. 그것을 푸는게 숙제다. 연산 처리량이 워낙 크니까 메모리가 액세스가 과도하다. 서버 회사들은 HBM을 사용하지만, 온디바이스를 위한 엣지 반도체의 경우 가격이 중요하기 때문에 LPDDR과 같은 메모리를 사용해야 한다. 딥엑스는 자체적인 메모리 저감 기술이 있어 반도체 내부에 탑재된 SRAM 메모리가 경쟁사보다 작다. 트래픽을 최소화하는 기술을 갖고 있다.

▶언제쯤 딥엑스 반도체가 탑재된 사례를 만날 수 있나

-올해 하반기에 딥엑스의 1세대 반도체가 양산되어 시장에 공개될 예정이다. LLM을 구동하는 반도체의 경우 내년 정도에 프로토타입 제품이 나올 것으로 예상한다.

▶한국의 AI 기술 경쟁력을 어떻게 보는가

-1티어는 미국에서 나온다. 그 뒤에 팔로워 역할을 할 수 있는 국가가 3~4곳 정도 될 것으로 보인다. 그 3~4개 나라 중에 대한민국이 있다고 본다. 너무 비관적이지도 너무 희망적이지도 않지만, 대한민국의 나라 규모에 대비했을 때 적절한 포지셔닝이라고 생각한다. 우리는 AI에 대해 굉장히 각인이 되면서 시작했기 때문에 가치 의식이 있고, 그래서 이 정도까지 따라붙었다고 본다.

▶국내 AI 인력 부족에 대한 이야기가 많다

-인력이 없고, 인력이 없다 보니 기업 간의 선을 넘는 행위도 나온다. 우선 제도와 장치를 통해 국내 인력이 잘 성장하고 양육될 수 있는 환경이 조성되면 좋겠다.

그리고 인력들이 미국으로 가고 싶어하는 이유가 있다. 미국에서 한국으로 들어올 때 만난 분들이 공통적으로 했던 말이 “국내 대기업을 다녔는데 미국으로 다 도망왔다”였다. 이유는 조직 문화였다. 수평적이지 않고 합리적인 소통을 막는 답답한 문화, 이로 인해 창의적이고 의미있는 가치를 창출하지 못하는 문화가 싫었다는 것이다. 이러한 것을 탈피하고 기업 문화와 환경에서 변화가 있어야 한다. 두 번째는 기업 자체의 경쟁력이다. 어떤 회사의 아웃풋이 세계 1위라고 하면 그 회사에 같이 있고 싶어 한다.

▶범용인공지능(AGI)이 도래한다고 보는지

-온다고 본다. 딥엑스가 진행하는 온디바이스 프로젝트의 내부 명칭이 ‘LAIN’이다. Last Invention이라는 뜻이다. 지금 챗GPT를 써보면 반도체 설계하는 언어를 챗GPT에 주면 다 설명을 해준다. 언젠가는 AI한테 특정 조건의 하드웨어를 만들어달라고 하면 스스로 설계하는 날이 올 것이다.

그래서 내부에서는 LAIN 프로젝트를 몇번 정도 진행하다 보면 더 이상 인간이 설계하지 않아도 AI가 반도체를 만들어내는 때가 올 것이라고 생각한다. 그래서 만약 AI가 칩을 개발하는 날이 온다면, 그때는 프로젝트가 LAIN이 아니라 FIN, First Invention으로 바뀔 것이다.

▶올해 딥엑스의 목표는

-1세대 제품 양산을 성공해 상용화하는 것이다. 두 번째는 LLM 시대를 맞아, 온디바이스 생성형 AI라는 영역에서 AI 반도체로 전 세계 1위에 도전하는 것.

김 대표는 2010년 UCLA에서 전자공학 박사 과정 중 IBM T.J. 왓슨 연구소에 방문 연구원으로 가면서 AI 반도체에 본격적으로 발을 들였다. 이후 시스코를 거쳐 애플에서 아이폰에 탑재되는 신경망처리장치(NPU) 상용화에 참여했으며 2018년 딥엑스를 창업했다.