[쫌아는기자들] 노타, 낡은 하드웨어도 AI를... '엣지 AI' 플랫폼 도전

@주3회 발행하는 뉴스레터 [쫌아는기자들] 입니다. 전문은 유료 구독자에게 공개. 유료 가입(https://page.stibee.com/subscriptions/158656). 일부 보는 무료 가입(https://page.stibee.com/subscriptions/143087)

스마트폰을 보통 몇 년에 한 번씩 바꾸시나요? 통계에 따르면 한국인은 평균 2년 9개월마다 한 번씩 스마트폰을 교체한다고 합니다. 일상 전자기기들도 다 마찬가지죠. 노트북은 수년씩 쓰고 지자체들이 관리하는 CC(폐쇄회로)TV도 수시로 바꿀 수 없습니다.

그런데 새 인공지능(AI) 모델과 이를 활용한 다양한 솔루션에 관한 기사는 하루가 멀다 하고 쏟아집니다. 최신 AI 기술을 사용하기 위해선 성능 좋은 최신 하드웨어가 필요하리란 게 인지상정입니다. 하지만 로또 맞은 것도 아니고, 무슨 수로 고가의 장비를 수시로 교체하나요. 최신 하드웨어를 가진 이들만 신기술을 접할 수 있는 세상이라면, 그건 너무 서럽습니다. 클라우드를 통해 AI를 만나는 방법이 있습니다. 원하는 내용을 보내고 AI 연산을 거쳐 회신 받는 식이죠. 하지만 통신이 제한된 상황이라면 연락은 두절되고, 사람들은 개인 정보를 서버에 보낸다는 사실에 ‘보안 문제’를 우려하곤 합니다. 대안은 없는 걸까요.

이런 문제에 관한 해법을 제시하는 스타트업이 ‘노타’입니다. 카이스트 인공지능연구소 동료들이 힘을 모아 서비스를 내놨죠. 사용처에 맞게 AI 모델을 압축하고 변환하는 과정을 거쳐, 상대적으로 오래된 반도체에서도 최신 기술을 만날 수 있도록 돕죠. 압축된 모델은 하드웨어에 탑재되기에, 이런 온디바이스 상황에선 통신 관련 우려가 줄죠. 비유하자면, 구형 반도체도 새 기능을 하도록 ‘윤활유’ 역할을 하는 것이라 합니다.

채명수 노타 대표. /장련성 기자

기술·실적 측면에서 최근 노타의 성장세는 두드러집니다. 최근 매년, 전년 대비 2배 매출을 기록하고 있습니다. 삼성, LG, 네이버, 카카오그룹이 모두 투자한 첫 기업이기도 합니다. 엔비디아가 주최하는 기술 콘퍼런스의 발표 기업으로 3년 연속 선정됐고, 최근 삼성전자와 공동으로 개발한 AI 이미지 생성 모델을 세계 최고 권위의 컴퓨터비전 학회에서 선보이기도 했죠.

기자는 최근 노타의 채명수 대표를 인터뷰했습니다. 사실 학부에서 정치를 전공한 기자에게 이번 인터뷰는 큰 도전이었습니다. 하지만 90분이 지난 후 ‘마치 한 편의 특강을 들었다’는 생각이 들었습니다. 노타가 AI 모델을 압축해 제공하는 것처럼, 채 대표 인터뷰의 핵심을 골라 구성했습니다. 조금만 집중하면 어렵지 않습니다.

1. 시장이 작고 가벼운 AI를 찾는 이유

-AI 경량화·최적화가 뭔가요?

”AI 경량화라는 거는 어떤 큰 모델을 조금 작게 만들면서, 성능을 최대한 잘 유지하게 하는 고민입니다. 가령 AI를 통한 안면 인식 기술을 만든다고 생각해봐요. LLM(거대언어모델) 같은 AI 모델의 파라미터(매개변수)가 다 필요한 게 아니잖아요. 필요 없는 부분은 덜어내고, 압축하고, 잘라내는 거죠.”

“만약 어떤 AI 모델이 특정 칩에서 지원하는 연산자가 아닌 다른 연산자들을 가지고 있으면 오류가 생기거나, 비효율적으로 돌아가거든요. 그래서 칩에서 지원하는 연산자로 치환을 시켜주거나 변환을 시켜주는 게 바로 최적화입니다. 경량화, 최적화 이 두 개의 콘셉트가 맞물리는 거예요.”

-하드웨어를 비롯해 소프트웨어도 크고 무거울 수록 성능이 좋습니다. 그럼에도 AI를 작고 가볍게 만들고자 하는 수요가 있군요.

”고객들의 요구는 자꾸 바뀌는데 이걸 하드웨어적으로 메워줄 수가 없어요. 그래서 소프트웨어적 최적화가 필요해요”

“지금 AI 모델이 굉장히 많이 나오잖아요. 그리고 새로운 반도체들도 나오고요. NPU는 어떤 특정한 AI 연산들을 가속화시켜주고 효율적으로 돌아가게 만들어주는 칩이거든요. 그런데 NPU는 AI에 있는 모든 연산을 다 지원하지는 못해요. NPU를 설계할 때 특정 연산자들은 빠르게 돌아가게 만들자, 이렇게 만드는 데 칩이 사실 며칠 안에 만들어지는 게 아니잖아요. 처음 칩을 설계하고 나중에 양산될 때까지는 보통 이제 1년에서 2년 정도 시간이 걸려요. 그런데 최근에는 이 AI 모델들이 굉장히 많이 급격하게 변화하고, 하루가 멀다 하고 새로운 모델이 계속 나오거든요. 칩은 설계가 완료되면 그때부터는 설계를 바꿀 수가 없어요. 하지만 양산되는 그 2년 사이에 새로운 모델들이 나오고, 사람들은 새로운 AI 모델을 쓰길 원하거든요. 그래서 소프트웨어를 조정하려는 거예요.”

-소프트웨어와 하드웨어 제품이 각각 세상에 나올 때, 시간차가 존재하는 거군요. 그렇다면 경량화·최적화는 일종의 둘 사이 가교 역할인가요?

”맞아요. 반도체 회사들은 AI 칩을 잘 만드는 거에 집중을 했고, 좋은 칩이 많아요. 그리고 칩을 충분히 잘 쓸 수 있게 만드는 사람들이 소프트웨어 엔지니어들인 거고요. 그런데 칩을 만드는 걸 잘했던 회사들이 이런 부분을 그간은 간과한 측면이 있어요. 하지만 지금은 엔비디아 같은 회사들이 이런 소프트웨어적 최적화 기술을 가진 회사들을 인수하는 등, 이 기술에 대한 관심은 지금 상당히 중요해지고 있어요.”

“사실 지금 AI 모델들을 반도체에 최적화시켜주는 일을 하는 회사들은 많지 않아요. 그런데 이런 최적화가 돼야지만 AI 모델들이 더 많이 쓰일 수 있는 거거든요. AI 칩이랑 메모리는 다 다르거든요. 노트북마다, 스마트폰마다 달라요. 그 하드웨어가 가지고 있는 특성에 따라 최적화하는 방식이 다 달라야 하죠.”

노타의 여러 솔루션들. /노타 제공

2. AI 최적화 플랫폼 ‘넷츠프레소’, “모델 크기 15%, 전력소모 최대 60% 줄일 수 있어”

-이 기술 영역에서 속도를 내지 못한다면, 어떤 문제가 생길 수 있나요?

”엔비디아가 지금의 위치까지 오는데 가장 중요한 역할을 했던 건, 칩 성능도 있지만 개발자 친화적인 소프트웨어 스펙을 제공한 게 중요했다고 저는 생각하거든요. 거기서 선택을 못 받으면 아무리 칩 성능이 좋아도 사람들이 안 써주는 시대가 됐거든요. 새로운 AI 칩이 나와서 영업을 하러 다니는데 칩이 나오는 동안 새 AI 모델이 나왔단 말이죠. 어떤 소프트웨어 회사가 옛날 걸 쓰고 싶겠어요? 성능이랑 속도가 압도적으로 좋은 게 있는 데 말이죠. ‘지금 새 모델이 나왔는데 왜 그 전 버전까지만 지원이 되는 거야?’라는 의문이 돌아와요. 그래서 최적화가 중요하다는 거예요.”

-그렇다면 노타는 어떤 서비스를 하고 있나요?

”최적화 플랫폼 넷츠프레소가 있습니다. 개발자 도구인거죠. SDK(Software Development Kit·소프트웨어 개발 키트)입니다. 반도체 회사들에게 제공해서 최적화를 가능하도록 하는 도구입니다. 사용자가 자신이 원하는 AI 모델과 하드웨어를 선택해 올리고 원하는 속도를 입력하면 클릭 몇 번으로 넷츠프레소가 알아서 경량화를 시켜줍니다. 사용하려는 목적에 따라 AI 모델에서 좀 덜 중요한 파라미터를 제거하는 방식이죠.”

“사용 목적이나 디바이스의 환경 등에 따라 다르지만, 보통 AI 모델 크기를 15% 수준까지 줄이고 전력 소모는 60% 수준까지 떨어뜨리는 걸로 보고 있어요. 최대 1% 수준까지 압축한 경험도 있습니다. 이를 통해 비용이 크게 떨어지는 거죠.”

-넷츠프레소라, 네스프레소(커피 브랜드)와 어감이 비슷하군요.

”앞의 ‘넷츠’는 ‘뉴럴 네트워크(Neural Network)’라는 의미고, 프레소는 말 그대로 커피콩에서 ‘알짜’만 딱 추출을 하듯이 압축한다는 의미를 갖고 있어요. 사내 공모를 통해 이름을 지었죠. 첫 제품이고 2022년 정식 출시했습니다.”

3. 오타 보정 키보드로 시작, 창업자는 스스로 CTO로

-산업공학을 공부했습니다. KAIST 인공지능 연구소에서도 있었고요.

“학부에선 숭실대에서 산업공학을 전공했어요. 학교 다닐 때 데이터를 다루는 일이 너무 재미있었고, 그러다가 자연스럽게 이런 데이터를 가지고 여러 인사이트를 찾아내는 ‘머신러닝’이라는 거를 알게 됐죠. 자연스럽게 좀 더 깊게 공부를 하려 카이스트 대학원(산업공학)에서 머신러닝 공부를 이어갔죠. 군역을 해결해야 했는데, 석사까지 하고 나면 전문연구요원으로 군 대체복무를 할 수 있어요. 마침 카이스트 인공지능 연구소가 2016년 생겨서, 연구소 일을 하며 새 기술을 만들어내고 논문들을 썼죠.”

-이 정도 AI 붐이면 창업이라는 리스크를 택하지 않아도 찾는 곳이 많았을텐데요.

”원래는 해외로 박사 유학을 가려 했어요. 그런데 연구는 열심히 하고 있는데 ‘일상생활에 직접적으로 도움을 주는 일을 해야 겠다’는 생각이 자꾸 들더라고요. 최첨단 기술 연구를 하다 보니 논문·연구도 좋지만 ‘좀 더 프랙티컬한 일을 해야겠다’는 생각이 든 거죠.”

-노타는 원래 지금의 서비스를 하는 회사가 아니었다고요.

”현재 노타의 CTO(최고기술책임자)인 (김)태호님이 2015년 노타를 만들었고, 저는 추후 노타에 합류했어요. 노타는 ‘노(NO) 오타’라는 뜻입니다. 원래 오타를 보정하는 프로그램을 만드는 회사였거든요. 스마트폰을 보면 밑에 키보드 애플리케이션 나오잖아요. 지금도 그렇지만 그냥 스마트폰 제조사들이 만든 키보드 애플리케이션을 전부 다 그냥 동일하게 쓰는 거거든요. 이용자 개개인의 사용 패턴이나 이런 것들, 손의 모양 이런 것들은 전혀 반영이 안 되는 거죠. 그러다 보니까 오타가 많이 나고요. 그래서 우리는 AI를 활용해서 개개인 맞춤형 키보드를 만드는 걸 타깃으로 삼았어요. 그게 ‘노타 키보드’였고, ‘오타를 절반으로 줄일 수 있다’고 홍보했죠.”

-오타 보정 프로그램은 실패했나요?

”B2C로 서비스를 해서 2016년까지 한국 안드로이드 마켓에서 약 16만명이 다운받아서 쓰고 있었어요. 그런데 노타도 돈을 벌어야 되는 회사잖아요. 비즈니스 모델이 잘 안 나왔죠. 그래서 B2B로 전환을 구상했어요. 스마트폰 회사들한테 ‘이런 기술을 우리가 제공을 해줄 테니까 차세대 스마트폰에 그런 노타 키보드를 넣어보는 게 어떠냐’고 제안을 했는데 잘 안 됐어요. 그래서 아이템 전환 고민을 시작했죠.”

“그때만 해도 지금처럼 좋은 AI 반도체가 들어간 스마트폰이 아니다 보니까, AI 모델이 스마트폰에서 돌아가는 게 말이 안됐거든요. 그래서 처음에는이용자들이 터치한 데이터들이 서버로 보내져서 거기서 AI 모델이 구동이 되고 다시 이용자들에게 보내지는 방식으로 했었는데, 이런 클라우드 기반으로 이렇게 하니까 유저들이 너무 싫어하는 거예요. 계좌번호, 비밀번호 등 개개인 정보에 관한 우려가 있었던 거죠. 그래서 이런 ‘두려움’을 해소하는 일을 해야겠다는 생각을 한 거죠. 기기에 탑재돼 직접 AI 서비스를 하는, ‘온디바이스 AI’에 주목한 겁니다.”

-AI를 압축해 기기에 탑재하는 기술에 주목했다는 거군요. 그러려면 크기도 줄어야 겠네요.

”2016년쯤에 학계에서 ‘딥컴프레션(Deep Compression)’이라는 굉장히 유명한 논문이 하나 나왔어요. AI 모델 경량화 분야에서 권위 있는, 송한 현 MIT(매사추세츠공대) 교수님이 쓴 논문이었어요. 학계에 있는 사람들이었으니까, 이걸 보면서 ‘압축 기술이 앞으로는 굉장히 필요해지겠다’는 생각이 들었죠. 비슷한 고민을 하고 있었기도 했고요. 그래서 약 2년의 피벗(아이템 전환) 기간을 걸쳐 2018년 지금의 노타가 된 겁니다.”

-창업자인 태호님과의 케미는 어떤가요?

”영재고를 졸업한 태호님은 기술적으로 되게 이해도가 높으신 분이에요. 카이스트 인공지능 연구소에서 같이 일하면서 인연을 맺었는데, 당시에도 저는 계속 아이디어를 내는 역할을 하고, 태호님은 제 설명을 듣고 그걸 코드로 구현하곤 했죠. 노타에서 처음엔 공동대표를 하다가, 회사도 좀 커지고 하다 보니 의사결정들을 둘이서 하긴 어렵겠더라고요. 그래서 합의를 해서 태호님은 기술적 의사 결정을 총괄하고, 저는 사업적, 경영적 의사결정 총괄을 하기로 정했죠.”

“사실 저랑은 성향이 반대예요. 그런데 그래서 오히려 잘 맞아요. 저는 진취적이고 앞으로 나가는 스타일이고, 태호님은 굉장히 꼼꼼하고 세부적인 걸 채워나가는 거에 탁월해요. 한쪽으로만 몰리면 되게 위험할 수가 있잖아요. 그런데 밸런스가 잘 맞고, 그래서 케미도 좋아요.”

노타의 창업자이자 현재 CTO를 맡고 있는 김태호 CTO. /노타 제공

4. CCTV 내부 CPU로도 처리 가능한 AI 연산

-노타의 기술은 어디에 적용되고 있나요?

“소프트웨어 최적화가 이게 우리의 기술이니, 우리가 이걸 통해 자체 솔루션을 만들 수도 있잖아요. CCTV에 들어가는 지능형 교통 시스템 설루션이나 아니면 안면 인식을 하는 솔루션을 제공하고 있습니다. 교통 설루션이 노타 ITS이고, 차량 운전자의 졸음, 부주의, 휴대폰 사용 등을 감지해 운전 중 안전을 강화하는 설루션이 노타 DMS입니다.”

-교통과 운전에 필요한 AI를 필요로 하는 곳은 어디죠? 지자체나 교통 안전을 감독해야 하는 기관들?

”노타 ITS의 경우, 대전광역시, 제주시, 판교 신도시, 평택시, 남원시 등에서 노타 제품들을 사용하고 있어요. 가령 대전의 경우 전체 600개 이상 되는 교차로에서 노타 기술이 들어간 카메라를 쓰고 있죠. 교차로마다 카메라(CCTV)는 다 있잖아요. 차량의 흐름을 분석하고, 이 차량들이 어디로 어떻게 이동하는지 같은 교통량을 모니터링하고요. 교통 정책을 바꿀 때 핵심 지표가 됩니다. 그런데 기존엔 사람이 일일이 가서 확인을 하는 방식이었고요.”

“이것보다 한 단계 나아진 버전이 AI를 이용하는 건데, 교차로에 있는 카메라 영상을 다 서버로 보내는 방식이예요. 그러면 이제 서버가 엄청 많이 필요하고, 거기서 비용이 발생하겠죠. 그런데 노타 설루션을 통해서, 소프트웨어 최적화를 하는 방식으로 각 CCTV가 AI 연산을 가능하게 하고, 그 결과만 보내는 방식으로 바뀌는 거죠”

-CCTV가 원래는 단순 전송 기능만 했다면, 이젠 일꾼이 하나씩 들어간 셈이군요.

”맞아요. 요즘에 나오는 CCTV들은 AI 칩이 있는데, 조금 전에 나온 CCTV들은 CPU들이 들어 있어요. 그런데 AI용으로 나온 게 아닌 반도체도 AI용으로 쓸 수 있도록 노타가 최적화를 시키는 거죠. 각 AI 칩에다가 최적화된 모델을 탑재시키는 초기 과정을 통해 일꾼이 생기는 거예요. 기존에 보내던 영상 정보는 내용이 방대해서 과부하도 걸릴 수 있는데, 일꾼이 알아서 분석·요약을 해서 적은 용량의 정보를 전송하죠. 이런 식으로 비용을 85% 줄이는 것으로 보고 있어요.”

-서버에 대한 의존을 줄인 AI, 기기 안에서 연산을 처리하는 온디바이스 AI가 화제입니다. CCTV로도 이게 가능하군요.

”데이터와 가장 가까운 곳에서 AI 처리를 하는 걸 ‘엣지’ 개념이라고 하는데요. 전력·비용이 주는 것도 좋은 거긴 하지만, 통신 연결이 안 된 상태에서도 AI 연산을 할 수 있다는 장점이 커요. 예를 들어 자동차 자율주행에서, 갑자기 통신이 끊어져도 주행이 가능해야 하잖아요. 자동차 안에서 동작이 돼야 되는데 자동차에 거대 서버 같은 거를 넣고 다닐 수는 없는 노릇이고요. 그래서 테슬라의 일론 머스크가 자율주행을 하는 데 있어서 가장 기술적으로 어려운 문제로 ‘작은 컴퓨터에 AI 모델이 구동되게 하는 것’을 꼽기도 하는 등 관심이 커요.”

“스마트폰을 보면 비행기모드를 할 수 있잖아요. 그런데 전에는 아이폰에서 에어플레인 모드를 하면은 시리가 동작을 안 했어요. 그 전에는 사람이 말을 하면 음성이 서버로 넘어가서 분석된 결과를 다시 받아서 이용자에게 보여 주는 거였거든요. 애플이 노타의 경쟁사를 2020년도에 인수하고 난 후, 지금은 비행기 모드를 해도 시리가 작동을 해요. 사람들이 말하는 것들 모두 개개인의 정보들이기 때문에 서버로 넘어가는 걸 애플 유저들이 굉장히 싫어했어요. 이에 문제를 해결하려 노력한 거죠. 이처럼 세계적 기업들은 이미 이 기술에 관심이 많아요. 또 국방 측면에서, 통신이 어려울 수 있는 전시 상황에서도 이 기술이 사용될 수 있어요.”

-일반 소비자들이 일상에서 겪을 수 있는 변화로는 어떤 것들이 있나요?

”우리는 일상에서 많은 기존 전자기기를 사용하잖아요. 스마트폰이 대표적이고요. 집에 놀고 있는 스마트폰들은 옛날 칩을 갖고 있고 성능이 좀 떨어지고요. 그런데 소프트웨어 최적화를 통해 온디바이스로 AI 기능을 사용할 수 있어요. 예를 들어, 저는 아이가 둘인데 구형 스마트폰을 약간 IoT(사물인터넷) 디바이스처럼 만들어서 아이들이 우는 걸 체크할 수 있게 만들어놓기도 하거든요.”

쫌아는기자들이 만드는, 뉴스레터 [스타트업]은 주 3회 발행하는 유료레터입니다. 오늘의 무료 콘텐츠는 여기까지 입니다. 나머지는 전문의 ‘질문’만 공개합니다. 유료 구독하면 과거 3년간 모든 콘텐츠를 볼 수 있습니다.

5.2019년 VC 50곳을 만났지만, 아무도 몰랐던 기술...글로벌이 조명하는 기술로

-모든 대중들이 AI에 대해 이야기한 건 그렇게 오래되진 않았습니다. 초기 사업 모델은 시장이 작기도 했고요. 게다가 엣지 AI에 대한 관심도 초기엔 크지 않았을텐데요.

-외국에서는 전부터 이 기술에 주목을 하고 있었나요?

-매출이 2배씩 뛰고 있습니다. 올해도 이정도 가속도가 붙나요

-한국에선 노타가 독보적일 수 있어도, 해외 AI 솔루션 기업. 그러니까 경쟁사들은 여럿일텐데요. AI는 국적이 없는 기술 경쟁 시장입니다.

-후발 주자의 추격이 걱정되진 않나요?

-더 큰 자본을 등에 업은 경쟁사가 있다고 가정해도, 노타의 기술이 차별화를 보이는 포인트는요?

-넷츠프레소 이후 추가로 출시한 제품은 뭐가 있나요?

6. 스마트폰에서 이미지 생성하는 ‘엣지퓨전’, “이 기술은 우리가 세계 최고”

-최근 이미지 생성 모델의 경량화 버전을 내놨다고요.

-세계적 반도체 회사들과도 협력합니다. 스타트업이 쉽지 않았을텐데요.

-미국이나 일본, 유럽 같은 시장은 더 경쟁이 치열합니다. 다른 시장을 공략한다면요?

-AI 경량화 니즈는 스마트폰 외에 다른 하드웨어도 있습니다.

노타 팀원들의 내부 세미나. /노타 제공

7. “3개월만 지나도 알던 것이 구식이 되어버리는 시장...이런 인재가 필요하다”

-매출이 늘며 채용 규모도 덩달아 늘었죠. 노타가 중요하게 생각하는 인재상은 무엇인가요?

-AI모델과 트렌드도 수시로 바뀔 것입니다. 먼 미래의 기술과 전략을 세우기 쉽지 않은데요.