[김용석의 IT 월드 <14>] 온디바이스 AI 시대 개막

사진 셔터스톡

인간의 뇌를 모방한 인공지능(AI) 기술은 1960년대 이후 오랜 시간 연구돼 온 분야다. 그러나 1980년대를 전후해 학습에 필요한 엄청난 계산량으로 현실성 없는 기술로 인식됐다. 2000년대에 접어들면서 딥러닝 학습 알고리즘의 개발과 더불어 그래픽 전용 처리장치인 그래픽처리장치(GPU) 반도체 등장으로 메모리 용량이 증가하면서 학습에 필요한 많은 계산량이 가능해졌다. 이를 통해 딥러닝 기반 AI 기술이 비약적으로 발전하게 됐다.

이후 음성 기반의 AI 서비스와 이미지 분류나 처리를 위한 서비스 목적으로 AI 기술이 발전했다. 그러던 중 2023년 오픈AI의 채팅형 AI 챗GPT 열풍이 불면서 딥러닝 기반 클라우드 서버에 고성능 GPU 반도체 사용이 폭발적으로 늘었다. GPU 반도체는 엔비디아가 글로벌 시장의 약 90%를 점유하고 있다. 이에 엔비디아는 최근 미국 증시에서 가장 주목받는 종목 중 하나로 손꼽힌다. 또한 AI 기술 발전에 힘입어 맞춤형 고대역폭메모리(HBM) 반도체 수요도 증가했다. HBM 반도체 시장을 주도하는 건 SK하이닉스와 삼성전자다.

지금은 클라우드 기반의 AI 서비스가 중심이다. PC, 스마트폰이나 스마트 기기에 있는 각종 센서 등을 통해 수집한 정보를 데이터센터의 중앙 클라우드 서버로 전송해 분석한 뒤, 그 결과를 다시 단말기로 받는 방식으로 AI 서비스를 사용하고 있다. 클라우드 기반의 AI 서비스에서 벗어나려는 시도는 스마트폰 분야에서 일어났다. 2017년 애플은 자사 스마트폰 제품인 아이폰에 탑재되는 A11 Bionic 애플리케이션 프로세서(AP)에 경량화된 AI 반도체인 신경처리장치(NPU)를 내장해 안면 인식 잠금 해제 적용을 시작했고, 2018년에 삼성 역시 자사의 AP인 엑시노스 9810에 NPU를 넣어서 3D 이모지 기능을 채용했다. 최근 삼성전자 스마트폰 갤럭시S23이 촬영한 사진에 있는 사람을 지우거나 촬영한 사진의 불필요한 영역을 지워 사진을 편집하는 기능을 구현할 수 있는 것도 NPU가 탑재된 덕이다.

스마트폰에서의 온디바이스(On-Device) AI 시대가 본격화한 건 2018년부터라고 볼 수 있다. 필자는 2018년 암(ARM)의 초청으로 ‘암 테크 심포지아(ARM Tech Symposia) 2018’에서 키노트 연사로 선 적이 있다. 당시 발표 주제가 ‘AI 프로세서: 스마트폰 혁신의 차세대 물결(AI Processor: The Next Wave in Smartphone Innovation)’이었다. 온디바이스 AI는 물리적으로 떨어진 서버의 연산을 거치지 않고 기기 자체에서 AI 기능을 구현하는 기술을 말한다. 온디바이스 AI는 스마트폰이나 태블릿 PC 같은 하드웨어 플랫폼에서 직접 실행되며 작동을 위해 온라인 연결이 필요하지 않다는 특징이 있다.

김용석 성균관대전자전기공학부·반도체융합공학과 교수현 반도체공학회 고문, 전 삼성전자 상무

온디바이스 AI의 장점

온디바이스 AI는 크게 세 가지 장점이 있다. 첫째, 인터넷 연결이 어려운 상황에서도 사용이 가능하며, 단말 기기 내부에서 정보를 처리하기 때문에 저지연을 통한 빠른 작업이 가능하다. 둘째, 클라우드로 전송해 데이터를 통합한 뒤 학습하도록 한 기존 방식에서는 개인 정보가 유출될 위험이 있었는데 이러한 위험 부담이 줄어든다. 셋째, 서버와 연결되지 않기 때문에 데이터센터에 투입되는 인프라 비용을 절감할 수 있다. 그리고 이 기술은 크게 두 가지 응용 분야로 나눌 수 있다. 첫째는 앞서 설명한 스마트폰이다. 스마트폰의 화질 개선, 음성인식, 번역, 통역 서비스가 있다. 또한 자율주행차에서도 매우 중요하게 사용된다. 한 대당 수십 개 이상의 고해상도 카메라와 3D 레이다 및 라이다, 100여 개의 각종 센서로부터 신호를 받아 실시간으로 NPU를 활용해서 자동차 스스로 인지, 판단, 제어를 한다. 테슬라는 자율주행차 AI용 시스템 반도체를 독자 개발하여 사용하고 있다. 둘째는 PC나 가전 분야, 사물인터넷(IoT) 응용 분야다. IoT 기반에 AI를 접목한 지능형 사물인터넷(AIoT·Artificial Intelligence of Things) 기술에 활용되는데, 역시 AIoT용 시스템 반도체를 필요로 한다. 이는 스마트홈, 스마트시티, 스마트팩토리 같은 분야나 로봇청소기, 세탁기 같은 가전제품에도 광범위하게 적용될 것이다.

스마트폰 생성 AI의 실시간 통역 기능

삼성전자는 1월 17일(현지시각) 미국에서 열린 ‘갤럭시 언팩 2024’ 행사에서 첫 AI 스마트폰인 갤럭시S24를 공개했다. 스마트폰의 온디바이스 AI 시대가 본격화하면서 스마트폰의 핵심인 AP가 더욱 주목받고 있다. 스마트폰 출시 국가에 따라 다른데, 퀄컴 스냅드래곤8 3세대 칩과 삼성전자 자사 AP인 엑시노스2400 칩을 갤럭시S24에 혼용 탑재하고 있다. 두 칩 모두 핵심 역할을 하는 AI 코어 NPU 성능을 더욱 향상시켰다. 갤럭시S24의 D램 용량은 8㎇ 또는 12㎇다. 향후에는 사용 메모리 칩의 변화도 예상되며, HBM 칩과 유사한 성능의 저지연 광대역(LLW·Low Latency Wide) DRAM이 채택될 것으로 보인다.

갤럭시S24에는 많은 AI 서비스가 담겨 있는데, 그중에서도 생성 AI(Generative AI)와 실시간 통역 기능이 돋보인다. 생성 AI 탑재 모델로는 오픈AI의 ‘GPT-4’, 구글 ‘제미나’ 이외에도 삼성이 자체 개발한 생성 AI ‘가우스’가 있으며, 온디바이스 AI로 장착됐다. 가장 강력한 기능은 ‘AI Live Translate Call(실시간 통역 통화)’이다. 별도의 애플리케이션 설치나 인터넷 연결이 필요 없다. 이 기능은 스마트폰 이용자가 자국 언어로 이야기하면 상대방의 스마트폰 기종과 상관없이 이를 상대국 언어로 바꿔 전달해주고, 다시 상대방의 말을 통역해 들려준다.

한국어뿐 아니라 영어·프랑스어·스페인어·중국어·일본어 등 13개 언어를 지원한다. 메시지 번역도 가능하다. 문장 스타일을 바꾸거나 철자, 문법 오류도 수정해준다. 또한 통화 내용이 휴대폰 외부로 노출될 가능성도 없어 사용자는 보안 걱정 없이 안심하고 사용할 수 있다. 자동 통역 기술은 청각 지능, 언어 지능, 학습 지능 등 인간의 다양한 지능을 모방하는 초지능 기술이며 자동 통역 시스템은 음성인식, 자동번역, 음성합성 기술로 구성된다. 애플도 올해 하반기 출시가 예상되는 아이폰16 시리즈에 생성 AI 기능을 탑재할 것으로 예상된다. 또한 애플의 강점인 메시지, 애플 뮤직 같은 다른 서비스에도 생성 AI를 접목하는 방안을 고려할 것으로 예상된다.

IT 시장 최대 전쟁터는 온디바이스 AI

정보기술(IT) 기업들이 온디바이스 AI를 추구하는 것은 제품의 차별화를 위한 큰 흐름이다. 스마트폰의 경쟁력 제고 일환으로 자동 통역 서비스가 중요한데, 올해는 여행 중에 자유로운 의사소통이 가능할 것으로 보이고, 좀 더 난도가 높은 비즈니스 회의 통역 수준을 스마트폰에서 온디바이스로 구현하는 것은 시간이 더 필요할 것으로 예상된다. 따라서 당분간 온디바이스 AI와 클라우드 기반 AI 서비스를 모두 지원하는 형태가 바람직할 것으로 보인다.

AI 기능 탑재는 스마트폰뿐 아니라 PC, 가전, 자동차, 보안, 헬스케어 등 실생활의 다양한 분야로 확산되고 있다. 최근 인텔이 출시한 코어 울트라 칩(코드명: 메테오 레이크(Meteor Lake))은 온디바이스 AI를 위한 NPU를 탑재했다. 향후 이 칩을 채용한 많은 AI PC가 출시될 것으로 보인다.

온디바이스 AI 시장 급성장은 스마트폰용 AP, 자율주행차용 AI 반도체, AIoT가 만들어내는 다품종 소량 시장의 시스템 반도체 수요를 증가시킬 것으로 예상된다. 이에 따른 맞춤형 메모리 수요 증가로 이어질 것이다. 국내 팹리스(반도체 설계) 업계가 도약할 수 있는 기회이며, 삼성전자나 SK하이닉스에 맞춤형 메모리 개발에 철저한 준비가 요구된다.