온디바이스 AI 부상에…'저전력·고성능 AI 반도체' 시장 확대된다

삼정KPMG ‘생성형 AI에게 펼쳐진 새로운 무대, 온디바이스 AI’ 보고서 발간

온디바이스 AI 부상에…'저전력·고성능 AI 반도체'

[파이낸셜뉴스] 온디바이스(On-Device) AI 시대가 본격 개막됐다. 삼성전자의 갤럭시 S24 시리즈, 애플 인텔리전스(Apple Intelligence), 마이크로소프트의 코파일럿+PC 등 온디바이스 AI를 장착한 혁신 제품과 기능이 잇달아 공개된 것이다.

생성형 AI 등장 이후 AI 개발이 가속화되는 가운데, 온디바이스 AI가 기존 클라우드 기반 AI의 단점을 보완하는 기술로 부상했다. 이에 온디바이스 AI 기술을 성공적으로 구현하고 서비스의 다양화를 이끄는 전략이 제시됐다.

삼정KPMG는 25일 ‘생성형 AI에게 펼쳐진 새로운 무대, 온디바이스 AI’ 보고서를 발간하며, 새로운 플랫폼으로 부상하고 있는 온디바이스 AI 기술의 활용 전략을 분석했다.

오픈AI의 챗GPT, 구글의 제미나이, 마이크로소프트의 코파일럿 등 생성형 AI 기반의 기존 AI 서비스는 대규모 언어 모델(Large Language Model)을 기반으로 운영되며, 클라우드 시스템을 활용하고 있다.

모델이 점차 대형화됨에 따라 대형 AI 모델을 운영하는 데 따른 문제가 거론되고 있는데, 특히대형 AI 모델은 운영 과정에서 다량의 데이터가 소모되어 전력과 반도체 등의 컴퓨팅 역량 자원이 크게 소비된다.

반면 온디바이스 AI는 이용자가 요청사항을 디바이스에 입력하면, 디바이스 내에 탑재된 AI 모델과 반도체 등 자체 데이터 처리 시스템이 구동되어 데이터의 외부 이동 없이 AI 서비스가 구현된다.

이에 온디바이스 AI를 기반으로 한 생성형 AI 서비스는 AI 모델의 분석 속도가 빠르고, 시스템 운영 비용도 비교적 적다. 또한 이용자가 입력하는 정보를 디바이스 외부로 내보내지 않는다는 점에서 개인정보 등의 민감한 데이터를 처리하기에 적합도가 높다. 데이터 처리를 위하여 외부 네트워크 및 클라우드로의 전송을 위한 인프라 확보 부담이 적다는 점도 높은 평가를 받고 있다.

보고서는 온디바이스 AI를 기반으로, 기업의 비즈니스 혁신과 스케일업(Scale-up)을 이끌어 낼 수 있는 ‘SCALE[S(Semiconductor)-C(Cloud)-A(Ambient Computing)-L(Language Model)-E(Explainable AI)]’ 전략을 제시했다.

먼저 온디바이스 AI는 디바이스 내 전력을 활용해 AI 모델을 운영하기 때문에 AI 서비스 운영과정에서 소비되는 전력 소모를 적게 유지해야 한다. 이에 저전력으로 구동 시킬 수 있는 반도체 기술인 FPGA(Field Programmable Gate Array), ASIC(Application Specific Integrated Circuit) 등이 2028년까지 연평균 40% 이상 크게 성장할 전망이며, 고성능 반도체는 클라우드와 데이터센터 등 전력 제약이 덜한 곳을 중심으로 시장이 확대될 예정이다.

이용자 주변에 있는 IT 디바이스가 이용자의 패턴을 자체적으로 학습해 디바이스가 알아서 필요한 서비스를 제공하는 ‘앰비언트 컴퓨팅’ 시장 속 기회를 모색해야 한다. 온디바이스 AI의 우수한 보안 성능은 개인별 데이터를 확보하고 분석하는 앰비언트 컴퓨터 환경을 구축하는 데 높은 활용 가치를 지닌다.

또한 온디바이스 AI는 소형 AI 모델을 기반으로 서비스를 운영한다는 점에서, 소형 AI 모델 시장이 본격 확대될 것으로 전망된다. 소형 AI 모델은 스마트폰, 가전 등 AI 모델이 탑재되는 개별 온디바이스 AI용 디바이스에서 요구되는 결과값의 퀄리티를 높일 수 있도록 개발이 진행될 전망이다. 마지막으로, 온디바이스 AI를 활용하면 이용자에게 즉각적으로 AI 분석 결과가 제공되는 형태로 이용자와 AI 모델 간의 거리가 더욱 가까워진다. 이에 이용자의 혼란을 줄이고 AI 모델의 운영 안정성을 강화할 수 있는 ‘설명 가능한 AI(Explainable AI)’ 기술 통제 방안을 마련해야 한다.

삼정KPMG AI센터 이준기 상무는 “생성형 AI 활용의 새로운 트렌드로 부상하는 온디바이스 AI를 중심으로 AI 생태계의 확장과 유스케이스(Use Case) 확보에 주력해야 한다"며 “온디바이스 AI의 장점을 효과적으로 활용할 수 있는 전략을 바탕으로 사용자경험을 강화하는 서비스를 개발함으로써 AI시장에서 차별화된 경쟁력을 확보하고 고객 가치를 제고한다면 새로운 비즈니스 잠재력을 확보하는 계기가 될 것이다"고 강조했다.
#삼정KPMG #온디바이스AI

kakim@fnnews.com 김경아 기자