[POWER COMPANY] PC·폰·자동차·XR기기… `온디바이스 생성AI` 혁신 이끄는 퀄컴

Qualcomm
'모바일 올림픽' MWC 2024서 청사진
AI 허브로 최적화모델 활용 가능해져
추론 속도 4배 빨라… 보안·효율 최고
안드로이드폰엔 '대형언어·비전 비서'
고품질 맞춤형 이미지·번역기능 향상

퀄컴 AI 허브. 퀄컴 제공

퀄컴이 스페인 바르셀로나에서 개막한 세계 최대 이동통신 전시회 'MWC 2024'에서 스마트폰부터 PC, 자동차, XR기기 등을 아우르는 AI 생태계 청사진과 기술전략을 소개한다. 사진은 'MWC 2024' 퀄컴 부스.

퀄컴이 스페인 바르셀로나에서 개막한 세계 최대 이동통신 전시회 'MWC 2024'에서 스마트폰부터 PC, 자동차, XR기기 등을 아우르는 AI 생태계 청사진과 기술전략을 소개한다. 사진은 'MWC 2024' 퀄컴 부스.

생성형 AI(인공지능) 혁신이 이어지면서 그동안 대부분 클라우드 상에서 실행되던 AI가 PC, 스마트폰 같은 기기에 탑재되기 시작했다. 챗GPT, 미드저니 같은 애플리케이션이 더 광범위하게 사용되면서 AI 실행에 드는 부담이 커지고 데이터와 보안 이슈도 부각되면서 AI 모델을 보다 가성비 있게 최적으로 구현하는 방법을 고심한 결과다. 효과적인 전략 중 하나는 AI 실행의 일부 또는 전부를 스마트폰, 노트북, XR(확장현실) 헤드셋 등의 엣지 기기로 옮기는 것이다.

디바이스 위에서 벌어지는 생성형 AI 혁신에서 앞서가는 기업이 퀄컴이다. 퀄컴은 26일(현지시간) 스페인 바르셀로나에서 개막한 세계 최대 이동통신 전시회 'MWC(모바일월드콩그레스) 2024'에서 스마트폰부터 모뎀, 와이파이 등을 아우르는 AI 생태계 청사진과 기술전략을 소개했다.

기기에서 실행 가능한 생성형 AI 기능은 텍스트 생성, 이미지·영상 생성, 콘텐츠 개선·수정, 오디오 생성·개선, 코드 생성 등이다. 이를 뒷받침하는 것이 엣지 기기에 탑재된 온디바이스 AI 프로세싱 기능이다. 온디바이스 AI 구현 전략을 실행하려면 기기에서 사용 가능한 AI 가속기를 활용해 AI 모델을 엣지 기기에 최적화해야 한다.

◇'퀄컴 AI 허브', AI 활용의 지름길 열어준다.

퀄컴은 MWC 2024에서 AI의 최신 발전상을 공개했다. 최신 '퀄컴 AI 허브'와 AI 기반 상용 단말기를 선보이고 스냅드래곤 및 퀄컴 플랫폼으로 구동되는 다양한 기기를 소개했다.

두르가 말라디 퀄컴 수석부사장 겸 기술 기획·엣지솔루션부문 본부장은 "퀄컴은 스마트폰용 스냅드래곤 8 3세대와 PC용 스냅드래곤 X 엘리트를 기반으로 온디바이스 AI의 본격적인 상용화를 촉발했다"며 "앞으로 개발자들은 '퀄컴 AI 허브'를 통해 첨단 기술의 잠재력을 온전히 활용하고 AI 기반의 매력적인 응용 프로그램을 만들 수 있게 될 것"이라고 말했다. 이어 "퀄컴 AI 허브는 개발자들이 사전에 최적화된 AI 모델을 응용 프로그램에 빠르고 쉽게 통합할 수 있도록 종합적인 AI 모델 라이브러리를 제공한다"며 "이는 더욱 신속하고 신뢰도 높은 개인적인 사용자 경험으로 이어질 것"이라고 강조했다.

퀄컴 AI 허브는 스냅드래곤과 퀄컴 플랫폼을 사용하는 모든 제품에 적용 가능한 AI 모델 라이브러리를 지원한다. 이 라이브러리는 개발자에게 위스퍼, 컨트롤넷, 스테이블 디퓨전, 바이추안 7B 등 75여 가지의 인기 있는 AI와 생성형 AI 모델을 제공한다. 이 모델들은 다양한 폼팩터와 런타임 환경에서 메모리를 적게 사용하면서도 온디바이스 AI 성능과 높은 전력 효율을 발휘하도록 최적화된 것이 특징이다.

◇하드웨어 가속화로 추론 4배 빠르게… 개인정보 보호·개인화도 강점

각 모델은 NPU(신경망처리장치), CPU(중앙처리장치), GPU(그래픽처리장치) 등 퀄컴 AI 엔진의 모든 코어에서 하드웨어 가속화를 최대한 활용할 수 있도록 최적화돼 4배 가량 빠른 추론을 가능케 한다. AI 모델 라이브러리는 소스 프레임워크에서 인기 있는 런타임 환경으로 모델을 자동 변환한다.퀄컴 AI 엔진 다이렉트 SDK(소프트웨어 개발키트)와 직접 연동돼 하드웨어를 고려한 최적화를 해 준다. 개발자는 이 모델을 응용 프로그램에 끊김없이 통합해 상품 개발 기간을 단축하고, 즉각성, 신뢰성, 개인정보 보호, 개인화, 비용 절감 같은 온디바이스 AI의 장점을 누리도록 해 준다. 최적화된 모델은 현재 퀄컴 AI 허브, 깃허브와, 허깅 페이스에서 이용할 수 있다. 퀄컴은 "앞으로도 신규 모델들이 퀄컴 AI 허브에 지속적으로 추가될 예정"이라며 "새로운 플랫폼과 운영체제도 곧 지원된다"고 말했다.

개발자들은 가입을 통해 퀄컴 플랫폼 기반 클라우드 호스팅 기기에서 모델을 직접 실행할 수 있으며, 퀄컴 AI 허브가 제공하는 최신 기능과 AI 모델을 빠르게 사용할 수 있다.

◇안드로이드 폰에 70억 매개변수 LLM 담는다

퀄컴 AI 리서치는 안드로이드 스마트폰에서 최초로 대형 언어 및 비전 비서(LLaVA)를 실현한다. 이 모델은 70억 개 이상의 매개 변수를 보유한 LMM(대형 멀티모달 모델)으로, 텍스트, 이미지 등 여러 유형의 데이터 입력이 가능하다. AI 비서와 이미지에 대한 멀티턴 대화를 생성할 수 있다. 또 기기 자체에서 LMM이 반응형 토큰 속도로 실행되므로 개인정보 보호 및 개인화 기능, 신뢰성이 강화되고 비용은 절감된다. 언어, 시각적 이해 능력을 갖춘 LMM은 복잡한 시각적 패턴과 물체, 장면을 식별·논의하는 등 다양한 분야에 쓰일 수 있다.

또 퀄컴 AI 리서치는 안드로이드 스마트폰에서 처음으로 LoRA(Low Rank Adaptation) 기술을 선보였다. 사용자는 LoRA 기반으로 실행되는 스테이블 디퓨전을 통해 개인이나 예술적 취향에 따라 고품질의 맞춤 이미지를 생성할 수 있다. LoRA는 AI 모델이 학습하는 매개 변수의 숫자를 줄여 온디바이스 생성형 AI 활용 과정에서 효율성과 확장성, 맞춤화 정도를 향상시킨다. LoRA는 각기 다른 예술적 양식에 따라 LVM(언어비전모델)들을 미세 조정할 뿐만 아니라 LLM(대형언어모델)과 같이 상황에 맞춰 AI 모델에 폭넓게 적용돼 맞춤형 개인 비서 기능과 향상된 언어 번역 등을 제공한다.

퀄컴 AI 리서치는 또한 텍스트 및 오디오(음악, 교통 소음 등)로 데이터 입력이 가능하며, 해당 오디오에 대한 멀티턴 대화를 생성할 수 있는 매개 변수 70억 개 이상의 LMM을 세계 최초로 윈도우 PC상에서 온디바이스로 구현한다.

◇플래그십 AI 스마트폰 시리즈도 전시

퀄컴은 MWC에서 스냅드래곤 8 3세대 모바일 플랫폼으로 구동되는 생태계의 한 축인 주요 플래그십 AI 스마트폰 시리즈도 전시했다. 아너 '매직6 프로', 오포 'X7 울트라', 샤오미 '14 프로' 등 중국 업체들이 주를 이뤘다. 각 기기는 AI 생성 이미지 확장 기능(샤오미), AI 기반 동영상 제작 및 캘린더 생성 기능(아너), 이미지 내 객체 삭제 기능(오포)등 생성형 AI 기능을 탑재했다. PC는 지난해 말 공개된 '스냅드래곤X엘리트' 레퍼런스 모델이 전시됐다. 스냅드래곤X엘리트는 온디바이스 AI를 위해 개발됐으며 PC와 상호 작용하는 방식을 변화시킬 예정이다. 퀄컴은 스테이블 디퓨전 플러그인을 사용한 유명한 무료 이미지 편집기 GIMP를 통해 생성형 AI가 7초 안에 원하는 이미지를 생성하는 모습을 보여주기도 했다. 이는 x86아키텍처를 사용하는 경쟁사 제품보다 3배 빠른 속도다.

퀄컴 부스의 자동차도 눈에 띄었다. 퀄컴은 '스냅드래곤 디지털 섀시' 플랫폼에 생성형 AI 기능을 적용했다. IoT(사물인터넷)와 관련해서는 휴메인의 'AI핀'이 눈에 띄었다. 휴메인의 AI핀은 이용자가 어디서나 AI를 사용할 수 있도록 최신 대화형 스크린리스 폼팩터를 채택한 제품을 선보인다.

연결성 면에서 최신 '스냅드래곤 X80 모뎀-RF 시스템'은 2세대 5G AI 프로세서를 통합해 셀룰러 성능, 커버리지, 지연 시간 및 전력 효율을 강화했다. 퀄컴 패스트커넥트 7900 모바일 커넥티비티 시스템은 AI에 최적화된 최초의 와이파이 7 시스템으로, AI를 활용해 적응성, 고성능, 저지연, 저전력 로컬 무선 연결의 기준을 제시한다.퀄컴은 무선접속망(RAN) 엔지니어의 네트워크, 슬라이스 관리 작업을 간단하게 해주는 생성형 AI 비서, 네트워크 에너지 소비를 줄이는 AI 기반 개방형 RAN 애플리케이션, AI 기반 5G 네트워크 슬라이스 생애 주기 관리 제품군 등 AI로 강화된 네트워크 관리 기능도 소개했다.

글·사진=바르셀로나(스페인)=김나인기자 silkni@dt.co.kr