애플은 다 계획이 있었다…"생성형AI, 폰에 맞게 가볍고 빠르게"

플래시메모리 활용해 '휴대폰 속 AI' 경제성·속도 잡기
사람과 배경 자유자재로 만드는 아바타 생성기술도 개발

애플의 HUGS 기술로 만든 동영상의 한 장면 이미지=애플

애플은 다 계획이 있었다.

생성형 AI(인공지능) 시대에 왕따를 자처하는 것처럼 보이던 애플이 관련 기술 개발과 상용화에 박차를 가하고 있다.

애플은 신기술을 가장 먼저 내놓기보다는 남들보다 한발 늦게 가도 소비자들의 눈높이에 맞는 완결성 있는 서비스와 사용자 경험을 만들어내는 능력이 뛰어나다. 생성형 AI에서도 이런 공식이 통할 지 주목된다.

파이낸셜타임스 등 외신들은 21일(현지시간) 애플이 생성형 AI 관련 연구 논문을 잇달아 내놓으며 구글 등 생성형 AI 선두 주자 따라잡기에 나섰다고 보도했다.

애플 연구진은 이달 들어 생성형 AI에 관한 연구 논문을 두 편 발표했다. 2011년 AI 음성 비서인 시리(Siri)를 내놓은 애플이 최근 생성형 AI 경쟁에서는 이렇다 할 결과물을 내놓지 못하고 있는 가운데 반전카드를 준비 중인 것으로 보인다.

이번에 공개된 연구 논문에 실린 기술은 온디바이스 LLM(대규모언어모델)과 동영상 아바타 생성기술이다. 애플의 특기인 '경제성'과 '현실적 혁신'이 드러나는 시도들이다.

◇더 가볍고 빠른 '온디바이스 LLM'

연구논문에 따르면 애플은 아이폰이나 아이패드 같은 기기에서 속도나 성능 저하 없이 강력한 AI 모델을 실행할 수 있는 온디바이스 LLM 기술을 개발하고 있다. 앱과 사진을 저장하는 데 쓰이는 플래시 메모리를 사용해 자연어를 이해하고 생성할 수 있는 LLM을 실행하는 방식이다.

LLM은 사람과 대화하고 유용한 정보와 서비스를 제공하는 AI 챗봇과, 애플의 시리와 같은 어시스턴트의 근간이 되는 기술이다. 그런데 LLM은 메모리를 많이 사용해서 제대로 작동하려면 기가바이트 용량의 램(메모리)이 필요하다. 그렇다 보니 램 용량이 제한된 아이폰 같은 모바일 기기에서는 제한이 있을 수 있다.

이 문제를 극복하기 위해 애플 연구원들은 램보다 용량이 크고 저렴한 플래시메모리에 LLM의 데이터를 저장하고 액세스하는 새로운 기술을 고안했다. '플래시에 저장하는 LLM: 제한된 메모리에서 구현하는 효율적인 LLM 추론'이라는 제목의 연구 논문에는 이를 가능하게 하는 두 가지 핵심 기술에 대한 설명이 담겼다.

첫 번째는 윈도우잉이다. 일종의 리사이클링 기술로, 플래시메모리와 램 간에 전송해야 하는 데이터의 양을 줄여준다. 매번 새로운 데이터를 로드하는 대신 이미 처리된 데이터 중 일부를 재사용해 시간과 에너지를 절약하는 방식이다.

다음은 플래시메모리에서 데이터 검색 속도를 높여주는 읽기 기술인 '행·열 번들링'이다. LLM이 한 번에 한 단어씩 읽는 대신 더 큰 데이터 덩어리를 동시에 읽음으로써 효율성과 처리량을 높이는 기술이다. 이 기술을 이용하면 이용 가능한 램의 2배 크기까지 LLM을 실행할 수 있고, CPU(중앙처리장치) 속도는 4~5배, GPU(그래픽처리장치) 속도는 20~25배 높일 수 있다고 연구진은 주장한다.

연구진은 이 기술이 "리소스가 제한된 환경에서 고급 LLM을 배포하는 데 특히 중요하며, 이를 통해 적용 가능성과 접근성을 확장할 수 있다"고 설명한다.

이는 아이폰이 클라우드 서버에 의존하거나 개인정보를 침해하지 않고도 정교한 AI 모델을 기기 안에서 실행할 수 있게 됨을 의미한다. 실시간 언어 번역, 고품질 음성 인식, 더 스마트한 응답 등 시리의 기능이 향상될 수 있을 것으로 기대된다. 또 사진, 증강현실 등 스마트폰의 다른 기능에도 AI를 효과적으로 녹여 넣을 수 있다.

◇동영상 아바타, 텔레프레즌스로 이어질 'HUGS'

또다른 연구논문에는 'HUGS(휴먼 가우시안 스플랫, Human Gaussian Splats)'라는 방법이 담겼다. 짧은 모노큘러 동영상에서 애니메이션 3D 아바타를 생성하는 기술이다. 연구 논문의 대표 저자인 무하메드 코카바스에 따르면, HUGS는 50~100프레임의 모노큘러 동영상에서 정적인 장면과 동영상 인간 아바타를 분리하는 방법을 자동으로 학습할 수 있다.

이 기술은 3D 가우시안 스플래팅을 사용해 사람과 배경을 모두 표현하고 SMPL이라는 통계적 체형 모델을 사용해 사람 모델을 초기화한다. HUGS를 사용하면 사람의 포즈를 새로 만들어내고, 사람과 배경을 합성하는 게 가능하다. 기존 아바타 생성 방식에 비해 HUGS는 학습 및 렌더링 속도가 최대 100배 빠르고, 3D 재구성 품질도 훨씬 뛰어나다.

이 기술은 옷이나 안경 등을 가상으로 착용하거나 텔레프레즌스, 합성 미디어 등에 활용될 수 있다. 사용자가 아이폰 카메라를 사용해 새로운 3D 영상을 만들 수도 있다.

◇내년말 아이폰과 아이패드에 생성형 AI 탑재할 듯

블룸버그에 따르면, 애플은 이미 생성형 AI를 시리에 통합하기 위한 작업을 하고 있다. 이 회사는 올해 2월 AI 서밋을 개최하고 직원들에게 LLM 관련 내용을 공유했다. 애플의 목표는 AI와 긴밀하게 통합돼 복잡한 쿼리와 작업을 처리하는 더 똑똑한 시리를 내놓는 것이다. 또한 메시지 앱과 시리를 연동함으로써, 사용자가 복잡한 질문을 하고 문장을 더 효과적으로 자동 완성할 수 있도록 구현할 계획이다. 그 외에도 가능한 한 많은 앱에 AI를 추가할 것으로 알려졌다.

애플은 또한 가장 앞선 AI 모델인 오픈AI의 GPT-3 및 GPT-4와 경쟁할 수 있도록 설계된 자체 생성형 AI 모델인 '에이잭스(에이잭스)'를 개발하고 있다. 에이잭스는 2000억개의 매개변수를 갖추고, 복잡한 언어를 이해하고 생성한다. 내부적으로 '애플 GPT'로 알려져 있으며, 애플 내 머신러닝 프로젝트를 통합하는 것을 목표로 한다.

더 인포메이션과 애널리스트 제프 푸에 따르면, 애플은 iOS 18이 출시되는 2024년 말경에 아이폰과 아이패드에서 일부 생성형 AI 기능을 도입할 예정이다.

한편 애플과 경쟁하는 삼성도 내년에 생성형 AI를 적용한 스마트폰을 내놓을 예정이다. 구글도 스마트폰에 생성형 AI를 탑재하고 있다.

통신칩 기업 퀄컴의 크리스티아노 아몬 CEO는 최근 파이낸셜타임스와의 인터뷰에서 "AI가 최근 판매량 위축세를 보이고 있는 스마트폰 시장의 흐름을 바꿔놓을 것이라며 "스마트폰에 탑재된 생성형 AI는 사용자 경험에 유의미한 변화를 가져오고 시장에 새 혁신을 불러올 수 있을 것으로 기대한다"고 밝혔다. 안경애기자 naturean@dt.co.kr