엑시큐토치 알파 출격…“모바일서 LLM 최적 구동”

엑시큐토치

파이선 기반 머신러닝 프레임워크인 엑시큐토치(ExecuTorch) 알파 버전이 공개됐다. 파이토치는 2일 자사의 홈페이지를 통해 “알파 버전에서는 대규모 언어 모델(LLMs)과 대형 머신러닝 모델을 모바일 기기로 구현하는 데 중점을 두었다”면서 “특히 API를 안정화하고 설치 과정을 개선했다”고 강조했다.

엑시큐토치는 메타(Meta)의 라마(Llama) 2를 지원한다. 또 라마3에 대한 초기 지원도 제공한다. 이번 개발은 모바일 기기에서 계산, 메모리, 전력의 효율을 높였다는데 뜻이 깊다. LLM을 모바일 기기에 적용하고자 엑시큐토치는 양자화 등 다양한 모델을 사용했다고 말했다.

특히 모델을 4비트로 압축하여 메모리 사용량을 크게 줄일 수 있는 GPTQ를 지원하는 한편, 다양한 CPU 아키텍처에 최적화해 추론할 수 있는 XNNPack에 중점을 뒀다.

파이토치는 “아이폰 15 프로(iPhone 15 Pro), 아이폰 15 프로 맥스(iPhone 15 Pro Max), 삼성 갤럭시 S22, S23, S24 등 각종 기기에서 라마(Llama)2 7B(70억 파라미터 버전)을 효율적으로 구동할 수 있다고 강조했다. 현재 파이토치는 애플 퀄컴과 긴밀히 협의 중이다.

마치 파이선 프로그램을 디버깅하듯이 모델을 디버깅할 수 있는 SDK를 제공한다. 이를 통해 모델 성능을 분석하고 병목을 확인할 수 있다.

엑시큐토치는 메타 퀘스트3에 손 추적용으로 활용되고 있으며 레이밴 메타 스마트글래스에도 활용 중이다.