챗GPT와 같은 생성형 인공지능(AI) 모델을 훈련하기 위해서는 고사양 반도체가 필수적이다. 대규모 학습 및 추론, 연산 등을 빠르게 처리해야 하기 때문이다.
모델 개발이 완료되면 보다 저사양 기기에서도 AI 기능을 활용할 수 있어 일반 노트북으로도 AI 비서 기능을 사용할 수 있게 됐다.
생성형 AI 기능이 일상화되고 있는 가운데 기업들은 키오스크, 로봇, 저사양 모바일 기기 등 저사양, 저렴한 하드웨어에서도 AI 연산이 가능하도록 AI 모델을 구축 중이다.
인간과 자연스러운 상호 작용을 하는 생성형 AI는 어느 정도의 사양이 충족돼야 사용할 수 있을까. 스타트업 엑소 랩스(EXO Labs)는 최근 26년 전 발매된 컴퓨터로 생성형 AI 모델을 구동시키는 흥미로운 실험 결과를 공개했다.
저사양 컴퓨터에서 강력한 AI 거대언어모델(LLM)을 사용할 수 있는지를 알아보기 위함이다.
엑소 랩스는 실험에 윈도우 98이 탑재됐으며, 인텔 펜티엄 2 CPU와 128MB 램이 장착된 PC를 활용했다.
실험 결과 놀랍게도 매우 적절한 속도로 답변을 생성하는 데 성공했다고 한다. 실험을 위해 엑소 랩스는 이베이에서 오래된 PC를 약 22만원에 구매했다.
펜티엄 2 PC에 데이터를 넣는 것이 어렵기 때문에 이더넷 포트를 통해 파일을 집어넣기로 계획했다. 이를 위해 노트북에서 FTP 서버를 구동하는 방식으로 PC에 파일을 전송했다.
윈도우 98에서 최신 코드를 컴파일하는 것은 더 큰 도전이었을 것이다. 엑소 랩스는 테슬라의 전 AI 책임자이자 오픈AI 연구원 출신인 안드레이 카파시가 제작한 추론 코드인 'llama2.c'를 활용했다.
기계 학습 모델의 추론을 위한 경량화된 라이브러리로, C 언어로 작성돼 있어 다양한 플랫폼에서 사용할 수 있다는 게 특징이다.
특히 CPU에서 빠르게 작동하도록 설계됐기 때문에 이번 실험에 활용하기 적합할 것이라고 판단했다.
엑소 랩스는 라마 아키텍처를 갖춘 260K LLM을 사용해 윈도우 98에서 생성형 AI 기능을 구동하는 데 성공했다. 다만 모델 크기가 커지면 답변 속도가 현저히 느려졌다고 엑소 랩스는 전했다.
한편 엑소 랩스는 값비싼 GPU나 클라우드 서비스를 사용하는 대신 CPU를 활용해 프론티어 모델을 실행하는 것을 목표로 여러 도구를 개발 중이다.
AI포스트(AIPOST) 유형동 수석기자
■ 보도자료 및 광고, 비즈니스 협업 문의 aipostkorea@naver.com
Copyright © AI포스트(AIPOST)