KAIST 한인수 교수, 터보퀀트 메모리와 최적화…“AI 혁신 이끌 것”

한인수 KAIST 교수가 터보퀀트 기술에 대해 설명하고 있다.[KAIST 제공]

[헤럴드경제=구본혁 기자] “AI 효율화를 위해서는 터보퀀트(소프트웨어)와 메모리(하드웨어) 두 가지가 함께 최적화를 이뤄야만 한다.”

구글의 AI 메모리 사용 획기적으로 줄인 ‘터보퀀트’ 기술 개발에 참여한 KAIST 한인수 교수는 30일 온라인 설명회에서 “메모리 반도체와 같은 하드웨어와 터보퀀트와 같은 소프트웨어가 함께 최적화된다면 대규모 AI 모델을 보다 효율적으로 운영할 수 있게 될 것”이라고 말했다.

구글이 최근 공개한 AI 압축 알고리즘 ‘터보퀀트’는 AI 모델의 메모리 사용 효율을 극대화한 기술이다.

정확도를 유지하면서도 모델의 크기를 극단적으로 축소하는 압축 기술을 사용해 메모리 사용량을 최대 6분의 1 수준으로 줄인 것이 특징이다.

데이터 자체를 작게 만들어 메모리 사용을 줄이고, 계산 중간값을 저장하지 않고 필요할 때 다시 계산하는 형태다. 메모리 사용량은 줄고, 연산량은 증가하는 구조인 셈이다.

한 교수는 “AI 모델의 성능이 커질수록 메모리 사용량이 급격히 증가하는 것이 가장 큰 한계로 지적되어 왔다”며 “이번 연구는 이러한 병목을 효과적으로 줄이면서도 정확도를 유지할 수 있는 새로운 방향을 제시했다”고 설명했다.

그는 터보퀀트가 기존 언어모델(LLM)에 적용이 가능해 빠른 시일내에 상용화 될 수 있을 것이라고 전망했다.

한 교수는 터보퀀트가 별도 학습 없이 기존 AI 모델에 적용할 수 있고, KV 캐시뿐 아니라 검색 기반 추천 시스템이나 검색증강생성‘(RAG) 등 다양한 벡터 기반 시스템에도 활용할 수 있는 범용 기술이라고 설명했다.

한 교수는 “온라인에서는 이미 터보퀀트를 구현해 공개하고 있다”면서 “시장에서 실제 성능 검능이 진행되면 상용화도 가능할 것으로 본다”고 말했다.

현재 구글 리서치 방문연구원을 맡고 있는 한 교수는 구글과 AI 추론 연산 효율화를 위한 후속연구를 진행할 계획이다.