[LG유플 토큰 인사이트] "AI 승부는 이제 적은 토큰으로 일을 끝내는 싸움"

최진홍 기자 2026. 11. 16. 09:15
음성재생 설정 이동 통신망에서 음성 재생 시 데이터 요금이 발생할 수 있습니다. 글자 수 10,000자 초과 시 일부만 음성으로 제공합니다.
번역beta Translated by kaka i
글자크기 설정 파란원을 좌우로 움직이시면 글자크기가 변경 됩니다.

이 글자크기로 변경됩니다.

(예시) 가장 빠른 뉴스가 있고 다양한 정보, 쌍방향 소통이 숨쉬는 다음뉴스를 만나보세요. 다음뉴스는 국내외 주요이슈와 실시간 속보, 문화생활 및 다양한 분야의 뉴스를 입체적으로 전달하고 있습니다.

NeurIPS 통신사 최초 논문 2편 발표
토큰 효율화 연구 공개
에이전트 시대 추론 비용 잡을 해법은 모델 라우팅과 칩믹스

LG유플러스가 12일 서울 서대문구 위드스페이스에서 'AI 토큰 효율화 기술과 연구 현황'을 주제로 간담회를 열어 AI 경쟁의 기준이 모델 성능에서 운영 효율로 옮겨가고 있다고 밝혔다. 

생성형 AI가 빠르게 퍼지며 AI가 정보를 처리하는 기본 단위인 토큰을 얼마나 적게 쓰고 빠르게 처리하느냐가 서비스의 수익성을 좌우하는 요소가 됐다는 설명이다.

이날 자리에는 이상엽 LG유플러스 CTO(전무)와 이혜진 담당을 비롯해 정성권 AX서비스개발그룹장(전무)과 권기덕 AX엔지니어링Lab장 등이 참석했다.

이상엽 CTO는 "세계 3대 AI 학회 가운데 하나인 NeurIPS에 올해 통신사로는 처음으로 논문 두 편을 발표했다"며 "모델 경량화와 토큰 최적화를 깊이 고민해왔다"고 말했다. 

NeurIPS는 2017년 트랜스포머 구조를 처음 소개한 논문 'Attention Is All You Need'가 발표된 학회로 이 논문은 챗GPT를 비롯한 지금의 AI 혁명의 출발점이 됐다. 이 CTO는 "올해 MWC에서 인간 중심의 AI를 이야기했고 이를 위해서는 서비스를 얼마나 지속 가능하게 제공하느냐가 중요하다"며 "그래서 이 분야를 미리 연구해왔다"고 설명했다.

그는 토큰 최적화를 기사 쓰기에 빗댔다. 이 CTO는 "좋은 기사를 쓸 때 반복되는 문구나 문장은 하나로 줄이고 핵심 내용은 추가 취재로 보강한다"며 "최근 에이전트 AI 서비스도 반복되는 KV 값을 캐시 등으로 재활용해 효율을 높이는 기술이 중요한 이슈가 되고 있다"고 말했다.
사진=연합뉴스

AI는 이제 일상 인프라 "토큰이 라이프라인 됐다"
토큰이 왜 중요해졌는지에 대한 설명은 이혜진 담당이 맡았다. 이 담당은 "자료 조사와 보고서 작성은 물론 몸이 안 좋을 때 증상을 묻는 일까지 AI와 주고받는 모든 과정에서 소비되는 것이 토큰"이라며 "수도꼭지를 틀면 물이 나오고 전등을 켜면 전기가 흐르듯 AI를 켜면 토큰이 흐른다"고 말했다.

토큰이 소비되는 방식은 질문에 따라 크게 달라진다. 

이 담당은 "'안녕'이라는 인사에는 토큰이 아주 적게 쓰이지만 젠슨 황 관련 이슈가 글로벌 GPU 시장에 미칠 영향을 분석해 경영진 보고서를 써달라고 하면 엄청난 양의 토큰이 소비된다"며 "AI로 하는 모든 일은 토큰을 소비하며 움직인다"고 설명했다.

AI가 쓰이는 영역도 빠르게 넓어지고 있다. 이 담당은 하버드 비즈니스 리뷰 분석을 인용해 "2026년 AI 활용에서 가장 큰 비중을 차지하는 것은 정서적 교감과 지원"이라며 "개발과 트러블슈팅 업무 조언은 물론 재미있는 콘텐츠와 스토리텔링 타로와 사주까지 AI를 쓰지 않는 영역이 있을까 싶을 정도"라고 말했다. 이어 "특히 정서적 교감 분야가 크게 성장하고 있다"며 "AI가 늘 옆에 있고 그 뒤에서 토큰이 계속 처리되고 있다"고 덧붙였다.

이런 변화는 토큰을 사회 기반시설의 반열에 올려놓았다. 이 담당은 "전기와 가스 수도에 이어 통신이 인프라가 됐고 이제 토큰도 인프라의 영역에 들어왔다"며 "AI 없는 일상을 상상할 수 없기 때문에 토큰이 곧 라이프라인이 됐다"고 강조했다.

에이전트가 부른 제번스의 역설

문제는 비용이다. 토큰 단가는 빠르게 떨어지고 있지만 기업들이 쓰는 전체 비용은 오히려 늘고 있기 때문이다. 

이 담당은 "AI가 너무 비쌌기 때문에 토큰 가격을 낮추려는 노력이 이어졌고 최근 몇 개월 사이에도 토큰 비용이 67%까지 내려갔다"며 "그럼에도 에이전트를 포함한 토큰 지출은 계속 오르고 있다"고 말했다. 그는 "1~2년 사이 토큰 비용은 80% 싸졌지만 빅테크 기준 소비량은 3배로 늘었다"며 "사람뿐 아니라 에이전트가 AI를 쓰기 때문"이라고 설명했다.

에이전트의 토큰 소비 규모는 사람과 비교가 되지 않는다. 이 담당은 "사람은 생각한 뒤 AI를 한 번 쓰고 끝나지만 에이전트는 사람의 5배를 쓰고 비용으로 보면 14배 이상 늘어났다"며 "기능이 좋아질수록 쓰임이 늘고 전체 비용이 폭증하는 제번스의 역설이 나타나고 있다"고 말했다. 19세기 석탄 효율이 높아지자 오히려 석탄 소비가 늘었던 현상이 AI 시대에 토큰을 두고 다시 벌어지고 있다는 것이다.

이 담당은 토큰 최적화를 이해하는 핵심을 네 가지로 정리했다. 그는 "그동안은 학습을 통해 AI가 결과를 내는 데 집중했지만 이제는 매일 일어나는 추론이 비용의 핵심"이라며 "인사 한마디에 비싼 모델을 쓸 필요가 없는 만큼 일에 맞는 최적의 모델을 골라야 한다"고 말했다. 이어 "에이전트는 움직일수록 토큰을 많이 쓰기 때문에 헤매지 않고 한 번에 결과를 내도록 잘 설계해야 한다"며 "모든 토큰과 에이전트를 움직이는 공통 플랫폼을 얼마나 싸게 설계하느냐가 전체 토큰 비용을 좌우한다"고 강조했다. 그는 "이 전체를 엔드투엔드로 연결하는 것이 토큰 최적화"라고 덧붙였다.

추론 비용이 학습을 앞지를 것이라는 전망도 나왔다. 이 담당은 맥킨지 보고서를 인용해 "현재 학습과 추론의 비중이 반반이지만 앞으로는 추론이 더 빠르게 늘어난다"며 "추론에서 생기는 토큰 소비 패턴을 보고 얼마나 최적화하느냐가 큰 열쇠"라고 말했다.

그는 "챗GPT 같은 생성형 AI는 답변 한 번에 수천 토큰을 쓰지만 에이전트가 움직이면 같은 답변에 드는 비용이 60~70% 늘어나고 피지컬 AI로 가면 엄청난 토큰이 발생한다"며 "영상과 음성 센서와 텍스트 등 움직이는 모든 것에서 토큰이 생기기 때문에 비용은 앞으로 늘어나면 늘어났지 줄어들 수 없는 구조"라고 진단했다.

AI의 진짜 비용은 답변 아닌 업무 완료까지의 비용

같은 토큰이라도 쓰임에 따라 값이 다르다는 점도 짚었다. 이 담당은 "질문을 넣는 입력 토큰보다 답변을 내는 출력 토큰의 비용이 2배에서 8배 높다"며 "무언가를 해석할 때는 입력을 많이 쓰고 보고서를 쓸 때는 출력을 많이 쓰는 만큼 업무마다 비중을 효과적으로 계산하면 비용이 크게 달라진다"고 설명했다.

눈에 보이지 않는 비용도 크다. 이 담당은 "사용자는 한 줄의 답변을 받지만 그 사이 AI는 매우 많은 생각을 한다"며 "답변으로 나오지 않는 AI의 생각 영역에서 쓰이는 비용이 80% 이상"이라고 말했다. 그는 "AI의 진짜 비용은 답변을 내는 비용이 아니라 업무를 끝낼 때까지의 비용"이라며 "읽기에 해당하는 프리필과 쓰기에 해당하는 디코드를 얼마나 잘 제어하느냐가 최종 토큰 비용에 영향을 준다"고 덧붙였다.

모델 선택의 중요성도 강조했다. 이 담당은 "짧은 답변에 비싼 모델을 쓸 필요는 없고 복잡한 연산에만 최고급 모델을 쓰면 된다"며 "최고급 모델 없이 간단한 답변을 처리하는 방식으로 효율을 16배까지 개선한 논문들이 나오고 있다"고 말했다. 이어 "분야마다 성능이 오를 수 있는 한계가 있기 때문에 무조건 비싼 모델을 쓸 것이 아니라 각 영역에서 최적의 모델을 빨리 찾아 오케스트레이션하는 것이 비용을 바꾼다"며 "이 운영 노하우를 쌓아 의사결정 모델까지 연결하는 것이 중요하다"고 강조했다.

에이전트가 비싼 이유는 일하는 방식에 있다. 이 담당은 "구글 검색은 질문 한 번에 한 번 돌지만 에이전트는 사람과 같은 결과를 내기 위해 20개 단계를 거친다"며 "토큰을 쓴다는 것은 글자를 적는 원고지값에 AI가 생각하는 동안의 택시 미터기 요금까지 함께 내는 복합적인 구조"라고 비유했다.

그는 "서울로 가야 하는 에이전트가 대전과 부산 광주에서 헤매면 끝내 도착하지 못한다"며 "곧바로 서울에 갈 수 있도록 설계하는 것을 하네스라고 부르고 사람이 원하는 결과에 가장 가깝게 내놓는 구조에 대한 연구가 이어지고 있다"고 설명했다.

플랫폼과 인프라 설계도 비용을 가르는 요소다. 이 담당은 "에이전트들이 여러 서비스와 연결될 때 서비스마다 플랫폼을 따로 만들면 막대한 비용이 든다"며 "공통 서비스 플랫폼을 잘 만들어야 한다"고 말했다. 이어 "어떤 일은 스마트폰 같은 온디바이스 단말에서 처리하고 어떤 일은 데스크톱 같은 엣지 장비에서 처리하며 나머지는 GPU 클라우드에서 처리하도록 나누는 것이 중요한 기술 요소"라며 "AI 네이티브 네트워크까지 지연 없이 움직이게 하는 공통 플랫폼과 하이브리드 인프라가 전체 비용에 큰 영향을 준다"고 덧붙였다.

더 똑똑한 모델 경쟁에서 더 적은 토큰 경쟁으로

글로벌 빅테크들도 같은 고민을 하고 있다. 이 담당은 "추론 최적화를 개발자를 위한 방법론으로 여기기 쉽지만 기업이 적자를 피하고 서비스를 가장 효율적으로 내놓기 위한 기본 장치"라며 "이를 얼마나 잘하느냐에 따라 기업의 마진과 ROI가 바뀌기 때문에 생존을 위해서도 피할 수 없는 영역"이라고 강조했다. 그는 "빅테크들은 이를 알고 있기 때문에 작은 모델과 효율적인 추론 맞춤형 칩까지 업무 전 과정을 고민하며 다음 기술로 계속 나아가고 있다"고 말했다.

이 담당은 나아가 "지금까지는 GPT가 새 버전을 내면 클로드가 페이블을 내고 제미나이가 다음 모델을 내는 더 똑똑한 모델의 경쟁이었다"며 "이제는 같은 일을 얼마나 적은 토큰으로 제대로 해내느냐의 전쟁이 시작됐다"고 진단했다. 이어 "기본 비용을 줄이는 것도 중요하지만 사람이 하던 일을 온전히 덜어낼 수 있는 수준의 결과를 얼마나 빨리 내느냐의 싸움"이라고 덧붙였다. 오픈AI와 구글 등이 경량 모델과 추론 단가 인하 경쟁에 나서는 것도 이 흐름과 맞닿아 있다.

LG유플러스는 이를 위한 기술 체계도 공개했다. 이 담당은 "기업들이 서비스를 펼치는 영역을 플레이그라운드라고 부르며 LG유플러스도 B2C와 B2B 사내 AX까지 이 영역에서 다양한 활동을 하고 있다"며 "여기에 직접 연결되는 것이 에이전트 서비스와 하네스 엔지니어링 의사결정 모델 컨텍스트와 툴을 다루는 기술"이라고 설명했다.

그는 "AI 게이트웨이부터 모델 파운드리 컴퓨팅까지는 모델을 서빙하는 영역으로 가장 싸게 정리돼야 하는 기술"이라고 말했다.

각 계층의 역할도 소개했다. 이 담당은 "AI 게이트웨이는 싼 모델이 필요하면 싼 모델을 비싼 모델이 필요하면 비싼 모델을 연결하며 경험치를 쌓아 라우팅을 고도화하는 영역"이라며 "모델 파운드리는 추론값 자체를 낮추는 추론 최적화와 보이스나 금융 등 특정 분야에 최적화된 작은 모델을 만드는 기술로 나뉜다"고 설명했다. 이어 "큰 모델과 작은 모델을 섞어 쓸 수 있게 만들고 한 번 물어본 내용은 다시 토큰을 쓰지 않도록 캐싱하는 기술 등이 추론 최적화에 포함되며 관련 연구를 이어가고 있다"고 덧붙였다.

하드웨어 영역에서는 칩을 섞어 쓰는 전략을 내세웠다. 이 담당은 "엔비디아가 전 세계 점유율의 92% 정도를 차지하고 AMD가 7~8%를 갖고 있다"며 "LG유플러스는 여기에 퓨리오사AI 같은 NPU를 섞어 각 칩의 특성에 맞춰 쓰는 칩믹스 즉 컴퓨팅 오케스트레이션을 하고 있다"고 말했다. 그는 "이 계층 구조 전체를 제어할 때 토큰 최적화가 가능해진다"고 강조했다.

AI 투자 경쟁이 GPU 확보에 쏠린 가운데 통신사인 LG유플러스는 토큰 효율이라는 비용의 영역에서 해법을 찾고 있다. 네트워크와 인프라 운영에 강점을 가진 통신사가 모델 라우팅과 칩믹스 하이브리드 인프라를 아우르는 효율화 기술을 확보한다면 에이전트 시대의 AI 서비스 경쟁에서 수익성을 지킬 수 있다는 판단이다. NeurIPS 논문 발표로 연구 역량을 확인한 LG유플러스가 이 기술을 실제 서비스 비용 절감으로 얼마나 빠르게 연결하느냐가 향후 과제로 꼽힌다.