[현장] AI는 왜 돈이 안 될까… CJ올리브네트웍스·AWS가 짚은 ‘인프라의 문제’
클라우드 이후 AX 시대… 기업 고민은 ‘도입’에서 ‘운영’으로 이동
GPU·토큰·레거시까지… 복잡해진 비용 구조가 AI 확산의 최대 변수
AWS “인프라와 비즈니스 붙어야 한다”… 커머스·공급망에서 답 나와
생성형 AI가 기업의 실험 단계를 넘어 실제 비즈니스 성과로 이어지고 있는지에 대한 질문은 더 이상 추상적 화두가 아니다. 이제는 인프라 설계, 비용 최적화(FinOps: 클라우드 비용 관리), 보안(Security)이라는 현실적 장벽을 어떻게 넘느냐에 따라 AI 도입의 성패가 갈리는 국면에 들어섰다.
이러한 흐름 속에서 CJ올리브네트웍스가 지난 24일 개최한 ‘AX INFRA & OPS 2026’은 단순한 기술 트렌드 공유를 넘어, AI 전환(AX)을 실제 성과로 연결하기 위한 실행 전략을 집중 조명한 자리로 꾸려졌다.
서울 CJ인재원 그랜드홀에서 열린 이번 행사는 ‘Architecting Intelligence: The Core of AI Business(지능을 설계하다: AI 비즈니스의 핵심)’를 공식 테마로 내세워 글로벌 테크 기업과 국내 현업 전문가들이 한자리에 모였다. 이들은 AI 인프라의 현재를 짚고, 실제 운영 전략을 놓고 해법을 공유했다.
AWS(아마존웹서비스)와 Datadog, Kong, Dnotitia, Rimini Street 등 주요 파트너들이 참여한 가운데, 커머스·공급망 혁신부터 FinOps·AIOps(AIOps: 인공지능 기반 IT 운영 자동화) 기반 비용·성능 최적화, 엔터프라이즈급 RAG(Retrieval-Augmented Generation: 검색 결합 생성형 AI)와 API 보안 전략까지 AX 전환의 핵심 요소들이 촘촘하게 다뤄졌다. 특히 이번 행사는 ‘Agentic Workflow(에이전트 기반 업무 흐름)’로 대표되는 차세대 AI 운영 패러다임을 중심에 두고, 단순 자동화를 넘어 스스로 판단하고 실행하는 에이전트 기반 시스템을 어떻게 기업 환경에 적용할 것인지에 초점을 맞췄다. 테크42는 이날 행사에서 첫 파트를 담당한 김기수 CJ올리브네트웍스 팀장과 우승도 AWS 사업개발 담당의 발표에 주목했다.
김기수 CJ올리브네트웍스 클라우드사업 팀장은 이날 ‘2026 CJ올리브네트웍스 클라우드 사업 전략’을 주제로 발표에 나섰다. 김 팀장은 미래 전망에 앞서 국내 클라우드 시장이 지난 10여 년 동안 어떤 경로를 거쳐 지금의 단계에 도달했는지를 짚었다. 클라우드의 도입 과정과 변곡점을 이해해야 현재 기업들이 마주한 AI 인프라와 운영 문제를 정확히 해석할 수 있다는 판단에서다.
김 팀장이 되짚은 한국 클라우드 시장의 초기는 규제와 보안의 시간이었다. 개인정보 유출 사고 이후 강화된 규제 환경 속에서 기업들은 클라우드의 편의성보다 규정 충족 여부를 먼저 따졌다. 망분리, 데이터베이스(DB) 암호화, 접근 통제, 로그 관리 등 까다로운 요구 조건을 실제 시스템으로 구현하는 과정에서 MSP(클라우드 운영·관리 서비스 사업자)가 중요한 역할을 맡았다. 이후 금융권을 포함한 주요 산업에서 제도와 약관이 정비되며 클라우드 이용이 본격화됐고, 스타트업 중심으로 축적된 경험이 대기업 전환으로 이어졌다.
“과거의 혁신은 사실 인프라 단에서 많이 이루어졌다면 앞으로의 혁신은 좀 더 밑단 서비스 레벨에서 어떻게 AI를 접목시키고, 이 AI를 가지고 비즈니스를 혁신하느냐에 성패가 달려 있다고 생각합니다. DX로 전환할 때 한 번의 비용 상승이 있었고 AX로 전환하게 되면 또 한 번의 비용 점프가 발생합니다. 그러면 이렇게 복잡해진 운영 환경 속에서 GPU, 토큰 비용, 레거시 인프라까지 동시에 관리해야 하는 상황이죠. 문제는 이 모든 비용이 한눈에 보이지 않는다는 점인데, 이 고민을 굉장히 많이 하게 될 것입니다.”
김 팀장의 말 속에는 클라우드 사업 전략의 방향이 은연 중 드러났다. 이제 경쟁력은 클라우드 도입 여부가 아니라, AI 전환 이후 급격히 복잡해진 환경을 얼마나 효율적으로 통합 운영하고 비용을 통제할 수 있는지에 달려 있다는 의미다.
특히 김 팀장은 비용 가시성을 강조했다. AI 환경에서는 GPU 사용량, 토큰 비용, 기존 인프라 비용이 동시에 발생하며, 이 구조를 한눈에 파악하지 못하면 기업은 의사결정 자체가 어려워진다는 것이다. 이에 CJ올리브네트웍스는 이기종 환경을 통합 운영할 수 있는 체계를 구축하고, 고객이 AI 전환 과정에서 비용을 확인하고 절감할 수 있도록 지원하는 방향으로 사업을 고도화하고 있다는 것이 김 팀장의 설명이다.
“저희는 인프라 운영 등을 최대한 표준화시켜서, 이기종의 다른 환경들이더라도 통합 운영할 수 있는 환경들을 빠르게 제공해 드리고 비용 가시성들을 최대한 높이려 합니다. 고객분들이 AI 시대로 전환됐을 때 충분히 비용에 대한 확인도 가능하고 절감도 가능한 부분들을 확인하면서 넘어가실 수 있도록 준비하고 있습니다. 결국 중요한 것은 비용을 절감하고 안정적으로 운영하는 것이니까요.”
김기수 팀장의 발표는 클라우드 다음의 방향성이 담겨 있었다. 지난 클라우드 10년이 ‘전환’의 시대였다면, 이제는 AI를 얹은 이후 발생하는 복잡성과 비용을 어떻게 통제하느냐가 기업 경쟁력을 좌우하는 단계로 들어섰다는 것이다.
두 번째 발표에 나선 우승도 AWS 사업개발담당은 논의를 한 단계 더 확장했다. 우 담당은 AWS에서 산업별 고객 사례를 기술적·사업적으로 분석하고, 이를 한국 기업 환경에 맞게 적용하는 역할을 맡고 있다. 우 담당의 발표는 기술 자체보다 ‘AI가 실제 비즈니스에서 어떤 결과를 만들어내고 있는가’에 초점이 맞춰졌다.
먼저 우 담당은 AI 프로젝트가 파일럿 단계에서 멈추는 이유를 현실적으로 짚었다. PoC(개념검증) 단계에서는 성과가 나오지만, 실제 운영 단계로 넘어가면 비용 증가, 응답 지연(latency), 정확도 문제(환각/hallucination)라는 세 가지 문제가 동시에 발생한다는 것이다.
그러면서 우 담당은 대표 사례로 아마존의 커머스 혁신을 제시했다. 커머스 분야에서 소비자는 더 이상 단순 검색을 하지 않는다는 것이다. 대신 ‘비슷한 디자인’ ‘더 저렴한 제품’ ‘이 상황에 필요한 상품’처럼 질문 기반의 쇼핑이 증가하고 있다는 것이 그의 설명이다. 우 담당은 “이를 대응하기 위해 아마존은 대화형 쇼핑 시스템을 구축했으며, 이 과정에서 핵심은 AI 모델이 아니라 이를 뒷받침하는 인프라 구조였다”며 말을 이어갔다.
우 담당은 이 원리가 공급망에도 동일하게 적용된다고 설명했다. 수요 예측, 재고 관리, 발주 결정까지 이어지는 공급망 시스템이 에이전트 기반으로 재구성되고 있으며, 일부 기업에서는 이미 AI가 의사결정을 보조하거나 대체하는 단계로 진입하고 있다는 것이다. 즉 우 담당의 이날 이야기를 종합해 보면 AI 경쟁의 핵심은 모델 성능이 아니라, 이를 실제 비즈니스에 연결하는 구조에 있다고 할 수 있다.
이날 행사에서 드러난 공통된 결론도 그와 다르지 않다. 클라우드는 이미 기본 조건이 됐다. 이제 기업이 직면한 문제는 AI를 어떻게 도입할지가 아니라, 어떻게 운영하고 어떤 비용 구조로 비즈니스 성과로 연결할 것인가다. CJ올리브네트웍스가 제시한 통합 운영과 비용 가시성, AWS가 보여준 커머스·공급망 혁신 사례는 모두 같은 방향을 가리킨다. 클라우드가 지난 10년 동안 한국 기업 비즈니스의 기반을 바꿨다면 이제는 그 위에서 AX 경쟁이 본격화되고 있다는 사실이다.
저작권자 © Tech42 - Tech Journalism by AI 테크42 무단전재 및 재배포 금지