기업용 AI 승부처는 거버넌스…"성능보다 운영이 핵심"

생성형 AI·AI 에이전트 확산에 기업 운영 방식도 변화
데이터·권한·보안 통합 관리하는 AI 거버넌스 급부상
MS·구글·오픈AI, 기업용 AI에 통제 기능 강화
국내 클라우드 기업도 통합 관리 플랫폼 서비스 확대

생성형 인공지능(AI)과 AI 에이전트가 기업 업무 전반으로 확산되면서 'AI 거버넌스'가 기업 경영의 핵심 과제로 떠올랐다.

단순히 첨단 AI를 개발하는 것을 넘어 데이터 활용 범위와 권한, 운영 절차를 관리하는 것이 기업의 AX(인공지능 전환) 성패를 가르는 요인으로 부상한 것이다.

26일 정보통신(IT) 업계에 따르면, 기업용 AI 에이전트 시장의 경쟁 축이 AI 성능에서 거버넌스로 옮겨가고 있다.

기업용 AI 서비스 시장은 사실상 거대언어모델(LLM)을 보유한 몇몇 글로벌 빅테크가 주도하고 있다. 전통적인 기업용 소프트웨어 강자인 마이크로소프트(MS)와 구글, 오픈AI 등이 대표적이다.

MS는 지난 4월 AI 에이전트의 권한과 정책(Policy), 신원(Identity), 실행 환경(Runtime) 보안을 통합 관리하는 '에이전트 거버넌스 툴킷(Agent Governance Toolkit)'을 공개했다.

구글은 올해 1월 '클라우드 넥스트 2026(Cloud Next 2026)'에서 기업용 AI 플랫폼을 대폭 확대한다고 밝히며, 에이전트 신원(Agent Identity), 에이전트 등록소(Agent Registry), 에이전트 게이트웨이(Agent Gateway) 등 에이전트 거버넌스 기능을 추가했다.

오픈 AI는 지난 2023년 일찌감치 AI 협업 도구인 '챗GPT 엔터프라이즈'를 출시한 후 보안과 사용자 접근성 강화, 데이터 보호 기능을 업그레이드해 왔다.

오픈 AI는 이달 공개한 '지식근로의 다음 시대(The Next Era of Knowledge Work)' 리포트를 통해 기업들이 문서, 이메일, 회의록, 코드, 대시보드 등 수많은 도구로 분산된 업무 환경에 처해 있다고 진단하기도 했다.

사무실이 디지털화됐지만 통합되지 못하는 한계에 직면했다는 것.

리포트는 "대규모 조직에서는 개인용 AI와 기업용 AI의 기준이 다르다"며 "개인용 AI가 빠른 답변과 편리한 사용 경험에 초점을 둔다면, 기업용 AI는 조직의 데이터, 권한, 보안 기준, 업무 절차 안에서 안전하게 운영될 수 있어야 한다"고 강조했다.

AI가 각종 업무의 보조 도구로 활용되고 있지만 개인별, 부서별 사용 행태로 인해 보안에 취약하고 투자 효과를 극대화하기도 어렵다는 지적도 나온다.

한국인공지능법학회장을 맡고 있는 최경진 가천대 법학과 교수는 "AI가 할루시네션(환각)을 만든다거나 서비스를 저하시키는 공격을 받는 다거나 하는 일이 발생할 수 있다"며 "이 모든 것에 대응하려면 결국 거버넌스가 제대로 구축돼 있어야 한다"고 말했다.

이어 "파편화 된 방식으론 대응할 수 없다. 정보 보안과 신뢰성 측면에서 AI 거버넌스는 점점 더 중요해 질 것"이라고 부연했다.

국내 클라우드 기업들은 이러한 흐름에 편승해, AI를 통합 관리하는 서비스를 강화하고 있다.

예컨대, 메가존클라우드의 계열사 메가존소프트는 지난 24일 구글 클라우드와 함께 '구글 워크스페이스 위드 제미나이(Google Workspace with Gemini)' 기반 에이전틱 WX 리더십 세미나를 열고 '에이전틱(Agentic) WX'를 소개했다.

구글 클라우드의 AWT(Agentic Workforce Transformation)는 AI 에이전트를 기업 업무 프로세스에 통합해 조직 전반으로 확산하는 AI 전환 전략이다.

메가존소프트는 기업의 AI 전환을 위해서는 조직 전반의 업무 방식 변화까지 수반돼야 한다는 관점에서 '에이전틱 WX' 오퍼링을 개발했다.

메가존소프트는 업무 연결성과 실행 위임, 책임 통제 등을 AI 도입의 핵심 요소로 제시하며 단순히 AI 솔루션을 선택하는 데 그칠 것이 아니라 AI를 어떤 업무 흐름에 연결하고 어디까지 실행하도록 할 것인지, 또 이를 어떻게 책임 있게 운영할 것인지를 함께 설계해야 한다고 강조했다.

메타넷글로벌은 지난해 12월 AI 기반 운영 플랫폼 'MetaAIOps'을 출시했다. MetaAIOps는 AI 기반 자동화와 IT 서비스 관리(ITSM)를 결합해 IT 운영을 인력 중심에서 AI 중심의 실행 체계로 전환하는 플랫폼이다.

반복적이고 정형화된 업무는 AI 에이전트가 처리하고, 자동화가 가능한 업무와 사람이 개입해야 하는 업무를 명확히 구분하는 운영 구조를 구현한 것이 특징이다.

메타넷글로벌 관계자는 "업무량 최적화 노하우를 바탕으로 에이전틱 AI 기술을 적용해 AI옵스 플랫폼을 단계적으로 고도화하고 있다"며 "AI 시대의 경쟁력은 AI를 얼마나 많이 도입했느냐가 아니라 AI를 얼마나 안전하고 효율적으로 운영하느냐에 달려 있다고 본다"고 말했다.

윤석진 머니투데이방송 MTN 기자