"GPU 사용부터 LLM 모니터링까지 … AI시대 '옵저버빌리티' 꼭 필요하죠"

김성조 와탭랩스 CTO 인터뷰
IT 시스템 모니터링 플랫폼 기업
오류에 구동률·토큰 사용까지 관리
머지않아 AI가 직접 장애 해결할것

"과거에 웹 시스템이 있었다면 그 위에 클라우드가 추가되고, 이제는 인공지능(AI)까지 얹혀지면서 기업이 관리해야 할 IT 시스템은 계속 늘어나고 있습니다."

클라우드 전환에 이어 AI 열풍까지 불어닥치면서, 기업들이 관리해야 하는 정보기술(IT) 인프라의 복잡성은 날이 갈수록 심화하고 있다. 단순히 장애 없이 인프라가 잘 운영되고 있는지 모니터링하는 것을 넘어, 이제는 GPU 자원을 얼마나 효율적으로 사용하고 있는지, AI 서비스에서 어느 정도의 토큰 비용이 발생하는지 등을 관리하고 대응하는 것이 선택이 아닌 필수가 됐기 때문이다.

IT 인프라 모니터링 기술을 개발하는 와탭랩스의 김성조 최고기술책임자(CTO)는 매일경제와 만나 "기존에는 IT 시스템을 숫자로 변환해 지표로 볼 수 있게 하는 모니터링이 중요했다"며 "이젠 단순 모니터링을 넘어 '옵저버빌리티(observability)'의 시대"라고 말했다.

2015년 설립된 와탭랩스는 서버 환경부터 애플리케이션, 데이터베이스 등 IT 서비스의 기본 인프라가 되는 시스템을 모니터링하는 플랫폼을 개발한다. AI의 핵심 인프라로 꼽히는 그래픽처리장치(GPU) 사용을 실시간으로 파악하고 관리하는 기술도 와탭랩스의 주 서비스다. 국내 기업들도 잇달아 GPU 자원 확보에 뛰어들면서, 확보한 GPU를 얼마나 잘 사용하는지가 기업들의 관심사이기 때문이다.

김 CTO는 "기존의 시스템 모니터링은 인프라에 뭐가 부족한지 포착하거나 장애를 감지하기 위한 행위였다면, GPU 측면에서는 가동률이 얼마나 되는지, 할당받은 부서별로 어떻게 활용하고 있는지 등까지 파악하는 것이 중요해졌다"고 설명했다.

모니터링에서 옵저버빌리티로의 전환을 이야기한 것도 같은 맥락이다. 시스템의 이상만 감지하는 것이 아닌 IT 인프라의 모든 요소를 가시화해 볼 수 있게 한다는 의미다.

이처럼 AI 인프라의 옵저버빌리티에 대한 수요가 급증하면서 와탭랩스는 지난해 'AI 네이티브 옵저버빌리티'를 선언하며 관련 기능 고도화에 집중하고 있다.

와탭랩스가 최근 출시한 '거대언어모델(LLM) 옵저버빌리티' 기능이 대표적이다. GPU 인프라를 넘어 기업들이 그 GPU 위에서 구동하는 LLM의 성능 지표까지 GPU와 연계해 모니터링하는 것이 핵심이다.

김 CTO는 "LLM 서비스가 잘 돌아가는지를 보려면 시스템 모니터링만으로도 가능하다"면서 "와탭랩스는 LLM의 토큰 사용량이 어떻게 되는지, 시스템상으로는 잘 동작하지만 답변 품질이 떨어지지는 않는지 등까지 볼 수 있게 한다"고 말했다.

나아가 김 CTO가 준비하는 영역은 AI와 인프라 운영을 결합하는 AI옵스(AIOps)다. 단순하게는 AI 인프라를 모니터링하고 관리하는 과정에도 AI 기술을 적용하는 것을 말한다.

기존에는 IT 시스템의 가동을 모니터링만 했다면, 이제는 AI가 모니터링 과정에서 포착되는 장애를 스스로 해결하는 단계로 나아가고 있다는 설명이다. 김 CTO는 "인간의 역할을 보조할 수 있는 어시스턴트 기능들을 다음달부터 본격적으로 추가할 예정"이라고 말했다.

이어 김 CTO는 "GPU를 확보하고 서비스를 구동하는 것을 넘어, 이제는 각자의 전문 영역에서 AI를 어떻게 풀어나갈 것인지가 중요해지고 있다"며 "와탭랩스는 AI가 운영 환경에서 운영자 대신 조치하는 시대를 준비해 나갈 것"이라고 밝혔다.

[정호준 기자]