기업 생성형AI 설계부터 운영까지…메가존클라우드, `젠AI360` 서비스 출시

메가존클라우드가 생성형AI 기반으로 구축한 HR 챗봇 서비스 화면. 메가존클라우드 제공

'젠AI360' 서비스 소개. 메가존클라우드 제공

메가존클라우드는 생성형 AI(인공지능)를 도입하고자 하는 기업들을 위해 설계부터 구축, 운영까지 지원하는 기업 맞춤형 생성형 AI 엔드-투-엔드 서비스 '젠(Gen)AI360' 오퍼링을 출시했다고 19일 밝혔다.

'젠AI360'은 ▲기업의 생성형AI 활용 전략 수립 및 파일럿 과제 수행 등 컨설팅 ▲기업별 환경을 고려한 최적 플랫폼 선정과 데이터 학습·검증 ▲기업 내 활용 대상 서비스 개발 및 가이드 제공 ▲생성형AI 운영 전략 수립 및 서비스 운영 등으로 구성된다.

메가존클라우드는 지난 7월부터 9주간 사내 HR 헬프데스크에 접수된 질의응답을 한국어 특화 LLM(대규모언어모델)에 학습시키고, 관련 문서와 사내 가이드는 RAG(검색증강생성)를 적용해 신뢰할 수 있는 답변을 생성토록 하는 프로젝트를 수행했다. 그 결과, 첫 질문에 대한 답변 정확도는 평균 75% 이상으로 확인됐고, 이후 질문 수정 및 추가 질문을 통해 90% 이상으로 향상된 것으로 평가됐다. 질의응답 관련 단순·저효율 업무가 실제 감소되는 성과를 확인했다.

메가존클라우드는 이번 성과를 토대로 RLHF(인간피드백 기반 강화학습)을 통해 답변 품질을 향상시키는 고도화 작업을 진행 중이다. 이 파일럿 프로젝트는 '아마존 세이지메이커'와 '아마존 켄드라' 등 데이터 분석 및 AI·ML(머신러닝)을 위한 다양한 AWS(아마존웹서비스) 서비스를 근간으로 한 클라우드 기반 아키텍처로 구성됐다. 비용효율적인 아키텍처 구성 및 답변 품질을 향상시킬 수 있는 학습방법 등을 위해 AWS와 생성형AI 분야 기술협력을 강화했다.

메가존클라우드는 이 과정을 통해 기업들이 생성형AI 도입시 고려해야 할 사항과 구축 과정에서 마주할 수 있는 문제점들에 대한 해결방안 등 고객 서비스에 활용할 수 있는 실질적 노하우를 축적했다고 설명했다. 비용 최적화, 기업 고유한 데이터 적용 및 기준 시간, 유의어 사전 등을 포함한 프롬프트 엔지니어링, 할루시네이션(환각) 현상과 리소스 비용 최적화 및 구현 방법 등을 대표적 사례로 꼽았다.

공성배 메가존클라우드 AI&데이터분석센터장은 "LLM에 대한 뜨거운 관심에 비해 비즈니스 가치가 검증된 사례는 많지 않은 게 사실"이라며 "메가존클라우드의 경험과 기술력을 AWS 서비스에 결합해 LLM의 한계를 극복하고 비즈니스적 가치를 고객들에게 명확하게 제공할 것"이라고 말했다.팽동현기자 dhp@dt.co.kr