"AI 도입 장벽↓"…kt클라우드, RAG 탑재한 'AI 파운더리' 가동

RAG 스위트·벡터 DB·LLM 플레이그라운드 구성…"정확도·신뢰도 향상"

(지디넷코리아=김미정 기자)"기업용 생성형 인공지능(AI) 핵심은 정확도와 신뢰도입니다. 검색 증강 생성(RAG) 서비스까지 갖춘 'AI 파운더리'는 이를 충족해 주는 현실적 수단이 될 것입니다."

kt클라우드 감철웅 상무는 24일 kt클라우드 웨비나에서 AI 파운더리 기반 RAG 서비스 출시 예고를 알리며 이같이 밝혔다. 

AI 파운더리는 기업이 생성형 AI를 빠르게 도입하고 운영할 수 있도록 지원하는 kt클라우드의 개방형 통합 플랫폼이다. 모델 개발부터 파인튜닝, 배포, RAG 적용까지 전 과정을 클릭 몇 번으로 구성할 수 있는 엔드-투-엔드 환경을 제공하는 것이 목표다. 

kt클라우드 감철웅 상무. (사진=kt클라우드 웨비나 캡처)

kt클라우드는 내달부터 웹 기반 RAG 파이프라인을 AI 파운더리에 추가할 방침이다. 파일럿 테스트를 한 달 동안 진행한 후 정식 배포한다. 

RAG 파이프라인은 별도 시스템 구축 없이 벡터 데이터베이스(DB)와 거대언어모델(LLM)을 결합한 고정밀 응답 구현을 돕는다. 중앙처리장치(GPU) 점유 없이 사용량 기반 과금이 가능한 서버리스 구조로 설계돼 중소기업과 스타트업도 쉽게 도입할 수 있다.

RAG 서비스는 'RAG 스위트'와 'LLM 플레이그라운드' '벡터 DB'로 구성됐다. 이 구성 요소는 파트너사 기술과 kt클라우드 인프라가 통합돼 작동한다. 공동 개발사인 업스에이지의 광학문자인식(OCR)과 LLM, 디노티시아의 벡터 DB, 폴라리스오피스의 파싱 기술이 RAG 서비스에 통합됐다.

AI 파운더리 기반 RAG 솔루션 특장점. (사진=kt클라우드 웨비나 캡처)

이 외에도 문서 자동 분해 기능, 고품질 표현 임베딩, 한국어 특화 생성 모델 등이 서비스에 포함됐다. 고속 검색 성능과 규제 준수를 지원하는 보안 설계도 들어갔다. 

감 상무는 "기업이 사내 지식 검색부터 고객 응대, 산업별 분석, 문서 생성 등 다양한 업무에 생성형 AI을 직접 활용할 수 있도록 지원할 계획"이라며 "실제 운영 환경에서 정확도와 신뢰도를 확보하는 것이 핵심"이라고 강조했다.

이어 "생성형 AI의 가능성은 넓지만 실제 기업이 도입해 활용하려면 많은 기술 장벽이 있다"며 "RAG 서비스까지 갖춘 AI 파운더리는 이 간극을 메워주는 현실적 플랫폼이 될 것"이라고 밝혔다.

김미정 기자(notyetkim@zdnet.co.kr)