'디딤 AMP', 기업 맞춤형 AI 서비스 구축 전 과정 원스톱 지원

[솔루션 가이드] 디딤365, 엔드투엔드 AI 서비스 구축 MSP 서비스 '디딤 AMP'

최근 산업 전반에 걸쳐 디지털 전환이 기업이 처한 문제를 해결하고 생산성을 향상시키는 핵심요소가 되고 있다. 디지털 전환은 클라우드 전환을 바탕으로 하며 많은 기업들이 네이티브 및 MSA 도입과 자사 솔루션의 SaaS 전환 등에 있어서 빠른 움직임을 보이고 있다.

글로벌 시장조사기관 프레시던스 리서치(Precedence Research)에 따르면 디지털 전환 시장은 2030년에는 1조 6924억 달러(2221조 원)에 달할 것으로 예측했다. 이런 시장의 상황에 따라 이제 클라우드 전환은 기업의 기본적인 요소가 됐다. 그리고 클라우드 전환 뒤 지속적인 성능 및 비용을 최적화는 물론 AI와 빅데이터 등의 새로운 기술을 접목해 생산성 향상과 새로운 가치 창출에 중심을 두는 단계로 나아가고 있다

특히 챗GPT로 촉발된 LLM(Large Language Model) 기반 '생성AI'는 기존 AI 기술이 기업의 특정 문제를 해결하던 것과 달리 산업 전 분야에 비즈니스에 활용되며 확대되고 있다. 이제 AI 도입을 성공적으로 진행한 기업과 그렇지 않은 기업간 격차가 크게 벌어질 것으로 예상되며, 기업 비즈니스에서 AI 기술 기반의 디지털 전환은 선택이 아니라 필수다.

하지만 디지털 전환의 과정은 그리 쉽지 않아 많은 기업들이 MSP의 도움을 받고 있다. 이에 따라 새로운 기술이 접목되면서 MSP도 역량 강화가 필요해지고 있다. 고객들은 MSP에 단순한 클라우드 운영을 넘어 고객이 도입하려는 기술에 대한 컨설팅, 설계 및 개발까지 폭 넓은 기술지원 특히 빅데이터, AI 등 고객이 보유한 데이터 활용을 지원할 수 있는 데이터 전문기업으로의 역량을 요구하고 있다.

디딤 AMP, AI 서비스 구축 전 과정 원스톱 지원

기업이 AI 도입에 성공하려면 다양한 경험을 기반으로 고객 비즈니스를 충분히 이해해 문제를 정의하고, 데이터 구축·AI 모델 개발·인프라 설계·구축·운영 및 관제 전반이 가능한 AI MSP 파트너가 필요하다. 기업은 실력을 갖춘 파트너의 AI MSP를 활용해 각종 인프라 구축에 대한 부담에서 벗어나 본연의 비즈니스에만 집중할 수 있다.

디딤365는 오랜 기간 클라우드 매니지드 서비스를 제공하면서 쌓인 노하우와 AI 신기술 지원을 결합한 '디딤 AMP(Didim AI MSP Platform)'로 기업의 성공적인 AI 도입 지원에 적극 나서고 있다. 디딤 AMP는 AI 도입이 필요한 해당 비즈니스 도메인의 이해를 기반으로 문제 정의, 데이터 구축, 모델 배포, 모니터링, 운영 등 AI 서비스 구축 전 과정을 원스톱으로 지원하는 플랫폼이다.

① 디딤 AMP 제공 서비스

디딤 AMP는 아래와 같은 서비스를 제공하고 있다.

디딤 AMP 제공 서비스

LLM 기반 고객 비즈니스 컨설팅을 통해 업무 효율화, 사용자 경험 혁신, 신규 비즈니스에 필요한 LLM 적용 방안 수립을 돕는다. LLM 적용에 따른 기대효과 도출과 개인정보보호법, 중요정보 유출 방지 등 책임있는 AI 진단을 지원한다.

프롬프트 최적화 서비스는 기업 업무와 Task 최적화된 프롬프트 엔지니어링, 최적 결과 도출을 위한 프롬프트 튜닝, 입출력 토큰 제약을 고려한 프롬프트 최적화를 지원한다.

기업 내 지식 데이터베이스 구축 서비스는 기업이 보유한 다양한 문서 기반 지식 구성과 문서 로딩(Loading), 세그멘테이션(Segmentation), 임베딩 파이프라인(Embedding Pipeline) 구축, 애플리케이션 통합, 기업의 서비스 애플리케이션과 LLM 통합, MSA 기반으로 확장성을 고려한 아키텍처를 제시한다.

지속적 모니터링 및 운영 서비스는 LLM 서비스를 위해 필요한 모니터링 및 운영 지원, 지속적인 서비스 유지 보수를 위한 CI/CD 파이프라인 관리, 비용 모니터링 및 분석을 통한 최적화 방안을 제시한다.

② MLOps/LLMOps 구성을 위한 주요 기술 스택

디딤 AMP에서 MLOps/LLMOps 구성을 위해 제공하는 주요 기술 스택은 아래와 같다.

디딤 AMP의 MLOps/LLMOps 구성을 위한 주요 기술 스택〉

데이터옵스 매니지먼트(DataOps Management)는 기업이 보유한 데이터를 LM/LLM 모델 학습에 사용할 수 있도록 수집/가공/저장 전 과정의 파이프라인을 구성한다. LLM 학습을 위한 다양한 포맷의 문서에 대한 전처리 프로세스를 지원하며, 빅데이터 구축이 필요한 경우 데이터레이크 구축을 지원한다.

MLOps/LLMOps 매니지먼트는 LLM 모델에 대한 파인 튜닝(Fine tuning)과 프롬프트 최적화를 지원한다. 신뢰성 있는 답변 제공을 위한 RAG(Retrieval Augmented Generation) 구성을 위한 문서 embedding 및 vector DB 구축, 분석형 AI 모델에 대한 ML 프로세스와 모델 관리, LLM 기반 챗봇 서비스를 손쉽게 구축할 수 있도록 지원한다.

데브옵스 매니지먼트(DevOps Management)는 LM/LLM이 운영되는 클라우드 시스템에 대한 정보의 수집 및 모니터링, LM/LLM 서비스에 대한 정보의 수집 및 모니터링, 수집된 정보에 대한 대시보드, LM/LLM 모델 및 AI 서비스에 대한 CI(Continuous Integration)/CD(Continuous Deployment) 환경을 제공한다.

LLM 워크플로우 매니지먼트(LLM Workflow Management)는 LLM 서비스에 입력된 고객의 의도를 파악해 RAG 적용 및 API 연계 등 적절한 서비스 플로우 운영이 가능하도록 운영한다.

LLM 서비스는 LLM 기반 어시스턴트 및 챗봇 서비스를 기본으로 제공해 기업이 빠르게 LLM을 도입하도록 돕는다.

디딤 AMP와 MSP 서비스의 시너지, 공공 및 다수 기업에 인기

기업이 디딤 AMP 솔루션 및 MSP 서비스 도입을 통해 얻을 수 있는 시너지 효과는 다양하다. 우선 기업이 보유한 다양한 형태의 데이터를 LLM 적용에 맞도록 빠르고 쉽게 구축할 수 있으며, MLOps 플랫폼은 물론 PoC가 가능한 기본 챗봇 서비스를 제공해 기업이 서비스에 대한 빠른 검증과 의사 결정이 가능하다.

그리고 AI 서비스 구축을 위한 기본 플랫폼과 쉬운 관리 기능을 제공하므로 기업의 AI 인력 부족에 따른 어려움도 해소될 수 있고 유연하고 안정적인 인프라 구성을 통해 비즈니스 수요 및 목표를 지원할 수 있다.

또한 서비스 운영 시 발생하는 정보에 대한 통합 관리와 모미터링을 통해 지속적인 서비스 품질 개선과 비용 최적화가 가능하다.

디딤365는 공공기관 및 다수의 기업 대상의 SaaS 및 MSA 관련 다양한 경험과 노하우로 다져진 기술력으로 AI 도입을 고려하는 기업과 조직에 MSA 기반 서비스 개발 시 전문 컨설팅 및 안정적인 기술 지원을 하고 있다. 특히 NIPA의 고성능 컴퓨팅 지원 사업, 디지털플랫폼정부 사업, NIA의 지능정보산업 인프라 조성 사업 등 대형 정부 사업을 수행하면서 AI 분야 클라우드 컴퓨팅 서비스에 대한 노하우를 충분히 검증받았다.

최근에는 하이퍼클로버X MSP 파트너로도 참여해 파인 튜닝과 RAG(Retrieval-Augmented Generation)를 적용한 Chatbot 서비스를 내부 CMP(Cloud Management Platform)에 적용해 운영 효율 개선을 진행 중이며 주요 공공기관의 검색어 기반으로 운영 되던 지식 정보 대민 서비스를 LLM을 적용해 자연어 기반으로 서비스를 고도화하는 PoC를 진행 중이다.

또한 최근 교육 부문에서 AI 디지털교과서가 2025년부터 도입됨에 따라 디지털교과서 구축에 클라우드 전환 및 AI 도입이 필요한 다수의 출판사와 CSAP 인증 컨설팅을 진행중이며, 주요 생성AI 기반으로 교육분야에서의 AI MSP 고객을 빠르게 확보할 예정이다.

SaaS 모델로 보다 쉬운 LLM과 챗봇 서비스 구현 지원

디딤 AMP 솔루션은 향후 SaaS 모델로 전환해 고객이 손쉽게 보유한 데이터를 기반으로 기업 맞춤형 LLM 모델 및 챗봇 서비스를 손쉽게 구축할 수 있도록 지원할 예정이다. 초기 솔루션 도입에 부담을 갖을 수 있는 중소기업의 경우 부담 없이 자체 LLM 구성이 가능하다.

또한 분석형 AI 도입이 필요한 기업에는 대용량 데이터의 수집, 변환, 적재를 위한 솔루션을 제공하고, 모델 학습 및 배포를 쉽게 할 수 있는 MLOps 인프라를 제공해 빠른 AI 전환을 지원할 예정이다. 클라우드 AI 서비스 모니터링 클라우드 인프라 모니터링 통합해 효율적인 모니터링 및 운영이 가능하도록 솔루션도 고도화 할 계획이다.

유은정 기자 judy6956@etnews.com