IBM, 생성형AI 접목한 데이터레이크하우스 `왓슨x데이터` 선봬

이지은 한국IBM CTO가 왓슨x 플랫폼을 소개하고 있다. IBM 제공

IBM은 생성형 AI(인공지능) 기술을 접목한 새로운 데이터레이크하우스 솔루션 'IBM 왓슨x.데이터(watsonx.data)'를 오는 7월 한국을 포함한 전세계 출시한다고 13일 밝혔다.

IDC 조사에 따르면 향후 5년간 기업이 보유한 데이터 양은 250% 이상 증가할 것으로 예상된다. 이 데이터들이 온프레미스부터 프라이빗·퍼블릭 클라우드와 엣지 등 다양한 환경에 분산돼있어 공유나 활용이 쉽지 않고, 데이터 형식도 문서·이미지·동영상 등 다양해지고 있다. 데이터 품질이 오래되고 일관성이 없는 경우도 많아 데이터 활용 과정에서 80%의 시간이 정리·통합·준비에 쓰인다.

이런 상황에서 기존 데이터 접근 방식은 오히려 복잡성을 가중시키고 불필요한 비용을 야기하며 AI의 잠재력을 최대한 이끌어내기 어렵게 한다. 때문에 기업이 AI를 잘 활용할 수 있도록 지원하기 위해 '왓슨x.데이터'를 선보인다는 게 IBM의 설명이다. DW(데이터웨어하우스)의 고성능 처리와 데이터레이크의 유연성을 함께 제공하며, 정형·비정형 데이터를 자유롭게 저장·활용할 수 있게 했다. 보다 저렴한 개방형 스토리지를 지원하면서도 높은 성능을 제공한다.

'왓슨x.데이터'는 △온프레미스와 멀티클라우드 등 데이터가 저장된 위치에 상관없이 단일 접속 지점으로부터 모든 데이터에 접근 가능 △중앙집중식 거버넌스와 보안 및 자동화 기술을 내장해 데이터를 보호하고 규정 준수 여부를 관리하며 신뢰성 유지 지원 △멀티 쿼리 엔진과 스토리지 계층 기술로 AI 및 분석 작업을 최적화하고 데이터 용도에 따라 컴퓨팅 및 저장공간을 확장 또는 축소함으로써 기존 DW 비용의 50%까지 절감 지원 등을 특징으로 내세웠다.

셀프 서비스를 위해 '왓슨x.데이터'는 다른 '왓슨x' 플랫폼 솔루션과 마찬가지로 기반(파운데이션)모델과 생성형AI를 활용한다. 사용자가 자연어 문장과 질문을 사용해 필요한 데이터를 활용할 수 있도록 돕는 '시맨틱 오토메이션' 기능이 대표적이다. "이 테이블에 거주지 데이터를 추가해줘"라고 말하면 시맨틱 오토메이션의 AI가 후보 테이블을 찾고, 실제로 조건을 충족시키는 테이블 간의 조인 키도 찾아내는 식이다. 이 기능은 내년 초 정식 공개 예정이다.

IBM은 자사 AI플랫폼 '왓슨x'에 있어 신뢰성을 강조한다. 기업이 고객과 상호작용할 때 할루시네이션(환각·거짓)이나 부적절한 언어를 사용하지 않을 것이라는 확신을 가질 수 있어야 한다는 것이다. 진화하는 법률 및 규제 환경에 민첩하게 적응할 수 있는 적절한 수준의 엄격성, 프로세스, 기술 및 도구를 구축하는 방향으로 접근한다.

이에 IBM 왓슨x 플랫폼은 △내달 정식 출시 예정으로 머신러닝 기반 AI 구축·실행·배포를 지원하는 차세대 기업용 AI 스튜디오 'IBM 왓슨x.ai' △데이터 및 AI 워크로드에 최적화된 데이터 저장소 'IBM 왓슨x.데이터' △자동화된 데이터 및 모델 수명 주기 솔루션으로 AI 도구 및 AI 사용에 필요한 보조장치 구축을 지원하는 'IBM 왓슨x.거버넌스'로 구성된다.

이지은 한국IBM CTO(최고기술책임자) 전무는 "신뢰할 수 있는 데이터를 위해 노력했다"며 "할루시네이션을 최소화하고 안전하게 쓸 수 있도록 장치를 마련, 기업이 업무에 제대로 활용할 수 있는 AI 솔루션을 제공하겠다"고 말했다.팽동현기자 dhp@dt.co.kr