IBM, 생성형AI 접목한 데이터레이크하우스 `왓슨x데이터` 선봬

IBM은 생성형 AI(인공지능) 기술을 접목한 새로운 데이터레이크하우스 솔루션 'IBM 왓슨x.데이터(watsonx.data)'를 오는 7월 한국을 포함한 전세계 출시한다고 13일 밝혔다.

IDC 조사에 따르면 향후 5년간 기업이 보유한 데이터 양은 250% 이상 증가할 것으로 예상된다. 이 데이터들이 온프레미스부터 프라이빗·퍼블릭 클라우드와 엣지 등 다양한 환경에 분산돼있어 공유나 활용이 쉽지 않고, 데이터 형식도 문서·이미지·동영상 등 다양해지고 있다. 데이터 품질이 오래되고 일관성이 없는 경우도 많아 데이터 활용 과정에서 80%의 시간이 정리·통합·준비에 쓰인다.

이런 상황에서 기존 데이터 접근 방식은 오히려 복잡성을 가중시키고 불필요한 비용을 야기하며 AI의 잠재력을 최대한 이끌어내기 어렵게 한다. 때문에 기업이 AI를 잘 활용할 수 있도록 지원하기 위해 '왓슨x.데이터'를 선보인다는 게 IBM의 설명이다. DW(데이터웨어하우스)의 고성능 처리와 데이터레이크의 유연성을 함께 제공하며, 정형·비정형 데이터를 자유롭게 저장·활용할 수 있게 했다. 보다 저렴한 개방형 스토리지를 지원하면서도 높은 성능을 제공한다.

'왓슨x.데이터'는 △온프레미스와 멀티클라우드 등 데이터가 저장된 위치에 상관없이 단일 접속 지점으로부터 모든 데이터에 접근 가능 △중앙집중식 거버넌스와 보안 및 자동화 기술을 내장해 데이터를 보호하고 규정 준수 여부를 관리하며 신뢰성 유지 지원 △멀티 쿼리 엔진과 스토리지 계층 기술로 AI 및 분석 작업을 최적화하고 데이터 용도에 따라 컴퓨팅 및 저장공간을 확장 또는 축소함으로써 기존 DW 비용의 50%까지 절감 지원 등을 특징으로 내세웠다.

셀프 서비스를 위해 '왓슨x.데이터'는 다른 '왓슨x' 플랫폼 솔루션과 마찬가지로 기반(파운데이션)모델과 생성형AI를 활용한다. 사용자가 자연어 문장과 질문을 사용해 필요한 데이터를 활용할 수 있도록 돕는 '시맨틱 오토메이션' 기능이 대표적이다. "이 테이블에 거주지 데이터를 추가해줘"라고 말하면 시맨틱 오토메이션의 AI가 후보 테이블을 찾고, 실제로 조건을 충족시키는 테이블 간의 조인 키도 찾아내는 식이다. 이 기능은 내년 초 정식 공개 예정이다.

IBM은 자사 AI플랫폼 '왓슨x'에 있어 신뢰성을 강조한다. 기업이 고객과 상호작용할 때 할루시네이션(환각·거짓)이나 부적절한 언어를 사용하지 않을 것이라는 확신을 가질 수 있어야 한다는 것이다. 진화하는 법률 및 규제 환경에 민첩하게 적응할 수 있는 적절한 수준의 엄격성, 프로세스, 기술 및 도구를 구축하는 방향으로 접근한다.

이에 IBM 왓슨x 플랫폼은 △내달 정식 출시 예정으로 머신러닝 기반 AI 구축·실행·배포를 지원하는 차세대 기업용 AI 스튜디오 'IBM 왓슨x.ai' △데이터 및 AI 워크로드에 최적화된 데이터 저장소 'IBM 왓슨x.데이터' △자동화된 데이터 및 모델 수명 주기 솔루션으로 AI 도구 및 AI 사용에 필요한 보조장치 구축을 지원하는 'IBM 왓슨x.거버넌스'로 구성된다.

이지은 한국IBM CTO(최고기술책임자) 전무는 "신뢰할 수 있는 데이터를 위해 노력했다"며 "할루시네이션을 최소화하고 안전하게 쓸 수 있도록 장치를 마련, 기업이 업무에 제대로 활용할 수 있는 AI 솔루션을 제공하겠다"고 말했다.팽동현기자 dhp@dt.co.kr