[기고] 생성형 AI 열풍의 시대, 기업이 지켜야 할 데이터 관리전략

챗GPT를 필두로 한 생성형 AI에 대한 관심과 투자의 열기가 갈수록 뜨거워지고 있다. 불과 몇 년 전만 해도 빅데이터와 AI, 머신러닝과 관련한 이슈들이 부상하며 업계의 화두를 이끌었지만, 현재의 상황은 그 때와 비교해서 더 파급력이 크고, 열기 또한 그리 쉽게 사그러들 기미가 보이지 않는다.

이러한 생성형AI의 급속한 이슈 확산의 이유는 IT를 잘 알지 못하는 일반인들에게도 개방된 무료서비스와 자연어 기반의 대화형으로 쉽게 접하고 사용할 수 있는 방식으로 다가왔기 때문일 것이다.

그러면 우리 기업의 입장에서 보면 어떠한 파장이 있을까? 누구나 생성형 AI는 분명 낡은 프로세스를 개선하고, 디지털 혁신을 주도하며 대 고객 만족도를 향상시켜줄 것으로 기대한다. 그로인해 이전보다 더 많은 비즈니스 성과를 가져올 수 있다고 쉽게 얘기한다.

그러나 다른 한편으로는 기업에 적용했을 경우 투자대비효과(ROI)나 총소유비용(TCO)등의 실질적인 비즈니스 효과에 대해 의문을 제기하기도 한다.

이러한 상황을 고려해볼 때, 기업은 자사의 비즈니스에 생성형 AI를 접목하기 위해서는 기존 빅데이터 프로젝트처럼 막대한 투자를 하고 그 효과가 미비했던 것과 같은 시행착오를 최대한 줄일 필요가 있다. 기업에게 있어 AI 기술을 효과적으로 적용하기 위해서는 결국 올바른 데이터의 관리에 달려있고 특히 다음 세 가지를 유념할 필요가 있다.

첫째, 실제 기업내에서 축적된 데이터를 기반으로 비즈니스 시나리오에 대해 훈련된 고성능 모델을 활용할 수 있어야 한다.

둘째, 기업 내 구성원들이 비즈니스의 필요에 따라 생성형 AI를 누구나 그 가치를 제공받고 쉽게 활용할 수 있도록 해야 한다.

셋째, 클라우드 환경이나 사내구축형 등 IT시스템의 운영 방식에 상관없이 인프라 및 데이터 관리, 보안 및 거버넌스를 반드시 유념에 두고 플랫폼 계획을 세워야 한다.

AI를 기반으로 하는 서비스는 데이터 관리와 분석 방법 또한 새로운 방식을 필요로 하며, 회사 내부의 재무 데이터나 생산 재고 데이터, 판매 데이터 등과 같이 오랜 기간 축적된 자체 데이터에서 최대한의 가치를 이끌어 낼 수 있도록 기술의 발전이 이뤄지고 있다.

이러한 자체 데이터를 기반으로 생성형 AI의 기반모델과 LLM(거대언어모델)을 접목, 활용하여 활용성과 정확도를 높이고, 생성형 AI의 이른바 '환각(hallucination)' 부작용을 최소화하며, 결과적으로 전체 비용을 절감할 수 있는 방향으로 귀결이 될 것이다.

즉 기업이 LLM기반의 생성형 AI로 효과를 극대화하기 위해서는 비즈니스 데이터에 대한 정확성을 확보하고, 기업 내 IT 개발자 등의 일부 작업을 자동화하고 조직 운영 방식을 유동적으로 운영할 수 있는 능력을 갖추게 되는 것이다.

데이터 플랫폼을 보는 시각도 변하고 있다. 생성형 AI에 대한 지금의 뜨거운 열기 이전 까지만 해도 많은 전문가들은 AI와 머신러닝(ML) 관련 기술과 분석도구를 포함하는 빅데이터로 많은 부분을 해결할 수 있을 것으로 생각했다.

특히 이러한 맥락에서 빅데이터 트렌드에 기존의 기업용 관계형 데이터베이스(RDBMS)는 시장에서 곧 사라질 것이라는 섣부른 전망도 나오곤 했었다. 그러나 결과적으로 빅데이터와 더불어 관계형 DB, 특히 다양한 종류와 형태의 데이터를 관리하는 융합형 DB의 중요성은 더욱 커지고 있다.

한편 생성형AI의 LLM에서 차지하는 문서와 이미지, 멀티미디어 등 이른바 비구조화 된 (unstructured) 데이터의 비중은 상당하다. 이러한 데이터들이 AI를 통해 즉시 활용하기 위해서는 반드시 구조화된(structured) 형태의 연계 데이터로 변환 필요하고, 데이터의 활용성을 극대화할 수 있다.

이러한 데이터 구조를 통합해서 하나의 공간, 즉 데이터 플랫폼에서 통합할 수 있다면, 불필요한 복제작업이나 중복으로 인한 낭비를 줄이고 성능을 최대한 발휘할 수 있을 것이다.

이러한 플랫폼은 안정적인 클라우드 인프라를 기반으로 수요에 맞게 언제든 유연하게 확장될 수 있다. 요즘 각광받고 있는 로코드(Low Code)와 LLM을 활용한 챗봇을 활용하여 사용자 편의성 또한 확보할 수 있다. 이와 더불어 기업형 LLM을 활용한 데이터 관리와 활용에 있어 성능과 안전성, 보안 또한 절대로 간과해서는 안 되는 부분이다.

또한 생성형 AI로 촉발되어 그 중요성이 더욱 커진 기업의 데이터 관리는 향후 대규모 데이터에 대한 처리방법과 규약을 담고 있어야 한다. 기업은 자체 데이터플랫폼에 다양한 형태의 데이터를 담을 수 있어야 하며 데이터들 간의 연관구조를 빠르게 찾아낼 수 있는 메커니즘을 확보해야 한다.

데이터를 손쉽고 빠르게 찾아내고 보여줄 수 있는 다양한 AI 기능과 LLM과 로코드 기반의 개발도구 또한 플랫폼에 필수 요소가 될것이다. 더욱 다양해지고 복잡성이 더해지는 비즈니스 환경에서, 기업의 경쟁력은 결국 비즈니스 요구에 맞는 빠르고 정확한 데이터 기반, 결과물의 제공임을 잊지 말아야 한다.

한국오라클 상무 이의형