[기고] 기업에서 생성형 AI 활용 방안

오픈AI의 생성형 인공지능(AI)인 챗GPT 공개는 2023년 한 해를 뜨겁게 달군 디지털 분야의 최대 화두였고, 이번 2024 CES(가전박람회)는 전 산업에 걸쳐 AI가 어떻게 적용되는가를 보여준 경연장이었다. 각 기관에서 발표한 2024년 정보기술(IT) 트렌드를 보면 모든 예측 자료가 생성형 AI의 전성시대를 예고하고 있다. 골드만삭스는 생성형 AI가 전 세계 국내총생산(GDP)을 7% 향상시킬 것이라 전망했고, 맥킨지는 근로자의 작업시간을 60~70% 절감할 것이라고 발표했다.

챗GPT를 시작으로 구글은 바드를 출시했고, 메타는 LLaMA2를, 구글은 제미나이를 발표하는 등 다양한 대형언어모델(LLM)과 다중형태(Multi-Modal) 서비스가 등장하면서 이를 활용해야 하는 산업계에 대혁명을 예고하고 있다.

챗GPT나 바드와 같은 생성형 AI는 개인이 사용하기에는 정말 좋은 AI 비서임에는 틀림이 없다. 하지만 기업이 업무용이나 고객용으로 사용하려면 몇 가지 고려해야 할 사항이 있다.

첫째, 최신 상태의 데이터가 필요하다. 챗GPT는 2022년 1월까지의 데이터만 있고, 바드는 전일까지의 데이터가 업데이트되는 것도 있고 아닌 것도 있어서 최신 데이터 또는 실시간 데이터를 요구하는 기업의 업무용으로는 적합하지 않다.

둘째, 사내 데이터의 연동이 필요하다. 업무용이나 고객용으로 사용하기 위해서는 외부 데이터와 사내 데이터를 연동해 보여줘야 하는데, 사내 데이터는 대외비 자료가 대부분이어서 국내외 많은 기업이 개인정보 및 기업 기밀 유출을 우려해 챗GPT 연동을 금지하고 있다.

셋째, 기업 전용 생성형 AI 시스템 구축 성공 사례가 아직 없다. 어떤 업무를 어떻게 구축해야 할지 갈피를 못 잡든가, 아니면 비용이 많이 들 것이라는 막연한 생각이 지배적이다.

생성형 AI가 적합할 것으로 예상되는 증권 업무를 예로 들어보자. 고객이 '2차전지의 글로벌 전망 및 저평가 유망 기업 추천'을 바라는 경우 지금의 증권사 앱이나 각종 ARS 등은 이 질문에 일목요연하게 보고서 형태로 응답할 수 없다. 대화형 시스템이 아니어서 고객이 말하는 긴 문장을 이해할 수 없고, 다양한 데이터를 요약해 보고서 형태로 보여주거나 출처까지 나타낼 수 있는 기능 등이 없기 때문이다.

생성형 AI는 일반 사용자가 볼 때 검색 창(프롬프트 창) 하나만 덜렁 있어서 굉장히 간단한 시스템으로 생각할 수 있으나 이는 빙산의 일각이다.

수면 밑에 있는 시스템은 최첨단 기술이 탑재된 여러 개의 시스템으로 구성돼 있다. 그 구성을 보면 사내외 LLM, 검색증강생성(RAG), 데이터 플랫폼과 Vector DB, 클라우드 인프라 등이 있고, 업무에 적용할 수 있는 수준에 도달하려면 어느 업무에 적용할 건지를 특정하고 거기에 맞는 사내외 시스템을 연계한 후 많은 기계 학습과 결과에 대한 철저한 검증을 거쳐야만 한다.

기업이 생성형 AI를 업무용으로 도입할 경우 데이터 보안 및 악의적 공격에 대비하는 보안성(Security), AI의 편향적 답변 및 학습 부족에 대비하는 정확성(Accuracy), LLM 사용료 및 인프라 비용에 대비하는 효율성(Cost) 등을 충분히 고려해 도입하는 것이 바람직하다.

[이경배 연세대 미래융합연구원 겸임교수]