“환각 현상 보이면 어떻게 해”...가짜에 떠는 기업들, 걱정 던다는데

업무 극대화 위한 챗GPT
유출·가짜정보 우려 없는
특화모델 솔루션 개발 속도

업무 효율성 제고를 위해 챗GPT를 비롯한 생성형 AI를 사내에 도입하려는 기업이 늘고 있다. 오픈AI가 입력된 데이터를 모델 학습에 활용하지 않는 기업용 챗GPT를 출시한 가운데 기밀 유출, 과도한 비용, 업무 오류 등을 우려하는 기업 고객을 위해 맞춤형 AI를 구축해주는 사업이 정보기술(IT) 서비스 업계의 새로운 먹거리로 부상하고 있다. 기업 내부의 지식 정보를 별도로 학습해 이를 바탕으로 정확한 답변을 신속하게 제공하는 AI를 개발해주는 식이다.

SK㈜ C&C의 경우 최근 생성형 AI를 업무에 접목하고자 하는 기업 고객을 위한 종합 서비스를 제공하겠다고 발표했다.

기업 고객이 생성형 AI 도입을 주저하는 이유 중 하나로 ‘환각(hallucination)’ 현상이 꼽힌다. 기존에 학습된 데이터만을 참고해 확률적으로 가장 그럴듯한 문장을 생성하는 구조인 탓에 잘못된 정보를 마치 사실인양 풀어내는 경우가 발생하고 있다.

이에 SK C&C는 기업 고객이 자체 보유한 지식 정보를 생성형 AI 활용에 적합하도록 자산화하는 프로세스를 서비스에 포함했다. 이와 관련한 우리은행의 프로젝트도 수행하고 있다.

이와 함께 SK C&C는 기업 고객 업무에 특화한 프롬프트(명령어) 지식을 체계적으로 관리할 수 있도록 지원한다는 구상이다. 영역별로 특화한 최적의 프롬프트를 일종의 기업 노하우로서 저장하고 공유할 수 있는 형태다. 대화형 질의로 임직원 누구든 원하는 최적의 답변을 간편하게 얻을 수 있도록 지원하기 위함이다.

LG CNS는 최근 국내 모 시중은행과 함께 금융에 특화한 챗GPT 접목을 위한 기술검증(PoC)에 돌입했다.

일차적으로 투자 상품 상담 영역에서 활용할 수 있도록 준비하고 있다. 복잡한 표 형태의 펀드 상품 약관 정보 가운데 핵심 내용을 발췌해 챗GPT에 학습시키고 발화하게 하는 식이다.

기밀 유출 피해가 발생하지 않도록 직원이 고객 이름이나 생년월일, 자산 규모와 같은 민감 정보를 입력할 경우 시스템이 사전에 이를 감지하고 차단하게끔 설계하고 있다.

LG CNS는 챗GPT를 활용할 경우 은행 직원들이 수백개가 넘는 투자 상품을 익히기 위해 수만 페이지에 달하는 설명을 속속들이 외우지 않고도 효율적으로 고객 상담 업무를 진행할 수 있을 것으로 기대하고 있다.

가령 고객이 배터리 관련 펀드 상품을 문의할 경우 상담 직원이 일일이 검색하지 않아도 챗GPT가 알아서 최적의 상품을 찾아 핵심 내용을 직원이 고객에 쉽게 설명할 수 있도록 일목요연하게 정리해 알려주는 식이다.

LG CNS는 데이터를 해외 빅테크 서버로 넘기지 않고도 당장 생성형 AI를 업무에 도입하고자 하는 기업 고객을 위해 LG AI 연구원의 초거대 AI ‘엑사원’을 활용한 사업도 추진하고 있다.

지난해부터는 엑사원을 기반으로 AI 컨택센터를 구축하는 프로젝트를 진행하고 있다. LG CNS 관계자는 “금융권뿐 아니라 서비스·유통업계도 생성형 AI 도입에 큰 관심을 보이고 있다”고 전했다.

이같은 분위기는 당초 각종 보안 우려로 인해 기업들이 개방된 생성형 AI 서비스 사용을 사내에서 금지하던 것과는 대조적이다.

실제로 시장조사기관 IDC가 이달 초 발표한 ‘생성형 AI 도입·적용 동향’ 보고서에 따르면 아시아태평양지역 조직의 32%가 생성형 AI 기술에 적극 투자할 것이라고 답한 것으로 나타났다.

38%는 생성형 AI 적용을 위해 다양한 사용 사례를 참고할 것이라고 응답했다. 한국IDC에 따르면 특히 기업들은 방대한 기업 내부 문서를 검색하는 지식관리(KM), 코드 생성, 마케팅·디자인 앱에 있어 생성형 AI를 도입하려는 수요가 높은 것으로 파악됐다.