"거짓말하는 AI챗봇 잡는다" 엔비디아, 소프트웨어 개발

미국 반도체 기업 엔비디아가 생성형 인공지능(AI)의 가장 큰 문제점인 '환각(hallucination)'을 차단하는 소프트웨어를 개발했다고 25일(현지시간) 발표했다. AI 환각이란 사실이 아닌 것을 사실처럼 작성하는 현상을 가리킨다.

이날 엔비디아는 문장 생성을 지원하는 오픈 소스 소프트웨어 '엔비디아 네모 가드레일(NVIDIA NeMo Guardrails)'을 출시했다. 엔비디아는 "강력한 AI인 대규모 언어 모델이 업계 전반에 채택되고 있다"면서 "네모 가드레일을 통해 안전하게 사용할 수 있다"고 설명했다.

엔비디아 네모 가드레일 기능은 크게 세 가지다. 우선 AI와 대화가 원하지 않는 영역으로 이탈하는 것을 방지한다. 가령 고객 서비스 도우미가 난데없이 날씨에 관한 이야기를 꺼내지 못하도록 막을 수 있다. 이에 더해 신뢰할 수 있는 출처만 언급하도록 강제할 수 있다. 또 안전한 외부 앱에만 연동해 사용할 수 있도록 했다.

조너선 코언 엔비디아 응용연구부문 부사장은 "누군가 한 주제에 관해 이야기하면 이 방식으로만 답하라고 스크립트를 작성할 수 있다"면서 "언어 모델이 프롬프트나 이용자 지시를 따르지 않을 수 있는데, 이 소프트웨어의 실행 로직은 데이터를 쉽게 변경할 수 없도록 하는 데 있다"고 설명했다. 엔비디아는 네모 가드레일을 통해 보다 정교한 서비스 개발이 가능할 것으로 기대했다. 예를 들어 인사(HR) 관련 챗봇일 경우 재무 성과에 대해 답을 하지 않도록 할 수 있다. 또 다른 직원의 개인 데이터에도 접근하지 못하도록 제어할 수 있다.

가장 큰 장점은 환각 차단으로 꼽힌다. 해당 소프트웨어는 다른 대규모 언어 모델에 사실 확인을 요청하는 기능이 있다. 만약 한 기업이 개발한 AI가 환각 현상을 토대로 무엇인가 작성을 하면 이를 감지해 다른 AI에 묻는 방식이다. 만약 다른 AI에서 일치하지 않는 답이 나오면 '모르겠다'고 답변할 수 있도록 유도한다.

이번 소프트웨어는 외부에 공개하는 오픈 소스 방식으로 제공한다. 깃허브(GitHub)에서 일부 사용할 수 있으며, 엔비디아 AI 엔터프라이즈 소프트웨어를 통해 완벽한 알고리즘을 사용할 수 있다.

엔비디아는 "KT는 네모를 사용해 고객과 800만건의 대화를 나눈 지능형 비서를 구축했다"면서 "또 스웨덴의 한 연구팀은 대규모 언어 모델을 개발하고자 네모를 사용하고 있다"고 설명했다.

[실리콘밸리 이상덕 특파원]