챗GPT 폭주를 막아라… AI '환각' 막는 소프트웨어 나왔다

엔비디아 '네모 가드레일' 공개

지난해 말부터 챗GPT를 계기로 불어 닥친 생성형 AI 광풍 속에 부작용을 우려하는 목소리도 커지고 있다. 게티이미지뱅크

현생인류 호모 사피엔스(슬기로운 사람)의 지능을 넘보는 챗GPT는 알고보면 '거짓말의 달인'이기도 하다. 사실이 아닌 것을 마치 사실인양 그럴듯하게 주저리주저리 얘기하고, 유해하거나 민감한 주제에 답변을 삼가지 않는 것은 챗GPT같은 생성형 인공지능(AI)의 대표적 문제점으로 꼽힌다. 특히 사실이 아닌 것을 꾸며내는 행위를 일컫는 '환각'(hallucination) 현상은 무분별한 가짜뉴스 양산으로 이어질 수 있어 생성 AI의 대표적 폐해 사례로 지목된다.

그래픽처리장치(GPU)로 유명한 미국 반도체기업 엔비디아가 25일(현지시간) 생성 AI의 이런 환각 증상을 방지해 줄 소프트웨어(SW)를 공개했다. 엔비디아가 내놓은 환각 방지 SW의 이름은 '네모 가드레일'(NeMo Guardrails)이다. 이 SW를 이용하면 AI 모델이 사실과 다른 것을 말하거나 유해한 주제에 답하지 않도록 설정할 수 있다고 한다. AI 모델이 이용자에게 답변을 내놓기 전에 연산 결과가 적절한지 아닌지를 판단하는 일종의 필터링 도구인 셈이다.

예를 들어 네모 가드레일을 이용해 고객 서비스 챗봇에 '경쟁사 제품에 대해선 답하지 말라'고 설정해두면, 이 챗봇은 관련 질문을 받았을 때 '모르겠다'는 식으로 답변을 피한다고 한다. 또 AI 모델의 답변을 다른 AI 모델의 답변과 대조(크로스체크)하고 일치하지 않을 경우 거짓인 것으로 간주해 답변하지 못하게 할 수도 있다. 사실이 아닌 내용을 출력하지 못하게 함으로써 환각을 막는 셈이다.

오픈AI가 25일(현지시간PT와의 대화 기록 저장 여부를 이용자가 직접 선택할 수 있는 기능을 도입했다고 밝혔다. 챗GPT 설정에서 대화 기록 저장과 학습 이용 버튼을 비활성화하면 대화 내용은 30일 동안만 저장된 뒤 영구 삭제된다. 오픈AI 제공

---

오픈AI, 개인정보 보호 기능 도입

챗GPT의 능력만큼 부작용 또한 부각되면서, 생성 AI의 폐해를 방지하는 노력도 이어지고 있다. 챗GPT 개발사인 오픈AI는 이용자가 챗GPT의 학습에 자신과의 대화 데이터를 활용해도 되는지 선택할 수 있는 기능을 추가했다. 세계 각국에서 챗GPT가 이용자 데이터를 무단 수집하고 개인 정보를 유출할 수 있다는 우려가 커지자 대응책을 내놓은 것이다.

이날부터 챗GPT 이용자들은 설정에서 클릭 한 번으로 대화 기록 저장 여부를 선택할 수 있다. 대화 기록을 저장하지 말라고 설정하면 데이터가 저장되지 않고 챗GPT의 학습에도 이용되지 않는다고 한다. 지금까지는 챗GPT와 대화한 내용이 화면 왼쪽에 자동으로 남아 있었다. 오픈AI는 "대화의 기록이 비활성화되면 새 대화는 30일 동안만 보관되고, 악용 여부를 확인해야 하는 경우에만 검토된 뒤 영구적으로 삭제된다"고 밝혔다.

실리콘밸리= 이서희 특파원 shlee@hankookilbo.com