‘나쁜말’ 배워 도마올랐던 AI챗봇, 이젠 차별·혐오 척척 걸러낸다

부적절한 발언 학습 못하도록
‘생성 AI’로 바꾼 이루다 2.0 출시
업계, 사례 공유하며 자율규제 나서
윤리적 대화로 ‘재미 반감’은 과제

스캐터랩의 인공지능(AI) 챗봇 서비스 ‘이루다 2.0’의 캐릭터인 이루다의 모습을 담은 일러스트. 스캐터랩 제공

인공지능(AI) 챗봇 기업들이 ‘나쁜 말’과의 전쟁을 벌이고 있다. 장애인·여성 등을 대상으로 하는 차별·혐오 발언으로 논란을 낳은 이른바 ‘이루다 사태’ 이후 부적절한 언어를 챗봇이 학습하지 않도록 기업 스스로 자율규제를 만들었다. 기업 간 사례 공유를 통해 챗봇 시장이 바람직한 방향으로 형성될 수 있도록 유도하고 있다.

이루다 서비스 개발사 스캐터랩은 지난 27일 ‘이루다 2.0’ 정식버전을 일반 사용자에게 공개했다. 이루다 1.0의 경우 한때 차별·혐오 발언을 학습하고 사용자들의 채팅 데이터를 학습용으로 무단 사용한 사실이 드러나면서 논란을 빚었다. 스캐터랩은 논란을 다시 만들지 않도록 챗봇 개념부터 기능, 향후 목표까지 점검하며 절치부심했다고 한다.

이루다 2.0은 혐오 발언을 학습하지 못하도록 대화 엔진의 근간을 ‘생성 AI’로 변경했다. AI 윤리 점검기준까지 만들어 ‘자율규제의 벽’을 세우기도 했다.

스캐터랩은 AI 챗봇 이루다 2.0과 대화 시 ‘의견보내기’ 섹션과 대화창의 피드백 전송 기능을 통해 이용자 피드백을 받고 있다. 스캐터랩 제공

생성 AI는 AI가 글이나 사진 같은 데이터를 직접 만드는 창조형 기술이다. 이루다 1.0은 데이터 내에서 저장된 답변 가운데 대화 맥락에 적합한 답을 골라 표출하는 ‘분석 AI’ 방식이었다. 이 때문에 사용자들의 대화 중 차별·혐오 같은 악의적 발언이 데이터로 저장되면, 이루다 1.0이 이를 선택하는 일도 빚어졌다. 부적절한 발언을 걸러내는 거름망이 약했던 셈이다.

반면 생성 AI는 대화 맥락에 맞춰 AI가 직접 적합한 문장을 만들다. 사전에 운영자 측이 부적절한 발언을 모니터링해 문장 생성 자체를 막는다면 부적절한 발언을 예방할 수 있다. 스캐터랩에서는 ‘거름망 장치’가 잘 작동할 수 있도록 ‘윤리 점검표’를 만들었다. 인권 보장, 프라이버시 보호, 다양성 존중 등의 가치를 담은 세부 점검목록을 갖췄다. 이 기준에 어긋나는 대화의 맥락이나 단어 선택 등을 AI가 학습하지 않도록 모니터링하고 있다.

챗봇 업계에서는 AI가 나쁜 말을 배우지 않게 하는 방안을 공동 논의하고 있다. 한국인터넷자율정책기구(KISO) 산하 신기술소위원회에서는 AI 서비스 가운데 가장 많은 규제 이슈가 집중하는 챗봇 서비스를 기준으로 공동 자율규제 정책을 다루고 있다. 개별 기업 차원에서 윤리 규범을 만드는 것도 중요하지만, 업계의 자율규제 차원에서 세부 항목을 확인하고 공동의 서비스 운영 가이드라인을 마련하면 향후 새로 시장에 진입하는 기업도 수월하게 문제를 해결할 수 있을 거라는 공감대에 따른 활동이다. 신기술소위원회에는 대화형 챗봇 서비스 회사인 심심이와 스캐터랩이 참여하고 있다. 온라인 커뮤니티 유해 콘텐츠 필터링 AI 서비스를 개발하는 스타트업 소프트리에이아이도 최근 KISO에 가입했다.

챗봇 업계에서는 AI 챗봇과 관련된 윤리 기준이 공통적으로 마련되면 사회적 수용성이 높아져 시장 규모 확대에 도움이 될 것이라 본다. KISO 관계자는 “위험성 관리뿐만 아니라 AI를 활용해 선정적인 콘텐츠를 정제하거나 욕설 댓글을 치환하는 기능 등의 ‘기술에 의한 자율규제’가 AI 챗봇 시장을 성장시키는데 도움이 될 것”이라고 설명했다.

그러나 일부에서는 ‘안전한 윤리의식’이 서비스 재미를 떨어뜨리는 양날의 검이 될 수 있다고도 지적한다. 방어적인 대화만 하는 AI의 경우 이용자 흥미를 떨어뜨리기 때문이다. 한 스타트업 관계자는 “아직 AI 챗봇 시장이 제대로 형성되지 않았고, 기술도 발전되지 않은 상황에서 ‘윤리성’이 성장을 막는 규제처럼 작용하기도 한다. 업계의 다양한 시도와 AI 기술 발전을 저해하지 않기 위한 자율성이 보장돼야 한다”고 말했다.

전성필 기자 feel@kmib.co.kr

GoodNews paper ⓒ 국민일보(www.kmib.co.kr), 무단전재 및 수집, 재배포금지