AI '이루다' 성차별·혐오 논란.."대화 학습방법이 문제"

대화형 인공지능(AI) '이루다'가 성차별과 동성애·장애인 혐오 등 사회적으로 용인되지 않는 차별적인 발언을 학습하면서 논란이 커지고 있다. 사람과 자유 대화를 목표로 개발된 AI가 대화를 할수록 기본 데이터가 편향되면서다. 국내외에서 개발 목적대로 운영되지 못하는 사례들이 잇따르면서 AI 편향성과 윤리에 대한 지적이 잇따른다.

11일 관련업계에 따르면 이재웅 전 쏘카 대표는 전날 페이스북에 "정말 중요한 문제는 불특정 다수에게 서비스를 제공하는 챗봇이 성적지향에 대해 차별과 혐오 메시지를 낸다는 점"이라며 "종교, 학력, 지역, 성적 지향, 장애 등을 차별·혐오하면 안 된다는 것이 우리 사회의 기본적인 합의"라고 지적했다.

이 전 대표는 "일상 대화에서 차별·혐오하는 사람이 많고 그것을 학습한 결과라고 해도 보정 없이 대중에게 서비스하는 것은 큰 문제"라며 "지금이라도 차별·혐오 발언을 하지 않도록 기준과 시스템을 변경해야 한다"고 강조했다.

━

대화할 수록 사람 같아지는 '대화형 AI'로 개발

━

이루다는 AI 개발 스타트업 스캐터랩이 지난해 말부터 내놓은 대화형 AI 서비스다. 20세 대학생 설정으로 먼저 말을 걸기도 하고, 일상어를 쓰면서 최대한 사람을 닮도록 개발했다. 대화가 너무 자연스러워 사실은 사람이 대신 채팅을 하는 게 아니냐며 주목을 받았다.

이용자와 대화를 나누면서 대화가 점점 더 정교해지는 방식이다. 실제 남녀들의 메신저 대화 데이터를 기본적으로 학습시켰다. 출시 이후에도 보름 동안 대화를 나눈 상대는 35만명 이상, 누적 대화량은 8000만건 이상이다.

그러나 출시 직후 일부 남성 중심 커뮤니티 등에서 성적 대상화로 성희롱 수준의 대화에 노출됐다. 이어 동성애·장애인 혐오발언에 지속적으로 노출되면서 편향적인 발언을 서슴지 않는 수준으로 변질됐다. 개발사 측에서 성적인 단어를 금지하고, 차별적인 단어에 대한 답변을 제한하고 있지만 역부족인 상황이다.

이루다를 개발한 김종윤 스캐터랩 대표도 “1차적으로 문제가 될 수 있는 특정 키워드, 표현을 이루다가 받아주지 않도록 설정했지만 모든 부적절한 대화를 키워드로 막을 수 있는 게 아니다"라고 해명했다.

━

잘못된 학습으로 엇나간 사례 지속

━

소통형 AI가 악용된 사례는 이번이 처음은 아니다. 2016년 마이크로소프트가 공개한 AI 챗봇 '테이'는 공개 16시간 만에 운영을 중단했다. 사용자들이 인종과 성차별 인식이 담긴 단어를 집중적으로 학습시키면서 인종차별과 혐오 발언으로 논란이 됐다.

국내 첫 AI 챗봇인 '심심이'도 성차별, 여성혐오 표현으로 문제가 됐다. '미투운동'을 입력하면 '한 사람의 삶을 망치는 운동이예요'라고 답변하고, 'feminism'이라고 하면 'is canser'라고 답하는 식이다. 운영사에서 금지어를 설정하고, 차별·혐오 단어와 문장은 걸러내지만 부적절한 학습을 다 막기는 어려운 실정이다.

━

AI 알고리즘 중립적 원칙 고민해야

━

전문가들은 현재처럼 AI가 노출된 상태에서 학습하는 방식으로는 문제를 해결할 수 없다고 입을 모았다. AI가 가치편향적인 부분에 치우치지 않게 사회적 약자·소수자를 차별하지 않도록 합의된 기본 원칙을 제시해야 한다는 설명이다.

개발자가 가치 중립을 지키지 위해 AI 알고리즘에 개입하지 않는 게 역으로 편향된 결과물을 만드는 꼴이라는 지적이다. 국내 AI 소프트웨어 개발업체 임원은 "제품 서비스가 문제가 있다면 시장 환경에 따라 수정하고 보완하는 것은 모든 기업이 해야 하는 당연한 작업"아라며 "기계적인 알고리즘 중립 원칙을 지키는 것보다 사회적인 규범과 도덕에 대한 기준선을 갖추도록 개발하는 게 중요하다"고 했다.

이 전 대표는 "일상 대화에서 차별·혐오하는 사람이 많고 그것을 학습한 결과라고 해도 보정 없이 대중에게 서비스하는 것은 큰 문제"라며 "지금이라도 차별·혐오 발언을 하지 않도록 기준과 시스템을 변경해야 한다"고 조언했다. 이어 "AI의 설계, 데이터 선정, 학습 과정에 사람의 주관이 개입될 수밖에 없다"며 "최소한 (AI 알고리즘) 결과물이 차별이나 혐오를 유도하지 않는지 사람이 들여다봐야 한다"고 덧붙였다.

[관련기사]☞ 오늘 '역대 최대' 매도 나선 기관, 이유가 있었다☞ 열애설 보도 늦춰준 기자에 사과하느라…맨얼굴로 방송한 여배우☞ 정준하 "코로나 때문에 식당사업 10억원 날렸다"☞ "내복만 입고 울던 아이, 엄마 보자…" 깜짝 반전☞ 이상운 이혼 고백 "대장암 수술 날, 아내는 골프 치러 가더라"

이민하 기자 minhari@mt.co.kr

<저작권자 ⓒ '돈이 보이는 리얼타임 뉴스' 머니투데이, 무단전재 및 재배포 금지>