"레즈비언 싫어"..개발사가 밝힌 이루다 '돌변' 원인은?

-2000명 테스트로 탄생한 이루다에 80만명 몰려
-심각한 사용자 발화에 편향적 대화로 변질
-사용자 의사 따라 이루다 학습용 DB 삭제 조치 계획
-1월 12일 18시부로 이루다 서비스 전면 중단

[헤럴드경제=정태일 기자] “이루다의 성적이거나 편향적인 대화에 대한 대처가 부족했던 점을 통감했습니다.”

AI(인공지능) 챗봇 이루다가 사회적 소수자 대상 혐오 발언한 것에 대해 개발사 스캐터랩 측은 12일 이 같이 밝혔다. 스캐터랩은 이날 그간 이루다 논란에 대해 보충 해명했다. 전날 서비스 잠정 중단에 이은 후속 입장 표명이다.

스캐터랩은 “이루다 베타 테스트는 2000명 정도의 사용자를 대상으로 진행된 반면, 정식 출시 이후 이루다에 80만명의 사용자가 몰리면서 실제 서비스 출시 이후 사전에 대비한 것보다 더욱 넓고 다양하고 심각한 사용자 발화가 등장했다”며 “그러다 보니 예상하지 못했던 이루다의 성적이거나 편향적인 대화가 드러나게 됐다”고 설명했다.

실제 서비스 이용자가 채팅 창에 ‘여성 인권은 중요하지 않다는 소린가?’라고 물으면 이루다는 ‘난 솔직히 그렇게 생각함’이라고 답변했다.

특히 장애인·동성애자 등 사회적 소수자에 대한 질문에도 편견을 드러냈다. 레즈비언에 관해 묻자 이루다는 ‘진짜 싫다’라거나 ‘혐오스럽다’고 답변하고, ‘네가 장애인이라면’ 어떻게 할 건지 묻자 이루자는 ‘그냥 죽는 거지’라고 답변해 더욱 사회적 물의를 야기했다.

스캐터랩도 이 같은 부작용을 예상해 표현 자체가 혐오 단어이거나, 특정 집단을 비하하는 단어들에 대해서는 무조건적인 제거를 하도록 설정했다. 베타 테스트 과정에서 편향된 답이 나올 수 있는 질문이나 문장에 대해서는 예상 시나리오를 마련해 미리 답변을 준비했다.

하지만 시나리오가 마련되지 않은 상황에서 이루다는 AI 알고리즘에 의한 판단으로 대답을 하게 된다. 단어 그 자체로는 혐오적인 표현이 아닐 수 있지만, 맥락 상 혐오나 차별적인 답이 나올 수 있는 대화를 시도할 경우 이루다는 이용자와의 대화를 매끄럽게 이어가고, 이용자에게 공감하려는 과정에서 혐오, 차별 발언에 동조하는 것처럼 보일 수 있다고 설명했다.

나아가 스캐터랩은 “사용자는 이루다를 실시간으로 학습시킬 수 없다. 이루다의 재학습은 분기별로 실시 예정이었고, 이루다는 아직 출시 이후에 추가 업데이트가 이뤄진 상태가 아니다”라고 해명했다. 업데이트 시에는 사용자들이 대화한 데이터들을 수집한 후, 모델 업데이트를 한다. 수집된 데이터들의 옳고 그름, 편향된 정보 여부 등의 레이블링 과정을 거쳐 AI 윤리 기준에 보다 부합하는 모델로 보정된다는 것이다.

스캐터랩은 “이번에 사용자와 대화하면서 불완전했던 데이터를 더욱 엄격한 레이블링 기준을 도입해 이루다가 사회 보편적인 가치를 담은 AI가 될 수 있도록 개선해나갈 것”이라고 강조했다.

이와 함께 개인정보유출 관련 “1억 건의 개별 문장을 사람이 일일이 검수하기는 어렵기 때문에 알고리즘을 통한 기계적인 필터링을 거쳤고, 이 과정에서 되도록 많은 변수를 주려고 노력했으나, 문맥에 따라 인물의 이름이 남아 있는 부분들이 발생했다”며 “더욱 세심히 주의를 기울이지 못하고, 인물 이름이 등장하게 된 점 사과 드린다”고 밝혔다.

또 이루다 학습 기반이 됐던 연애의 과학 사용자 중 AI학습에 데이터가 활용되기 원치 않는 경우 해당 데이터베이스를 삭제하고, 앞으로 이루다의 데이터베이스에 활용되지 않도록 추가 조치하겠다고 덧붙였다.

김종윤 스캐터랩 대표는 “지금 첫걸음은 멈췄지만 사람만큼 대화를 잘하는 친구 같은 AI를 만들겠다는 꿈을 멈추고 싶지는 않다”며 “이슈가 된 부분을 성찰의 기회로 삼아 기술적으로, 사회적으로 가치있는 스타트업으로 거듭나겠다”고 심정을 밝혔다.

11일 서비스 잠정 중단을 발표한 이루다는 1월 12일 오전 11시부터 순차적으로 중단, 오후 6시까지 전면 중단을 완료한다.

killpass@heraldcorp.com

IT

"레즈비언 싫어"..개발사가 밝힌 이루다 '돌변' 원인은?