이루다가 내뱉은 혐오발언, AI가 지어낸 게 아니다

이루다의 혐오발언은 카카오톡에 있는 사람의 발언
데이터를 학습해 가중한 MS '테이'와 달라
1억건 대화 문장으로 만든 응답 DB에 포함돼
개인정보보호위 이루다 조사 과정에서 확인돼

[이데일리 김현아 기자]

성희롱과 인종차별, 혐오 발언으로 여론의 뭇매를 맞은 인공지능(AI) 챗봇 ‘이루다’. 이루다는 출시 초기 AI를 대상으로 한 성적대상화에서 시작해 개인정보유출 등으로 이어지며 일파만파로 번지는 양상을 보였다. 악성 사용자들로 인해 피해자가 됐던 이루다는 나중에는 성적소수자와 사회적 약자에 대한 혐오 발언을 쏟아내며 가해자로 돌변했다.

이루다 혐오발언은 AI가 한 것?

지금까지 학계에서는 ‘이루다’의 혐오 발언은 잘못된 데이터를 학습한 AI가 편향성을 가중한 것(지어낸 것)으로 봤다. 즉 AI라도 혐오발언을 내밷을 수 있다며 알고리즘 문제까지 제기하는 사람도 있었다.

그런데 개인정보보호위원회 조사 과정에서 ‘이루다’의 서비스 내용이 우리가 알던 내용과 다르다는 게 확인됐다. AI 윤리 문제는 ‘AI가 잘못된 학습을 해서’라는 예상과 달랐던 것이다.

이루다는 마치 마이크로소프트(MS)에서 내놓은 AI챗봇 ‘테이’처럼 인종·성 차별 발언을 되풀이해 학습한 이유로 혐오발언을 쏟아낸게 아니다. 2016년 3월 당시 백인우월주의 및 여성·무슬림 혐오 성향의 한 익명 사이트에서 비속어와 인종·성 차별 발언을 되풀이해 학습시키자, 테이는 혐오 발언을 쏟아냈다. MS는 결국 출시 16시간만에 테이 서비스를 중단했다.

이루다의 혐오발언은 카카오톡에 있는 사람의 발언

그러나 이루다는 기계 탓이 아니라 사람 탓이었다.

개인정보보호위에 따르면 이루다는 20대 여성의 카카오톡 대화문장 약 1억건을 응답 데이터베이스(DB)로 구축하고, 이루다가 이 중 한 문장을 선택해 발화할 수 있도록 운영했다.

즉 테이처럼 AI가 학습해 스스로 평가를 가중하고 혐오발언을 만들어낸 게 아니고, 현실세계에서 존재하는 카카오톡 대화 1억건 중 하나를 뽑아내는 일만 했다는 의미다.

송상훈 개인정보위 조사조정국 국장은 “이루다의 경우 이용자들이 말을 이상하게 걸어서 (카카오톡에 실재했던) 이상한 답변을 한 것으로 AI가 학습을 통해 평가를 가중한 게 아니다”라면서 “그래서 MS의 챗봇 테이와 다르다. 대단히 특별한 케이스”라고 설명했다.

한편 개인정보보호위는 이날(28일)이루다 개발사인 스캐터랩에 과징금 5550만원과 과태료 4780만원을 각각 부과하고 시정조치를 명령했다.

이루다 개발을 위한 AI 학습용 데이터를 모으는 과정에서 △자사의 다른 서비스인 ‘텍스트앳’과 ‘연애의 과학’에서 수집한 카카오톡 대화를 활용하면서 제대로 동의받지 않고 가명정보(자체로 개인을 식별할 수 없는 정보)처리도 부실했다고 본 것이다. 또, 개보위는 △개발자들이 코드 협업 사이트 깃허브(Github)에 정보를 올리면서 데이터는 가명처리했지만 동시에 이름 22건(성은 미포함)과 지명정보(구·동 단위) 34건, 성별, 대화 상대방과의 관계(친구 또는 연인) 등 개인임을 알 수 있는 정보도 함께 올려 개인정보보호법을 위반했다고 판단했다.

김현아 (chaos@edaily.co.kr)