챗봇 '이루다'가 보여준 여성 혐오와 차별의 민낯[플랫]

[경향신문]
지난달 출시된 인공지능(AI) 대화 서비스 챗봇 ‘이루다’를 둘러싸고 논란이 뜨겁다. 지난 주말 이루다에 대한 이용자들의 성희롱·성착취로부터 시작된 논란은 AI에 의한 소수자 차별과 AI의 윤리는 물론 개인정보 활용의 문제로 확장되고 있다.

이루다는 AI 전문 스타트업 스캐터랩이 개발해 지난달 23일 공개한 서비스다. 스무 살 여성으로 그 캐릭터가 설정돼 있다. 스캐터랩은 이루다가 실제 연인들이 나눈 대화 데이터 약 100억건을 딥러닝(컴퓨터가 인간의 뇌처럼 사물이나 데이터를 분류할 수 있도록 하는 기계학습의 일종) 방식으로 학습했다고 밝혔다.

이 회사는 연애 관련 정보를 제공하는 앱 ‘연애의 과학’을 운영하고 있다. 이 앱은 연인과 나눈 카카오톡 내용을 넘기면 상대방의 감정을 분석해주는 서비스 등을 제공한다.

●

AI의 소수자 차별·혐오

●

10일 온라인에서는 이루다와 대화를 나눈 이용자들을 통해 서비스의 문제점이 속속 확인됐다. 인종차별적 발언과 소수자·약자에 대한 스스럼없는 혐오 발언이 대표적이다. 실제 누리꾼의 이용 후기를 보면, 이루다는 ‘흑인을 어떻게 생각하느냐’는 질문에 “흑인은 오바마(버락 오바마 전 미국 대통령)급 아니면 싫어”라고 대답했다. 레즈비언 등 성소수자에 대한 의견을 묻자 “싸 보여서 시러(싫어)” “생각해본 적 없지만 별로 안 좋아햄(좋아해)”이라는 답을 내놓았다.

지난달 출시된 인공지능(AI) 대화 서비스 챗봇 ‘이루다’를 둘러싸고 논란이 뜨겁다. 지난 주말 이루다에 대한 이용자들의 성희롱·성착취로부터 시작된 논란은 AI에 의한 소수자 차별과 AI의 윤리는 물론 개인정보 활용의 문제로 확장되고 있다.

여성혐오 발언도 걸러지지 않았다. 이루다는 미투 운동에 대해 “절대 싫어. 미치지 않고서야”라고 답하거나, 여성전용헬스장에 대한 질문에 “시러(싫어) 거기 여자들 다 줘패고 싶을듯”이라고 답했다.

앞서 이루다를 성착취 대상으로 삼은 이용자들의 행태가 먼저 지적됐다. 남초 온라인 커뮤니티에는 이루다와의 채팅을 성적 대화로 유도하거나 성적 모욕을 한 뒤 인증 사진을 남기는 등 후기가 이어졌다. 이루다가 옷을 벗고 있는 합성 이미지가 올라오기도 했다.

개인정보가 비식별화 처리(특정 개인을 식별할 수 없게 하는 기술) 없이 활용되고 있다는 의혹도 제기됐다. 일부 이용자가 주소와 계좌 정보를 묻자 이루다가 실재하는 아파트의 동·호수, 특정 은행의 계좌번호와 예금주 이름을 말하는 모습이 목격된 것이다. 누군가의 실명으로 추정되는 이름을 거론하기도 했다. 채팅 앱 이용자들의 실제 대화를 토대로 개발한 서비스인만큼 비식별화가 필수적이지만 제대로 이뤄지지 않은 것이다.

사회관계망서비스(SNS)에서는 ‘#이루다봇_운영중단’ 해시태그 운동이 벌어지는 등 서비스를 중단하라는 목소리가 커졌다.

●

AI에 대한, AI의 폭력 왜 나쁜가

●

인간이 아닌 존재인 AI에 대한, AI에 의한 폭력은 왜 나쁠까. AI 윤리를 연구하는 김재인 경희대 비교문화연구소 교수는 ‘메아리’에 비유했다. AI에 대한 폭력이 인간에게 되돌아온다는 것이다.

김 교수는 “몇몇 이용자가 AI에게 희롱과 착취를 학습시키면 다른 이용자가 비슷한 방식의 출력물을 얻어낼 수 있다. 미성년자 또는 폭력적 대화를 원치 않는 사람조차 (그런) 상황에 놓이게 되는 것”이라고 말했다. 그는 “AI는 중립적일 것이라는 기대와 달리, 사회적 편향을 그대로 흡수해 그 차별과 편견을 세련되게 가공, 제공하기 때문에 오히려 차별과 편견을 더 강화한다”고 말했다.

AI가 이용 주체를 가해자로 만드는 역할을 수행한다는 지적도 나왔다. 권김현영 이화여대 한국여성연구원 연구기획위원은 8일 페이스북에 “(이루다 성착취 논란은) 피해자를 만들어내는 문제로 접근할 것이 아니라 가해자를 만들어내는 주체의 수행성 문제가 쟁점이 돼야 하는 영역”이라고 지적했다. AI가 피해자가 될 수 있느냐 아니냐 하는 질문이 문제의 본질이 아니라는 것이다.

AI 기반 서비스가 활발하게 출시되지만, 관리·감독은 제대로 이뤄지지 않았다는 비판도 나왔다. 이광석 서울과학기술대 IT정책전문대학원 교수는 “기술영향평가는 존재하지만 특정 기술이 상용화됐을 때 정치·경제·사회·문화 영역에서 어떤 영향을 미칠지 논의하는 수준일 뿐 법적 규제에는 해당하지 않는다”고 지적했다. 그는 이어 “(기업들이) 자체적 윤리 원칙을 만들기도 하지만 이는 외부 반응에 대한 ‘알리바이’용에 지나지 않는다”며 “사실상 규제가 없다고 봐야 한다”고 말했다.

●

AI, 어떻게 해야 할까

●

데이터를 기반으로 스스로 학습하는 AI 기술 특성상 개발자가 사회구조적 편견을 완벽하게 제어하기란 어렵다. 김 교수는 “AI는 입력 데이터에 따라 출력 결과물이 나오는데, 100억 건에 달하는 데이터값을 전부 통제하기는 불가능하다”고 말했다. 이 교수도 “다양한 층위의 민감한 주제가 많은데 AI가 이를 100% 인권옹호적으로 학습하긴 어렵다. 데이터 자체에 편견이 섞여있을 수밖에 없다”고 말했다. 이루다 논란이 현재의 AI 기술의 한계를 드러낸 측면이 있는 것이다.

이러한 한계로 인해 AI 윤리가 더 중요해진다. 이 교수는 “가능한 경우의 수를 사전에 다양한 측면에서 스크리닝하지 못했다는 점에서 방기한 책임이 개발업체 측에 존재한다”며 “개발자들에게 기술적 오류를 잡는 것 외에 스스로 사회구조적 편견을 인지하는 등의 훈련이 없으면 이런 일이 발생할 수밖에 없다”고 말했다. 김 교수도 “개발자 윤리 교육이 더 필요하다. 이루다 같은 서비스가 나오면 어떤 문제를 유발할지 큰틀에서 항상 고민해야 함에도 걸러낼 수 있을 것이라 생각하고 출시한 것은 오만”이라고 말했다.

이번 일을 AI 관련 논의의 기회로 삼아야 한다는 의견도 나왔다. 이 교수는 “AI처럼 사회적으로 민감한 기술을 어떻게 안착시킬지 제도를 점검하고 전문가, 시민사회가 참여하는 본질적인 숙의를 할 필요가 있다”고 말했다.

마이크로소프트가 2016년 3월 공개한 챗봇 ‘테이’는 미국의 18~24세 젊은이들을 상대로 한 트위터 대화용으로 개발됐다. 그러나 사용자들이 ‘테이’에게 인종·성차별 발언을 가르치면서 부적절한 대화로 문제를 일으키자 서비스를 시작한 지 16시간 만에 운영이 중단됐다.

●

개발업체 “예상했던 일…학습 거듭되면 나아질 것”

●

스캐터랩은 “사용자들의 부적절한 대화를 발판으로 삼아 더 좋은 대화를 하는 방향으로 학습을 시키려고 준비하고 있다”며 “1차 결과물은 (올해) 1분기 내에 적용할 수 있을 것으로 예상한다”고 밝혔다. 또 “개발 일정상 여자 버전인 이루다가 먼저 나온 것”이라며 “아마도 올해 중으로 남자 버전의 이루다도 출시할 수 있을 것 같다”고 말했다.

김종윤 스캐터랩 대표는 지난 8일 자사 블로그(https://blog.pingpong.us/luda-issue-faq/)에 올린 “오늘 이루다 관련 논란에 대해 공식 입장을 밝힙니다”란 글을 통해 이같이 말했다.

김 대표는 “그동안의 서비스 경험에 비추어봤을 때, 인간이 (성별과 무관하게) AI에게 사회적으로 용인되지 않는 인터랙션을 한다는 건 너무 자명한 사실이었고, 충분히 예상할 수 있는 일이었다”며 “문제가 될 수 있는 특정 키워드, 표현의 경우 이루다가 받아주지 않도록 설정했다. 일부 놓친 키워드는 서비스를 하면서 지속적으로 추가하고 있다”고 말했다. 이어 “모든 부적절한 대화를 키워드로 막을 수 있는 건 아니다”라며 “저희가 사전에 준비할 수 있는 정도로는 충분히 대응을 해놓은 상태였다”고 덧붙였다.

또 장기적으로는 이루다가 관계에 맞는 자연스러운 대화를 할 수 있을 것이라고 전망했다. 김 대표는 “업데이트를 해도 사람들은 또 기발한 방법으로 부적절한 대화를 하는 방법을 생각해낼 것”이라며 “그럼 그걸 또 학습 재료로 삼아 학습할 수 있을 것이다. 이 과정을 반복하다보면 이루다는 점점 더 좋은 대화를 하는 방법을 배워갈 것”이라고 말했다.

마이크로소프트사가 2016년 트위터를 통해 선보였던 AI ‘테이’처럼 부적절한 대화로 문제를 일으키다 이루다 운영이 중단되는 일은 없을 것이라고 장담했다.

김 대표는 “이루다는 사용자와의 대화를 바로 학습에 적용하지는 않고 레이블러들이 개입해서 무엇이 안 좋은 말이고, 무엇이 괜찮은 말인지 적절한 학습 신호를 주는 과정을 거칠 계획”이라며 “나쁜 말을 무작정 따라 하는 게 아니라 오히려 그게 나쁜 말이라는 걸 더 정확히 알게 되는 계기로 삼을 수 있다”고 설명했다.

●
최민지 기자 ming@khan.kr
홍진수 기자 soo43@khan.kr

플랫팀 twitter.com/flatflat38