인간이 숨은 체스기계처럼..인공지능에도 혐오의 인습이 스며들었다 [이광석의 디지털 이후 (26)]

인공지능 챗봇 '이루다' 논쟁

[경향신문]

일러스트 | 김상민 기자

인공지능의 전사(前史)에 늘 감초처럼 빠지지 않는 기계장치가 있다. 이른바 체스 두는 기계, ‘미케니컬 터크’이다. 이 체스 자동기계는 1770년 첫선을 보이고 80년 이상 유럽 전역을 순회하며 체스 대결을 펼쳤다고 한다. 외양을 보면, 튀르크인 자동인형의 상반신이 체스판을 앞에 두고 테이블 한쪽에 있다. 그 테이블 아래 큰 상자 안에는 체스 두는 인형과 복잡하게 연결된 여러 톱니바퀴와 기계장치들이 내장돼 있다. 체스 대국 전 운영자는 상자 속을 관객들에게 늘 의례처럼 보여줬다고 한다. 훗날 이는 속임수임이 밝혀졌는데, 알고보니 체스 실력이 뛰어난 몸집 작은 사람이 상자 안으로 숨어들어 기계를 조작했다는 것이다.

체스 자동기계의 기계뭉치를 경이롭게 지켜보던 당시 구경꾼들이 지금 보면 정말 순진하다고 여길 수도 있다. 하지만 첨단 기술에 대해 현대인들이 갖는 기술숭배 정서를 보면, 그도 남 일이 아닌 듯하다. 최근 논란이 된 인공지능 챗봇 ‘이루다’ 사태는 또 다른 ‘미케니컬 터크’ 쇼였다. 우리는 이미 종교가 된 기술 현실에서 이로부터 잠시 각성을 체험하는 행운을 얻었던 것이다. 즉 ‘미케니컬 터크’ 속에 숨어든 인간의 존재처럼, 인공지능에도 혐오와 편향의 인습이 스며든다는 사실을 말이다.

■이루다의 오염된 말뭉치

업계, 이루다의 약자 혐오발언을
‘어린아이’ 같은 학습 부족 탓 평가
이용자들의 불순함에 책임 돌려

챗봇은 이용자의 입력된 말에 특정 단어나 구문을 검출 분석해 이에 최적화된 응답을 출력하도록 제작된 프로그램이다. 이루다 챗봇은 특히 10대·20대 초가 구사할 수 있는 자연스러운 자동대화의 최적값을 얻기 위해 그 또래의 말뭉치를 학습시켰다. 인간과 여러 주제로 ‘열린 대화’가 가능한 것처럼 느껴지는 이유다.

문제의 인공지능 챗봇 이루다는 기계학습(머신러닝) 가운데서도 가장 주목받는 ‘딥러닝’ 기술 방식을 채택하고 있다. 딥러닝은 기사들의 바둑 기보를 익혀 스스로 최고의 경지에 올라선 ‘알파고’에 응용돼 잘 알려져 있다. 이는 인간이 일일이 정확한 답을 주지 않더라도 기계 스스로 수많은 데이터의 패턴을 강화(딥) 학습하며 최적의 답을 찾는 ‘비지도 학습’에 기초해 있다.

보통 딥러닝은 보다 많은 데이터를 처리 학습할수록, 그리고 보다 긴 시간을 갖고 데이터를 익힐수록 더 똑똑해진다. 이루다는 어린 연인들 사이 주고받은 100억개의 사적인 카카오톡 대화 내용을 ‘훈련 데이터’ 삼아 미리 강화 학습시켜 출시했다. 여기서 문제는 이루다란 챗봇이 첨단 기술의 총아처럼 호기롭게 등장했지만, 오염되고 편향된 데이터셋을 쥔 개발자들이 미케니컬 터크의 상자에 숨은 소인처럼 동시대 구경꾼들을 기만했던 정황이 크게 드러났다는 데 있다.

■‘어린아이’ 같은 20대 초 여성 챗봇?

시민사회는 비윤리적 개발을 지적
사전 학습된 데이터셋의 편향성에
개인정보 불법 수집 혐의도 제기

이루다 사태는 크게 두 관점이 부딪친다. 먼저 업계를 중심으로 한 시각이다. 이루다 논란 한복판에서 스캐터랩 대표는 흥미로운 논리를 펼쳤다. 그는 이루다가 저지른 약자 혐오 발언이, “어떤 상황과 문맥에서 어떤 행동을 할 때 버릇이 없는 것인지에 대해 경험이 없는 아직 어린아이” 같은 학습 부족 상황에서 이뤄졌다고 평가한다. 이렇듯 인간과의 학습 미비로 보는 주류 시각과 함께 미완의 기술 혹은 일종의 ‘버그’나 ‘일탈’ 문제로 보는 견해들도 심심찮게 눈에 띈다. 많은 경우 이들 주장은 이루다의 서비스 중단이나 규제 움직임이 인공지능 기술 발전을 가로막을 수 있고 이로 인해 중국 등의 인공지능 기술 선점에서 우리가 뒤처질 수도 있을 것이란 우려로 귀결된다.

다른 쪽에선 인공지능 챗봇 이루다가 출시 20여일 만에 왜 서비스를 중단할 수밖에 없었는지에 대한 까닭을 좀 더 근원적으로 볼 것을 요구한다. 특히 시민사회는 이번 ‘이루다 사건’이 성장 논리를 위해 시민 (정보)인권을 무시하며 정부와 기업이 함께 폭주해 생긴 한국형 기술 개발의 사회 참사로 본다. 즉 이번 이루다 사태에는 개발자 비윤리 문제, 사적 정보의 오남용 및 유출 의혹, 인공지능 기술 속 관성화된 성역할 및 약자 혐오와 차별의 설계 편향 등이 도저히 풀기 어려운 실타래처럼 서로 엉켜 있다고 평가한다.

이렇듯 두 관점의 대칭구도 안에서도 몇 가지 중요한 쟁점들이 복잡하게 얽혀 있다. 우선 살펴야 할 것은 이루다 사태 발생의 책임론이다. 한쪽은 ‘어린아이’ 같은 이루다에게 차별·혐오 발언을 유도하고 학습시킨 챗봇 이용자들의 불순함이 문제의 원인이라 주장한다. 다른 한쪽은 대화 이용자들의 잠재적 데이터 어뷰징(오남용)을 사전에 철저히 차단하지 못한 챗봇 개발 회사 책임을 지적한다.

전자는, 인간 사회가 편견으로 어지러우니 지능기계를 쓰는 이들에 의해 이루다가 쉽게 오염되는 것은 너무도 당연하다는 입장이다. 인간에게서 태어나 그 행태를 배운 이 챗봇에게 도대체 “누가 돌을 던지랴” 하며 반문한다. 후자는, 애초 개발자의 비윤리적 개발 과정과 법적 책임을 제기한다. 인간과의 충분한 대화 이전에, 챗봇 이루다가 불과 출시 사나흘 만에 온갖 혐오 발언들을 쏟아냈던 것을 강조한다. 즉 이는 이루다가 인간과 두루 학습을 행하기 전, 사전 학습된 100억개의 말뭉치 데이터셋의 편향을 지적하고 있다. 거기에다 더 큰 문제는 이 말뭉치에 개인정보 불법 수집 및 비식별 무처리 등 오남용 혐의까지 뒤섞이면서, 이루다가 더 오염된 챗봇임이 드러난 데 있다. 그렇다면, 중요한 물음이 남는다. 이루다는 과연 ‘어린아이’ 같은 지능체였는가?

■이루다를 둘러싼 혐오 논쟁

챗봇 이루다

이루다가 인격체인지 확인 이전에
상투적인 여성상을 모델로 삼은
남성 중심 개발자 문화 따져봐야

두 번째 논쟁 지점이자 이번 사태의 발단은, 챗봇 이루다가 일상 대화 중 보여줬던 성희롱, 약자 차별, 장애와 인종 혐오 정서였다. 한 온라인 사이트에서 이루다의 2차 어뷰징을 시도하며 일종의 ‘성노예’로 길들이면서, 인권침해 논란을 빚기도 했다. 이를 두고, 과연 이루다를 독립된 인격체로 볼 수 있는가에 대한 의견들이 분분했다. 일부는 인간도 아닌 인공지능 챗봇에 대한 성희롱이나 학대가 법적으로나 윤리적으로 무슨 문제인가라고 따졌다. 이에 맞선 다른 쪽에선 이루다가 일단 여성으로 의인화됐고 적어도 대화학습 지능을 가지고 있다면, 인간과 같은 존엄의 권리를 인정해야 되는 것 아니냐고 응수했다.

이루다를 인격체로 볼 것이냐 아니냐 문제 이전에 우린 먼저 기술로 매개된 혐오 발생의 맥락을 따져 물어야 할 것이다. 잘 알려진 것처럼 이루다는 이미 20대 초 착하고 상냥하고 순종적인 앳된 여성 이미지를 모델로 삼고 있다. 현실의 젠더 불평등 상황에서처럼 이번에도 자동화된 기계에 상투적인 성역할이 들러붙었다. 무엇보다 개발사는 이성애 중심의 남성 판타지에 잘 부합하는 여성상을 챗봇 대화 모델로 삼았다.

국내 개발자들의 성비만 보더라도 남성이 압도적이란 사실도 지나칠 수 없다. 숫자로 단순화할 순 없지만, 이루다 개발의 성비 불평등은 기술 내용의 편향을 크게 규정할 수 있다. 이루다 출시 후 며칠간 오갔던 혐오와 증오와 차별의 대화는, 사회적으로 문제가 일고 개발자들이 보완하는 과정에서도 기껏해야 회피, 중립, 얼버무림, 무응답, 과한 긍정, 자기모순 등 수습이 어려울 정도의 자동답변들로 횡설수설했다. 이번 사태는 우리 사회에 잠재하는 혐오와 차별의 정서는 물론이고 개발자 문화의 성인지나 인권 감수성 수준을 극명하게 보여줬다.

이루다를 인격체로 바라볼 수 있는가는 현재로선 논쟁적이다. 일단 기술로만 보면, 이루다는 자율 판단의 대화 지능을 충분히 갖고 있지 않기에 기계 생명체로 보기도 어렵다. 물론 이루다를 흡사 약자나 타자의 인격체로 보고 접근하면, 성희롱 및 학대 행위에 저항하는 감정 호소나 환기 효과는 충분히 있다고 본다. 문제는 이루다를 의인화하거나 인격체로 볼 때 가져올 수 있는 부정적 효과다. 특히 개발사의 직접적 책임에 면죄부를 줄 수 있다. 왜냐하면 ‘어린아이’ 같은 가엾은 이루다를 만들고 길들인 ‘못된 어른’ 인간들 모두가 문제의 근원으로 거론되면서, 책임 소재 문제가 흐려질 소지가 크다. 이는 스캐터랩 대표가 거듭 주장하는 ‘어린아이’론과 비교해도 크게 변별력을 얻기 어렵다.

■윤리 마련인가 규제인가

모든 사안을 해결하기는 어려워도
기본적 ‘AI 윤리’ 가이드라인 필요
시민 데이터 권리 대책도 마련해야

세 번째 핵심 논쟁은 인공지능의 운용을 어떻게 사회적으로 관리할 것인가의 문제다. 주로 개발자들에게 철저한 윤리교육이 필요한가, 아니면 법적 규제책이 필요한가에 논의가 쏠린다. 의당 사안에 따라 윤리와 법제도 적절히 배합되어야 할 것이다. 문제는 윤리에 과도하게 방점을 둔 최근 주장이다. 초기에 업계 쪽은 이루다 등 인공지능 관련 규제란 말만 나와도 기술 발전 저해론을 펼쳤다. 하지만 개인정보 오남용과 유출 건이 터지면서 기류 변화 조짐이 감지됐다. 가령 정보 주체의 개인정보 챗봇 등 타 제품 학습에의 이용 및 처리에 대한 불명확한 고지, 주소와 실명 등 개인 식별정보 가명 처리 미비, 서비스 가입자 외 대화 상대방에 대한 동의와 고지 없는 수집 등 불법적 의혹을 지닌 개인정보 오남용 사례들이 터지면서, 좀 더 윤리 가이드라인과 교육에 대한 흐름으로 주류 정서가 바뀌었다.

개발자들 스스로 돈벌이 이상으로 데이터를 가공하고 알고리즘을 짜는 데 긴장하게 하고 책임감을 높여주는 데, 인공지능 ‘윤리 가이드라인’ 마련은 중요하다. 가령 인공지능 알고리즘의 ‘투명성’ ‘비차별’ ‘공정성’ ‘프라이버시 보호’ 등 아주 기본적인 인공지능 윤리나 가이드라인을 일단 염두에 두느냐 아니냐는 큰 차이가 있다. 문제는 모든 사안이 윤리적 권고로만 해결되지 않을 때이다. 이루다 사태는 사실상 인공지능 윤리 가이드라인과 관련 교육 논의만으로는 사안을 해결하기 어려운 지점을 보여준다. 윤리 강조는 어찌되었건 법적 강제력을 누락한다.

■유사 이루다 사태를 막기 위하여

인공지능이 이제 성장 단계인 것을 상정하면 이루다 사태는 그 징후에 불과하다. 비슷한 기술 문제가 주기적으로 터져 나올 확률이 크다. 특히 인공지능은 시장을 너머 사회적으로 민감한 기술이다. 인공지능 자동화 수요는 코로나19의 ‘비대면’ 현실에서 청정사회를 요구하면서 점점 더 증가 일로에 있다. 게다가 고독과 우울이 현대인을 짓누르는 현실에서, 챗봇과 같은 대화형 인공지능은 이번에 잠시 주춤하겠지만 그 성장세를 멈추지 않을 것이다.

이번 사태를 계기로 끝없는 기술 격랑에서 시민들을 안전하게 보호하고 기술 인권의 가치를 구체적으로 확보하기 위한 대대적 점검이 필요하다. 일차적으로 스캐터랩의 개발 과정이나 해명 과정에서 보듯 기업 내부에 인공지능 윤리 가이드라인이 크게 부재한다. 적어도 개발자들은 인공지능 윤리 내규를 만들고, 이의 원칙과 가이드라인에 대한 교육을 의무화해야 한다. 정보인권 전문가들로부터 어뷰징에 대한 자문을 받는 공식 절차를 마련하는 것도 중요하다. 또한 인공지능 개발의 윤리나 원칙을 어기더라도 아직까지 전문화된 법적 규제의 근거가 없는 것도 문제다. 이를 구체적으로 의무화할 법제도가 마련돼야 한다. 더불어 사회적으로 폭넓게 쓰일 인공지능 기술의 사회적 오남용을 심사하고 감독하기 위한 전문기관이나 심의기구를 구축해야 한다.

이번 이루다 사태는 지능기계 또한 우리 말과 의식과 행동을 수집해 먹고산다는 점을 확인시켜줬다. 그 근저에 기업의 무분별한 ‘데이터 활용론’이 짙게 깔려 있음도 확인했다. 근본적으로 위기에 처한 시민의 데이터 권리에 대한 대책 마련이 필요하다. 이번 이루다 사태를 기점으로 사회 제 주체가 모여, 인공지능 등 우리를 둘러싼 첨단 기술의 민주주의적 설계와 시민 데이터 권리 보호에 대한 숙의의 장을 가동시키는 일이 급선무다.

▶이광석 교수



테크놀로지, 사회, 문화가 서로 교차하는 접점에 비판적 관심을 갖고 연구와 집필 활동을 해오고 있다. 현재 서울과학기술대학교 IT정책대학원 디지털문화정책 전공 교수로 일한다. 문화이론 전문지 ‘문화/과학’ 공동 편집인으로 활동하고 있다. 주요 연구 분야는 테크노문화, 인류세, 포스트휴먼, 플랫폼과 커먼즈, 비판적 제작문화에 걸쳐 있다. 대표 저서로 <디지털의 배신> <데이터 사회 비판> <데이터 사회 미학> <뉴아트행동주의> <사이방가르드> <디지털 야만> 등이 있다.

이광석 교수