이루다의 추락..AI에 윤리가 필요한 이유

무자비한 알고리즘 / 디카타리나 츠바이크 지음 / 유영미 옮김 / 니케북스 펴냄 / 1만8000원

[사진 제공 = 스캐터랩]

수년 전 바둑 인공지능(AI) '알파고'가 수많은 프로 바둑기사를 손쉽게 격파한 이후 AI는 인류를 구원할 '백마 타고 오는 초인'으로 부상했다. 사람들은 AI가 월등한 인식력과 판단력으로 인간의 삶을 획기적으로 바꿔줄 것으로 기대했다. AI·빅데이터·딥러닝 등 관련 산업에는 정부 지원과 기업 투자가 이어졌고, 우수한 인력들도 이 분야로 몰렸다.

이 '초인'이 자칫 악당이 될 수도 있다고 인식하게 된 건 한국에선 비교적 최근 일이다. 스타트업 스캐터랩이 만든 AI 채팅로봇 '이루다'가 이달 초 혐오 표현, 개인정보 침해 등 논란을 일으키며 AI의 윤리성에 대한 논의가 대중적으로 대두됐다. 이루다는 게이·레즈비언·흑인 등 소수자들을 혐오한다고 말했고, 또 대화 과정에서 실존 인물의 개인정보를 일부 유출했다는 의혹을 받았다. 최근 국내에 번역 출간된 카타리나 츠바이크 독일 카이저슬라우테른 공과대 교수의 저서 '무자비한 알고리즘'은 AI의 이 같은 위험성을 일찍부터 경고한 책이다. 그는 독일연방의회 AI 분야 전문조사위원회 위원을 맡고 있는 AI 윤리 전문가다. 원서는 2019년에 나왔음에도 지금 논의된 사항들에 빠짐없이 답해준다.

사람들이 흔히 착각하는 사실은 AI는 인간이 아니기 때문에 중립적이고 공정한 판단을 내릴 수 있다는 것이다. 책은 AI가 작동하도록 하는 알고리즘은 중립적일 수 있어도 이 알고리즘을 만드는 사람들은 중립적이고 공정하지 않다며 반박한다. 미국에서 쓰이는 재범 예측 소프트웨어 '컴퍼스(COMPAS)'를 예로 든다. 재범을 저지르는 사람들에게서 종종 나타나지만 재범을 저지르지 않고 사회에 잘 동화된 사람들에게서는 드물게 나타나는 특징을 확보하고, 이를 바탕으로 재범 가능성을 예측하는 프로그램이다.

책은 컴퍼스가 소프트웨어 회사의 자의적 판단에 의해 불필요한 정보도 수집하는 것을 문제 삼는다. 기존 범법행위에 대한 정보 외에도 부모나 형제자매가 전과자인지, 부모가 일찍 이혼했는지 등이다. 저자는 "이것은 개개인에게 영향을 미칠 수 있는 상황이지만, 개개인이 책임지거나 바꿀 수 있는 사안이 전혀 아니다"며 도덕적 관점에서 비판한다. 이를 감수할 만큼 컴퍼스가 좋은 성능을 보여주는 것도 아니다. 책에 따르면 컴퍼스는 경미한 범법행위에서는 70%를 웃도는 예측률을 보여주지만, 폭력을 동반한 범법행위를 저지를 것으로 예측된 사람들에 대한 예측률은 25%밖에 안 됐다.

AI를 연구하고 빅데이터를 다루는 사람들이 뚜렷한 윤리의식 없이 데이터를 마구잡이로 수집하는 점도 문제가 된다. 책은 얼굴 인식 소프트웨어를 연구하는 학자들이 호르몬 치료를 받는 트랜스젠더의 동영상을 동의나 저작권 표기도 없이 활용한 사례를 소개한다. 학자들은 하나같이 이렇게 해명한다. "데이터세트의 모든 데이터가 이미 공개적으로 사용할 수 있게 돼 있다" "데이터는 어차피 공개된 것인데 난 그냥 디지털로 수집했을 뿐이다"라고.

저자는 '손해잠재력'과 '항의 가능성'이라는 두 가지 기준을 제시하며 AI와 이를 구성하는 알고리즘에 대한 규제를 주장한다. 손해잠재력은 잘못된 알고리즘으로 인해 사회가 손해를 입는 정도를 가리킨다. 예컨대 상품 추천 시스템의 오류는 무시할 수 있는 수준이지만, 입사지원자 평가 시스템의 손해잠재력은 막대하다. 기업은 부적합한 지원자를 채용하게 돼 손해를 보고, 입사지원자도 제 능력을 발휘할 기회를 잃는다. 저자는 손해잠재력이 너무 클 때는 활용을 금지해야 한다고 주장한다.

'항의 가능성'은 잘못된 알고리즘에 의문을 제기하고 변화시킬 수 있는 정도를 뜻한다. 페이스북이나 유튜브 등은 다른 서비스 제공자와 경쟁하면서 시스템을 개선할 수 있지만, 중국의 시민점수 등 프로그램은 국가가 독점적으로 운영하기에 개선이 쉽지 않다.

[서정원 기자]

[ⓒ 매일경제 & mk.co.kr, 무단전재 및 재배포 금지]