이루다 개발사, 수집한 연인 대화 열람 의혹에 "진상조사中"

[일문일답]

성차별·소수 혐오 논란 속에 서비스를 잠정 중단한 AI(인공지능) 챗봇 '이루다'의 개발사가 개인들에게 수집한 연인 간 카카오톡 대화를 직원들끼리 돌려봤다는 의혹에 12일 "사내에서 자발적으로 진상조사위원회를 구성해 조사하고 있다"고 밝혔다.

이루다의 개발사 스캐터랩은 이날 보도자료를 통해 "조사위원회에서는 과거부터 현재까지 지속되고 있는 스캐터랩 전 팀원이 참여하는 카카오톡 대화 조사를 완료했다"며 "당해년도 카카오 단톡(단체 채팅방)에서는 해당 내용이 발견되지 않았다"고 밝혔다.

스캐터랩은 이어 "또 다른 사내 메신저 채널인 슬랙에 대해서는 다수 대화 채널이 있는 관계로 현재 계속해서 조사를 진행 중"이라며 "조사 결과는 투명하게 공개하겠다"고 덧붙였다.

앞서 뉴스1에 따르면 스캐터랩의 기존 서비스 '연애의 과학'을 통해 개인들에게 분석 의뢰를 받은 연인·파트너 간의 카카오톡 대화 데이터를 스캐터랩 직원들이 돌려봤다는 전 직원의 증언이 있었다.

스캐터랩은 전날 서비스 일시 중단을 알린 입장문을 통해 사과한 개인정보 유출 의혹과 AI 학습 데이터 편향성 논란과 관련해 이번 보도자료에서 부연설명했다. 또 이날 오전 11시부터 오후 6시까지 순차적으로 이루다 서비스 중단 작업을 하고 있다고 밝혔다.

━

다음은 스캐터랩의 일문일답.

━

-수집된 대화를 직원끼리 돌려봤다는 증언 사실 여부.

▶해당 이슈를 인지함과 동시에 사내에서 자발적으로 진상조사위원회가 구성돼 조사 진행 중이다. 조사위에서는 과거부터 현재까지 지속되고 있는 스캐터랩 전 팀원이 참여하고 있는 카카오톡의 대화의 조사를 완료했다. 당해년도 카카오 단톡에서는 해당 내용이 발견되지 않았다. 또 다른 사내 메신저 채널인 슬랙에 대해서는 다수의 대화 채널이 있는 관계로, 현재 계속해서 조사를 진행중이다. 조사 결과는 투명하게 공개하겠다. 진상을 신속히 조사하고, 만에 하나 의혹이 사실로 드러나는 경우에는 관련자들에게 엄중히 책임을 묻고 조속히 필요한 조치를 하도록 하겠다.

-스캐터랩 데이터 보안 환경은.

▶망분리가 된 서버 환경 하에, 사내 보안 부문을 총괄하는 담당자를 지정해 관리하고 있다. 특히 개인정보와 관련된 원 데이터에 접근할 수 있는 권한은 엄격하게 제한하여 철저히 관리하고 있다. 연애의 과학의 원본 데이터는 지정된 한 명의 담당자(CTO)만이 접근할 수 있다. 핑퐁 데이터는 개인 식별 정보가 제거된 상태로 분리해 별도 보관하고 있다. 데이터 점검이 필요할 경우에는 데이터 샘플링을 통해 극히 일부의 데이터만으로 점검한다. 일부 언론에서 제기하신 사이버 공격으로 인한 역코딩, 리버스 엔지니어링 등을 통한 데이터 복구 및 개인정보 유출과 악용은 일어날 수 없다.

-이루다가 연애의 과학 데이터 기반으로 학습했나.

▶이루다는 핑퐁 데이터베이스를 통해 프리트레이닝(사전 훈련) 단계를 거쳤고 이 단계는 연애의 과학 텍스트 데이터를 기반으로 학습이 진행됐다. 이 때 사용되는 데이터는 발화자의 이름 등 개인 정보가 삭제된 상태였다. 발화자의 정보는 성별과 나이만 인식이 가능하다. AI는 프리트레이닝 단계에서 사람간의 대화 속에 존재하는 맥락과 답변의 상관관계만을 학습하게 되며, 이 때의 데이터는 외부로 노출되지 않는다. 연애의 과학 사용자 데이터는 사용자의 사전 동의가 이루어진 개인정보취급방침의 범위 내에서 활용했다.

-개인정보 보호를 위한 비식별화(몇몇 정보를 결합해도 개인을 특정할 수 없도록 하는 것) 조치로 어떤 것을 했나.

▶이루다는 회원 정보와 연계돼 있지 않은 별도의 데이터베이스(DB)에 수록된 문장으로 이용자에게 응답하고 있다. DB에는 1억개의 문장이 개별·독립적으로 저장돼 있다. 개별 문장 단위의 대화 내용에서는 알고리즘에 의해 비식별화 조치를 했다. 숫자와 영문, 실명 정보 등은 기계적인 필터링을 거쳐 삭제했기 때문에 이루다의 최초 출시 당시부터 모두 삭제가 된 상태였다.

하지만 기계적 필터링 과정에서 되도록 많은 변수를 주려고 노력했으나, 문맥에 따라 인물의 이름이 남아 있다거나 하는 부분들이 발생했다. 다만 문장 내의 이름 정보와 다른 정보가 결합돼 이용되지 않음을 말씀 드린다. 서비스 출시 후 내부 모니터링 팀을 통해 필터링하며 대응 중이었지만 한글 등을 이용한 변칙적인 방법으로 답변이 이뤄진 경우 모두 걸러내지 못했다.

-이루다에 대한 향후 추가 조치는.

▶다음과 같이 업데이트하겠다. △실명 필터링 알고리즘 강화 △한글로 작성된 주소라도 노출되지 않도록 주소 필터링 알고리즘 업데이트 △대화 데이터 랜덤 변형을 통한 비식별화 조치 강화 △민감정보 노출 방지 알고리즘을 전면적으로 개선하여 개인정보 보호 강화.

-이루다의 대화 학습·답변 방법과 혐오·차별 발언에 동조하는 현상 관련성은.

▶이루다는 이전 약 10턴의 대화(이용자와 상호 주고받은 10회의 대화 기록)를 기반으로 다음 답변으로 가장 적절한 것을 선택하는 법을 학습했다. 실제로 이루다가 답변에서 어떤 감정과 컨텍스트를 가지고 갈 것인지는 사용자의 과거 10턴의 맥락에 달려있고, 사용자와 비슷한 표현을 사용하려는 경향이 있다.

이루다에 혐오·비하 단어가 입력될 가능성은 서비스 출시 전부터 상정했다. 이에 키워드 중에 표현 자체가 혐오 단어이거나 특정 집단을 비하하는 단어를 무조건 제거하도록 설정했다. 그러나 시나리오가 마련되지 않은 상황에서 이루다는 AI 알고리즘에 의한 판단으로 대답을 하게 된다. 단어 그 자체로는 혐오적인 표현이 아닐 수 있지만 맥락상 혐오·차별적 답이 나올 수 있는 대화를 시도할 경우 이루다가 이용자에게 공감하려는 과정에서 혐오, 차별 발언에 동조하는 것처럼 보일 수 있다.

-사용자가 이루다를 임의로 편향적으로 학습시키나.

▶사용자는 이루다를 실시간 학습 시킬 수 없다. 재학습은 분기별로 실시할 예정이었고 이루다는 (3주 전) 출시 이후에 추가 업데이트가 이뤄진 상태가 아니다. 베타 테스트가 2000명 정도에게 진행된 반면, 정식 출시 이후 80만명의 사용자가 몰렸다. 실제 서비스 출시 이후 사전에 대비한 것보다 더욱 넓고 다양하고 심각한 사용자 발화가 등장하다보니 예상하지 못했던 성적·편향적인 대화가 드러나게 됐다.

-혐오·차별 발언 동조 현상에 대한 조치는.

▶현실적인 조치로 키워드 기반으로 대응을 했다. 장기적으로는 AI 알고리즘을 더 많고 정제된 데이터를 통해 학습시키고, 알고리즘이 옳고 그름을 배워나갈 수 있도록 하는 방안이 필요하다. 혐오나 차별 문제를 키워드를 중심으로 그때 그때 수정을 하거나 필터링 등의 방법으로 보정을 하게 되면 해당 문제에 대해서 AI는 학습할 기회를 영원히 잃게 된다. 그렇게 되면 앞으로의 AI 대화 경험에 대한 전망은 부정적일 수 밖에 없다. 이루다가 이번에 이용자와 대화하면서 불완전했던 데이터를 더욱 엄격한 레이블링 기준을 도입해 학습시켜 사회 보편적 가치를 담은 AI가 될 수 있도록 개선하겠다.

[관련기사]☞ 배진웅 측 "오히려 여배우가 강제추행…증거 많다"☞ '마약 논란→아이콘 탈퇴' 비아이, 슬슬 복귀?☞ "남편, 아이 봐주던 사촌동생과 외도"…서장훈 '분노'☞ 배추밭 간 정용진…"뭐하는 분?" 묻자 "장사해요"☞ 개그맨 이세영, 쌍꺼풀 성형 2주만에 확 달라진 미모

백지수 기자 100jsb@mt.co.kr

<저작권자 ⓒ '돈이 보이는 리얼타임 뉴스' 머니투데이, 무단전재 및 재배포 금지>