[인공지능의 두 얼굴] "독거노인 도움 음성합성AI 보이스피싱에 악용될 수 있어"

[인공지능의 두 얼굴 (16)] 장여경 정보인권연구소 상임이사
"AI의 학습·추론·판단 영역에서 프라이버시 문제 발생"
"정보주체가 원치 않으면 '데이터 학습' 활용 중단해야"

[미디어오늘 금준경, 박서연 기자]

정부와 정치권, 기업과 다수 언론이 인공지능 기술의 '산업성'에 주목하는 가운데 지속적으로 '우려'의 목소리를 내는 이들이 있다.

정보인권연구소는 시민단체 진보네트워크센터 등과 함께 인공지능 시대 정보인권의 위협을 우려하고 문제를 제기하고 있다. 공공기관 인공지능 채용 문제와 공항 출입국 안면인식 정보를 기업에 제공해 인공지능 시스템을 개발한 문제를 공론화했다. 인공지능 챗봇 이루다 학습 과정에서 개인정보를 무단으로 활용해 논란이 됐을 때는 관계기관에 신고하는 등 대응을 하고 나섰다. 인공지능 기술 발전에 따른 우려에 관한 연구를 하고 챗GPT 등 인공지능 기술에 관한 해외 규제 동향도 발 빠르게 국내에 소개하고 있다.

지난 6일 서울 서대문구 정보인권연구소 사무실에서 만난 장여경 정보인권연구소 상임이사는 인공지능이 스스로 추론하고 성장하는 '범용 인공지능'(AGI, artificial general intelligence) 발전에 따른 프라이버시 침해 우려가 커진다고 지적했다. 그는 “학습하고, 추론하고, 판단하는 각각의 영역에서 프라이버시 문제가 발생할 수 있다”고 했다. 특히 통신사 이용 내역이나 대출 내역 등 정보 가운데 개인이 특정될 수 있는 대목을 지운 가명정보로 만든 다음 이를 인공지능 학습 등에 활용하는 데는 “가명정보도 특정될 우려가 있고, 가명정보라 해도 당사자가 원치 않으면 활용을 중단할 수 있도록 해야 한다”고 했다.

▲장여경 정보인권연구소 상임이사. 사진=금준경 기자

오히려 한국의 개인정보 규제가 과도한 것 아니냐는 지적도 있다. 이와 관련 장여경 상임이사는 '정보 주체의 관점'을 강조했다. 그는 “정보 주체의 입장에서 문제를 바라봐야 한다”며 “가명정보라는 이유로 나의 민감한 정보가 들어간 데이터셋이 사고 팔린다. 이를 제대로 규제하지 못한다면 한국의 개인정보보호법이 과도하다는 주장은 과장이라고 생각한다”고 했다.

미국처럼 사전규제를 하지 않아야 한다는 주장에 관해 그는 “미국식을 주장하려면 미국식 사후규제가 한국에도 구현돼야 한다”며 “일리노이주에는 생체인식 보호법이 있어 페이스북의 얼굴 인식 등 생체정보 수집에 대응하는 집단소송을 한 결과 페이스북이 130만 명의 일리노이 주민들에게 합의금을 지급했다. 과징금은 기업의 의사결정이나 관행을 바꿀 만큼의 압박을 줘야 한다”고 했다.

- 공공기관 인공지능 면접 현황을 분석하고 문제를 공론화했다.
“채용 인공지능은 한국에서만 문제가 된 게 아니다. 하지만 해외에선 여러 독립적인 연구자들, 독립 언론에서 분석하고 조사하며 문제 제기가 이뤄졌다. 한국은 그러기 쉽지 않은 환경이고 면접을 본 청년 당사자가 직접 문제 제기를 하기도 어렵다. 이런 상황에서 공공기관 정보공개청구를 통해 자료를 얻을 수 있겠다는 판단이 들었다. 실제 조사를 해보니 공공기관은 자신들이 쓰고 있는 채용 알고리즘에 관해 알지 못하고, 알 생각도 없고, 민간 기업에 채용 자체를 일임하고 있더라. 심지어 탈락한 지원자가 왜 탈락했는지조차 해당 공공기관은 모르고 있었다. 이 같은 점을 밝혀낸 건 소득이지만 해외에서 문제가 된 것처럼 인종, 성별, 학력 등 어떤 차별이 존재했는지까지는 파악하지 못했다.”

- 인공지능 면접으로 인해 어떤 차별 문제가 있을 거라고 생각하나.
“실제 인공지능 면접을 앞둔 청년들은 고민이 많다. 외모로 인한 차별이 없는지, 긴장한 표정으로 한 말을 거짓말을 한 것으로 잘못 인식하는 건 아닌지, 외모나 사투리로 인한 차별이 있는 건 아닌지 등이다. 특히 음성 인식 과정에서 사투리를 제대로 알아듣지 못할 수 있다는 우려가 있다. 미국에선 인종차별, 영국에선 학력차별이 문제가 됐다면 한국에선 지역과 사투리를 차별할 수 있지 않을까하는 우려로 든다. 아이러니한 사실이 공공기관 인공지능 채용이 코로나19 대유행과 공공기관 채용 비리 대응 차원에서 급속도로 확산됐다. 공정하게 채용하는 걸 보여주겠다고 하면서 공공기관이 앞서서 인공지능 면접을 도입했다. 그런데 이게 진짜 공정한지 아무도 검증하지 않았다. 청년 지원자들에게 가혹하다.”

- 인공지능 면접을 준비하는 청년들은 혼란스러울 것 같다.
“그래서 떠돌아다니는 부정확한 정보나 조언에 많이 의존하고 있다고 한다. '무조건 웃어라' '몰라도 웃어라'라고 하거나 잘 모를 때는 긍정적인 단어를 쓰면 그냥 넘어간다거나 하는 식의 부정확한 정보에 의존하고 있다. 경제적 여유가 조금 있는 학생들은 사교육 시장에 의존한다. 인공지능 면접에 대한 사교육 시장이 있다. 코칭 한 번에 몇십만 원을 받는 경우도 있다. 그런데 이 코칭이 정확한지 아무런 객관적인 검증이 안 돼 있다.”

- 법무부에서 인천공항에 출·입국하는 시민들의 얼굴을 촬영해 인공지능 기술을 개발하고 있다는 사실도 밝혀냈다.
“저희와 진보네트워크센터 활동가가 함께 맡았던 일이다. 국가기관에 도입된 인공지능 기술이 무엇이 있는지 조사하다가 이슈를 발굴하게 됐다. 공항에서 찍은 출입국자 얼굴 사진 등 생체정보 1억7000만 건을 사기업에 위탁해 인공지능 식별추적 시스템 개발한 사업이었다. 내국인은 2005년부터 2021년까지 출입국 심사를 받은 사람들, 외국인은 2010년부터 2021년까지 입국한 사람들이다. 피해 규모는 한국에 출입국한 상당수 내국인과 외국인을 거의 아우를 정도로 방대하다. 이렇게 얻은 데이터셋을 입찰에 참여한 모든 민간 기업들에 제공했다. 사업 관련 서류들을 읽어보면 출입국 데이터를 기업에 개방하기 위해 사업을 핑계 댄 게 아닌가 생각이 들 정도다. 얼굴 인식 기업들이 한국은 데이터가 없다고 하니, 공항에 출입국한 사람들의 얼굴 자료를 갖다 쓰도록 위법적으로 개방한 게 아닌가하는 생각이 든다.”

▲ 참여연대와 진보네트워크센터, (사)정보인권연구소, 민주사회를 위한 변호사 모임 등 4개 단체는 2022년 1월27일 서울 삼청동 감사원 앞에서 '법무부·과기부의 얼굴인식 인공지능식별추적 시스템 구축 사업에 대한 공익감사청구' 기자회견을 열었다. 사진=박서연 기자.

- 관련해 법적 대응을 했는데 결과는 어떻게 됐나.
“여러 수단을 썼지만 실패했다. 개인정보보호위원회에 진정을 넣었지만 '사업 자체는 위법이 아니다'라고 판단했다. 그래서 법무부에 개인정보 열람을 요청했는데 거절당했다. 이후 개인정보 분쟁조정을 신청했다. 데이터셋에 누구의 정보가 들어갔는지 확인하기 위해 열람 신청을 했는데 이미 파기돼서 알 수 없다고 한다. 내 얼굴을 가져갔는지 아닌지조차 국가기관이 확인 못한다고 한다. 있을 수 없는 일이라고 생각한다. 이후 감사원에 감사 청구를 했더니 감사원도 문제가 별로 없는 것 같다며 넘어갔다. 이제 헌법소원 하나 남았다.”

- 최근 생성형 인공지능 기술이 주목 받으면서 프라이버시와 보안 측면에서 위협이 있을 거라는 전망이 나온다.
“엄밀히 말하면 '생성형' 자체에 주목하기보다는 '범용 인공지능'에 주목하고 이에 관한 규제가 국제적으로 논의되고 있다. 인공지능이 글이나 이미지를 생성해서 일으키는 위험성 문제도 있지만 그보다는 범용 인공지능을 개발할 때 예상하거나 통제하지 못하는, 전혀 알 수 없는 미지의 목적으로 활용될 수 있다. 예를 들어 음성합성 인공지능을 출시했다면 독거노인에게 도움이 될 수도 있지만 보이스피싱에 악용할 수 있다. 개발한 쪽에선 '우리가 생각한 사용 방식이 아니야'라며 책임 회피를 할 수 있다. 모두가 책임을 회피하면 결국 그 것으로부터 영향받는 사람들만 피해를 보게 된다. 중요한 건 책임성을 어떻게 확보하냐는 거다.”

- 누가 책임을 져야 하나.
“법률가들은 주로 개인이나 법인이 책임지기 모호하니 인공지능에 법인격을 부여해 인공지능이 책임지게 하자는 얘기를 한다. 그러나 정보인권정책 활동가들은 인공지능의 책임을 받아들이지 않고 있다. 우리는 반드시 자연인이나 법인이 책임을 져야 된다고 생각한다. 인공지능에게 별도의 법인격을 줘서 책임을 지게 한다는 건 돈으로 물어주겠다는 것처럼 들린다. 제가 보기에 올바른 책임성 구현이 아니라고 생각한다.”

- 인공지능의 학습 데이터와 관련한 논란도 있다.
“데이터 문제는 생성형 인공지능이 주목 받기 전부터 논의가 돼왔다. 지능정보화 기본법상 지능정보 기술에 대한 정의가 학습하고, 추론하고, 판단하는 기술이라고 돼 있다. 이 각각의 영역에서 프라이버시 문제가 발생할 수 있다. 영국의 개인정보 감독기구가 인공지능 기업에 보내는 서한을 발표했다. 인공지능 기업이 데이터를 다룰 때 개인정보보호법을 준수하라고 했다. 한국 개인정보보호위원회도 관련 내용을 발표한다고 하는데 어느 정도 수준이 될 지는 지켜봐야 할 것 같다.”

- '데이터'와 관련해 구체적으로 어떤 문제가 있나.
“우선 가명처리(개인정보 일부를 삭제·대체하는 등 가명으로 처리해 추가 정보 없이 개인을 알아볼 수 없도록 하는 처리 방식) 문제다. '이루다 사태' 때 있었던 문제인데 이루다 개발사인 스캐터랩이 5~7년 전 '연애의과학'(연인 간 카카오톡 대화 내용을 제출하면 상대의 심리를 분석해주는 서비스) 등 서비스의 카카오톡 대화 내용을 토대로 학습시켰다. 여기에는 초등학생의 정보도 들어가 있었지만 가명 처리가 제대로 안 돼 개인정보가 드러났다. 개인정보보호위원회는 가명처리를 하지 않은 실명 데이터 학습은 위법하다고 판단했지만, 가명처리를 해서 장기간 보관한 데이터를 쓰는 데는 명확하게 판단하지 않고 넘어갔다.”

▲ 개인정보와 가명정보의 차이. 사진=개인정보보호위원회 유튜브

- 가명된 정보는 기업이 파기하지 않아도 되는 건가.
“민변과 시민사회가 SK텔레콤을 상대로 가명처리된 데이터셋 사용 처리를 정지해달라는 '가명처리 정지 요구권' 소송에서 지난 1월 1심 승소했는데, 당시에도 쟁점이 됐다. 가명 처리했다고 기업이 인공지능 학습을 비롯해 무한대로 사용할 수 있나. 여기에 관해 정보 주체(당사자)는 아무런 권리를 행사할 수 없게 돼 있다. 가명처리를 하면 개인정보가 아닌 것으로 해석돼 '내 정보를 안 쓰면 좋겠다'는 권리행사 자체를 할 수 없게 된다. 이게 굉장히 중요한 문제이고 해결이 안 된 채로 잠복해 있다. 원치 않는다면 자신의 정보가 학습용으로 쓰이지 않도록 권리를 행사할 수 있어야 한다.”

- 가명된 정보라 해도 개인정보가 드러날 수 있다는 점을 전부터 지적해왔다.
“수집된 데이터 중에는 이루다 서비스에 개개인의 성생활 관련 내용이 학습된 것처럼 굉장히 민감한 것도 있다. 청소년들에게 인기를 끌었던 '나쁜 기억 지우개'라는 고민 상담 앱이 있다. 이 서비스도 이용자들의 상담 내역을 가명처리한 다음 데이터를 판매해 논란이 됐다. 과거 SK텔레콤이 가입자 정보를 가명처리해 판매하는 거래소를 두고 있었다. 실제 SK텔레콤이 기업에 판매한 데이터셋을 보면 '장애인 위치정보 데이터셋' '청년 연체자 데이터셋' '외국인 위치정보 데이터셋' 등이 있다. 실제 데이터를 보면 가입자 이름은 가렸지만 장애유형과 연령대를 알 수 있고, 위치를 알 수 있다. 15세의 한 시각장애인은 낮에는 A동에, 밤에는 주로 B동에 있다. 이를 추론해보면 가명정보라고 하지만 누구인지 식별이 될 수도 있다. 이런 정보를 가명정보라고 해서 판매해도 되는지 의문이다.”

▲ 인공지능 챗봇 이루다

- 가명정보라 해도 기업이 활용할 수 있는 범위를 법에서 규정하고 있다.
“한국 개인정보보호법의 문제가 거기에 있다. 현재 개인정보보호법은 '과학적 연구' 목적으로 가명처리된 데이터를 사용할 수 있게 했다. 문제는 '과학적 연구'의 정의에 기업의 기술개발이 들어간다. 기업은 자사 제품 개발을 위한 인공지능 학습을 '과학적 연구'라고 광범위하게 해석한다. 이게 굉장히 위험하다. 과학적 연구라는 건 피어 리뷰(동료 전문가에 의한 평가)가 가능한 학술 연구에 한해야 한다. 실상은 과학적 연구가 아니라 기업에서 특정 제품 출시를 앞두고 고객 데이터를 막 가져다 쓰겠다는 것이다.”

- 데이터 추론에는 어떤 문제가 있나.
“과거 한국장학재단이 연체자 데이터를 분석해 추론한 데이터가 언론에 보도된 적 있다. '광주 대전 제주 지역 대학생'들이 학자금 연체율이 높고 '전문대가 4년제에 비해서 연체율이 높다'는 등 연체자 패턴을 발표했다. 이런 추론은 굉장히 편향적이라고 본다. 다른 나라에선 인종차별 문제가 심각한데, 한국에는 학력과 지역 차별 문제가 잠복해 있다고 생각한다. 실제 이 추론을 대출 심사 과정에 적용하는 등 의사결정에까지 반영했는지는 모르겠지만 이런 편향적 추론을 토대로 의사결정을 한다면 위험하다. 이런 편향적 추론이 나왔을 때 '이래선 안 된다'고 얘기할 수 있는 보호장치가 없다.”

- 인공지능 서비스 출시 후 이용 과정에서 불거지는 보안 우려도 있다.
”보안이 완벽히 지켜질지 의문이고, 이용자가 입력한 내용을 인공지능이 자기 학습용으로 쓸 수 있다. 그래서 삼성 등 기업에서는 챗GPT를 업무에 쓰지 말라고 한다. 국가정보원이 관련한 가이드라인을 발표한다고 했는데 같은 맥락이다. 지금 공공기관이 앞다퉈 챗GPT를 쓰려고 하는데, 우리 공공기관의 정보가 미국의 한 기업의 서버에 쌓이는 점도 문제다. 한국 기업이라고 해서 문제가 없는 건 아니다. 수집한 데이터들에 대한 보안을 지켜주는지 아니면 학습용으로 다시 사용을 하는 게 아닌지가 문제가 된다.“

- 반면 기업에선 한국은 개인정보 규제가 까다로워 사업하기 어렵다고 말한다.
“아무리 한국의 개인정보보호법이 세계 최고 수준의 규제이고, 그래서 한국 기업들이 인공지능 기술 개발에 제약이 많다고 해도 정보 주체의 입장에서 이 문제를 바라봐야 된다고 생각한다. 정보 주체 입장에서 한국의 개인정보 문제를 바라보면 자신의 정보가 유출됐는데 제대로 보상받지 못하고, 팔렸는데도 보상받지 못하고, 해커를 처벌하지 못하고, 기업을 처벌하지 못하고 있다. 또한 가명정보라는 이유로 나의 민감한 정보가 들어간 데이터셋이 사고 팔린다. 이를 제대로 규제하지 못한다면 한국의 개인정보보호법이 과도하다는 주장은 과장이라고 생각한다. "

- 챗GPT가 주목 받으면서 해외 기업과 경쟁하기 위해 개인정보 규제 완화가 필요하다거나, 토종 인공지능 기업을 육성해야 한다는 주장이 언론에 다수 보도됐다.
“그렇게 강조하는 토종 인공지능 기업의 '먹거리'가 무엇인가. 결국 '무규제'로 우리 국민들의 데이터를 테스트베드로 쓰겠다는 것이고, 마찬가지로 무규제 혹은 굉장히 규제가 완화된 저개발 국가에 진출해 그 곳의 데이터를 쓰고 알고리즘을 적용하겠다는 뜻으로 보인다. 이와 관련해 정책 결정권자들이 문제의식이 없다고 본다. 정보인권 단체들에게 가장 중요한 준거는 국제인권 규범이다. 국제인권 규범에 부합하는 개인정보보호 정책의 수립이 이뤄져야 한다. 그런데 토종 인공지능을 강조하는 사람들의 주장의 이면에는 국제 인권규범을 회피하겠다는 암시가 자리 잡고 있어 걱정스럽다.”

- 기업이나 기업의 이익을 대변하는 쪽에선 시민사회가 신기술 활용을 막는 것처럼 주장할 때가 있다.
“기술로 인한 어떠한 편익이 있다면 이 편익은 공평하게, 그리고 평등하게 누릴 수 있어야 한다. 현재 전세계적으로 위험에 대한 논의가 이뤄지고 있는데 위험을 언급하지 않고 눈 감고 넘어가는 건 너무 위험하다. 새로운 기술을 활용하지 말자는 게 아니다. 위험이 버젓이 있는데 위험을 얘기했다는 이유로 기술 혁신을 반대하는 것처럼 얘기하는 건 논리적 비약이다.”

- 해외에선 어떤 식으로 규제를 논의하고 있나.
“인공지능에 의한 차별적인 의사결정을 받는 사람들이 있는지 주의 깊게 살펴보고 있다. 미국의 알고리즘 책무성 법안을 보면 영향을 받는 건 소비자들이라고 보고 있다. 그래서 인공지능 알고리즘을 채택한 기업들이 소비자에게 미치는 영향을 평가하라고 한다. 유럽연합의 인공지능법도 영향을 받은 사람들에게 권리 구제가 돼야 되고 정보를 공개해야 된다는 내용을 담고 있다. 그런데 한국의 인공지능법이나 관련 법안에선 영향을 받는 사람들을 고려하지 않고 기업을 생각해 '선허용 후규제' 원칙을 기반으로 논의하고 있다.”

▲ 장여경 정보인권연구소 상임이사. 사진=금준경 기자

- 미국에선 관련한 규제를 하지 않는다는 주장도 있다.
“미국식을 주장하려면 미국식 사후규제가 한국에도 구현돼야 한다고 생각한다. 미국엔 회사가 흔들릴 정도의 징벌적 손해배상, 그리고 집단소송 제도가 있다. 페이스북이 미국에서 얼마나 많은 집단 소송을 당하고 있나. 일리노이주에는 생체인식 보호법이 있어 페이스북의 얼굴 인식 등 생체정보 수집에 대응하는 집단 소송을 한 결과 페이스북이 130만 명의 일리노이 주민들에게 합의금을 지급했다. 페이스북은 퀴즈를 통해 개인정보를 수집해 기업 등에 넘긴 개인정보 유출 사건인 '케임브리지 애널리티카' 사건으로 50억 달러(약 5조 9000억원)의 과징금을 냈다. 과징금은 기업에게 경고를 주는 효과가 있어야 한다. 기업의 의사결정이나 관행을 바꿀 만큼의 압박을 줘야 한다. 그 정도가 아니면 그냥 돈 내고 마는 수준이 된다. 미국이 전반적으로 규제가 완화돼 있지만 최근 들어 초당적인 규제 움직임이 있다. 기존에는 주별로 프라이버시 법이 있었는데 연방 수준에서 규제를 해야 한다는 얘기가 나온다.“

- 문재인 정부 때 개인정보보호위원회가 국제 규범에 맞춰 장관급 기구로 격상됐다. 이 기구가 어떤 역할을 해야 한다고 생각하나.
“'흩어진 이익'이라는 표현이 있다. 정보 주체가 중요한 당사자인데 이 사람들이 다 흩어져 있다 보니 목소리를 제대로 내기가 어렵다. 반면 개인정보 처리자인 기업은 돈도 많고, 전문가도 많고, 대리하는 대형로펌, 그리고 협회도 있다. 그래서 개인정보 처리자들이 강한 목소리를 내는 데 비해 정보 주체들은 자신의 의사를 대변할 수 있는 절차나 메커니즘이 취약하다. 그래서 시민사회는 정보 주체의 목소리를 열심히 대변하려 하는데 자원이 부족하다. 개인정보보호위원회가 기업 등 개인정보 처리자, 그들의 로펌과 동등하게 정보 주체의 의견을 청취해야 한다고 생각한다. 지금은 상당히 기울어진 운동장이다.”
“중앙행정기관이다 보니 정부의 기조를 맞춰야 한다는 메시지들이 최근 보이기도 한다. 예를 들면 인공지능 산업 육성에 있어 개인정보보호위원회가 균형을 잡아야 하고 혁신을 방해하지 않아야 한다고 하는데, 개인정보 보호를 완화한다는 것, 그리고 회피할 수 있도록 한다는 건 개인정보 보호기구의 근본적인 설립 목적을 벗어나는 일이라고 생각한다.”

[미디어오늘 바로가기][미디어오늘 페이스북]
미디어오늘을 지지·격려하는 [가장 확실한 방법]