김명주 인공지능윤리정책포럼 위원장 “AI시대 정보 유출은 차원 달라… 정보 모아 재구성·추론 등 가능” [심층기획-AI 앞에 선 민주주의]

“AI, 선거 활용 땐 유권자에 고지… 딥페이크 기술 발달로 혼동 우려”

김명주 인공지능윤리정책포럼 위원장(서울여대 정보보호학과 교수)은 2018년 국내 첫 ‘인공지능(AI) 윤리 가이드라인 서울 팩트(PACT)’를 만들어 국가에 헌정했다. 이 공로로 대통령으로부터 근정포장 훈장을 받았다. ‘AI시대의 권리장전’을 만들고 있는 김 위원장이 생각하는 인공지능과 윤리에 관한 이야기를 지난 1일 서울 노원구 서울여대 연구실에서 들었다.

―AI에게 윤리가 필요한 이유는.

“AI는 다른 기술과 달리 사람의 결정을 대신한다. 사람은 양심이 있어서 선악을 구분하고, 그게 안 되면 법에 의해 규제를 받는다. 그런데 인공지능은 양심이 없으니 선악의 기준, 윤리 의식을 넣어줘야 한다. 의식이 있지 않으니 학습을 시키거나 알고리즘을 짜야 한다. 인간 공동체 속에서 같이 활동하기 때문에 인간의 가치 기준을 공유해야 한다.”

―알고리즘 편향성은 왜 문제인가.

“우리 사회에는 이미 편향성이 있다. 지역·성별·인종·민족에 따른 차별, 이런 것들이 사회적 데이터에 다 녹아 있다. AI가 학습하면 편향성도 똑같이 배운다. 이 문제를 고치자고 무작정 데이터를 수정하는 것도 주의해야 한다. 인위적 개입이 자칫 왜곡을 발생시킬 수 있기 때문이다. AI를 만들 때 보호변수가 있는데, 이것에 따른 테스트 결과를 공개해야 한다. 유네스코도 AI에 대해 인류 문화가 획일화될 가능성, 다양성이 사라질 수 있다고 경고했다.”

―AI 면접에 대해서는 어떻게 보나.

“AI가 학습한 데이터는 과거 자료다. 예를 들어 기존 합격자 중 남자가 많다면 이 AI는 남성을 많이 채용하는 결과를 내놓는다. AI의 공정성을 높이기 위해 인간 면접관이 채택한 답을 따르도록 학습시키지만 이 인간 면접관이 가진 편향성은 걸러내기 어렵다. 객관적 테스트를 거치도록 한 뒤 AI의 성향을 공개할 필요가 있다. 또 응시자에게 AI와 사람 면접관 중 선택할 권리를 줘야한다.”

―선거에 활용됐을 때 문제점은.

“과거에는 스크립트를 학습해서 그대로 움직였다. 현재는 능동적 AI로 진화하고 있다. 후보자를 바탕으로 학습한 챗봇을 내놓고, 공약을 훈련시켜 유권자와 대화하는 형태가 바로 나올 것이다. 문제는 AI가 이상 발언을 했을 때 누가 책임을 질 것인가다. 유권자에게 AI 기술을 사용할 경우 이를 꼭 알려야 한다. 딥페이크 기술이 발달하면서 자칫 현실과 혼동하는 사람이 생길 수 있기 때문이다.”

―개인정보 유출 양상도 달라질까.

“내 삶 속에 들어와 대화하고, 나의 모든 취향과 성향을 알고 있는 AI 시대의 정보유출은 차원이 다르다. AI는 데이터를 모아 조립하고, 추론까지 한다는 점이다. 이를 프로파일링이라고 하는데, 나는 이미 잊은 과거의 일을 작은 정보를 모아 새롭게 재구성하고 추론해낼 수 있다. 국내에선 아직 이 단계에 대한 강력한 규제가 없는 상황이다.”

김명주 인공지능(AI)윤리정책포럼 위원장이 지난 1일 서울 노원구 서울여대 연구실에서 세계일보와 만나 AI윤리의 중요성에 대해 강조하고 있다. 남제현 선임기자

―교육에는 어떤 문제가 생길까.

“교육에선 별도의 AI 윤리 가이드라인이 필요한 것 같다. 특히 표절에 관한 부분에서 문제가 많아질 수 있다. 학생은 배우는 과정인데, 단순히 과제를 마치듯 답만 만들어내다 보면 정작 학습을 통해 배워야 할 부분을 놓칠 수 있다. 학생들에게는 AI를 쓸 때, 어디에 썼는지 밝히는 것이 필요할 것 같다.”

※본 기획물은 정부광고 수수료로 조성된 언론진흥기금의 지원을 받았습니다.

조병욱 기자 brightw@segye.com