인간에 오염된 데이터로 학습… “편향 없는 AI는 불가능”

AI의 편견과 차별, 왜 못 막나

머스크, 수낙 英 총리와 AI 대담 - 일론 머스크(오른쪽) 테슬라 최고경영자(CEO)와 리시 수낙 영국 총리가 2일(현지 시각) 런던에서 AI를 주제로 대담하고 있다. 머스크는 “AI는 역사상 가장 파괴적인 힘이 있다”며 “AI는 소원을 들어주는 램프 요정 같지만 그런 동화가 좋게 끝나는 일은 거의 없다”고 했다. /EPA 연합뉴스

“인공지능(AI)은 소원을 들어주는 ‘램프의 요정 지니’ 같습니다. 하지만 그런 동화가 좋게 끝나는 경우는 거의 없죠.”

2일(현지 시각) 영국 런던 랭커스터 하우스에서 리시 수낙 영국 총리와 대담에 나선 일론 머스크 테슬라 최고경영자(CEO)는 “소원을 조심해서 빌어야 한다”고 했다. 고도로 발달한 인공지능(AI)이 인류 문명에 돌이킬 수 없는 해를 끼칠 수 있으며, AI의 발전을 초기 단계부터 통제해야 한다고 꼬집은 것이다. 이날 머스크는 AI를 “역사상 가장 파괴적인 힘”이라며 “AI가 가장 똑똑한 인간보다 더 똑똑하게 될 것”이라고 말했다. 머스크뿐만 아니라 세계 각국과 빅테크 총수들이 입을 모아 ‘AI의 위험성’에 대해 목소리를 높이고 있다. 챗GPT가 출현한지 1년 만에 AI 기술이 급진적으로 발전하고 있는 상황에서 인간 세계의 편견과 차별을 증폭시키는 AI의 문제가 점차 심화되고 있기 때문이다.

그래픽=양진경

◇AI, 왜 편향되나

기술 매체 MIT 테크놀로지 리뷰는 “편향되지 않고, 팩트(사실)에만 기반한 AI는 기술적으로 불가능하다”고 했다. 이는 AI의 개발 방식 때문이다. 오픈AI의 챗GPT, 구글의 바드 등 AI 모델은 방대한 데이터를 땔감처럼 딥러닝(심층학습) 모델에 계속 학습시킨다. AI는 알고리즘을 이용해 데이터 안에서 패턴을 찾아내고 사람의 질문에 최적화된 답을 찾아낸다. 문제는 알고리즘과 데이터 모두 사람이 만들었기 때문에 이들의 의도를 완전히 배제할 수 없다는 것이다. AI 업체들은 편향성을 최소화하기 위해 ‘정제된 데이터’를 구매해서 사용하거나 AI의 답변을 검증해 수정하는 별도의 팀을 두고 있지만 이 역시 문제로 지적된다. AI 윤리를 연구하는 최예진 미 워싱턴대 교수는 “데이터를 분류하고 옳고 그름을 판단하는 사람 대부분이 백인 남성이어서 유색인종이나 여성의 목소리를 대변하지 못하는 것이 대표적인 사례”라며 “AI는 결국 만드는 사람의 편견을 그대로 배운다”고 했다.

특히 현재의 AI 개발 방식인 딥러닝은 개발자조차 원리를 완벽히 설명할 수 없는 ‘블랙박스’이다. AI가 내놓는 답변이 학습된 데이터 가운데 어디서 나왔는지 역추적이 불가능하다는 뜻이다. 답변 하나하나를 바로잡는 것은 가능하지만 앞으로 나타날 편향성을 예측하는 것이 불가능해, 언제든 오류가 나타날 수 있는 상태에서 서비스되고 있는 것이다.

이런 문제는 딥러닝 기술 창시자들조차 우려하고 있다. 딥러닝의 발전을 주도한 제프리 힌턴 토론토대 교수는 지난 5월 “AI가 킬러 로봇이 되는 날이 두렵다”며 “AI를 통제할 수 있다고 여길 때까지 AI를 확장하지 말아야 한다”고 했다. 조슈아 벤지오 캐나다 몬트리올대 교수도 “AI의 발전 속도를 알아차렸다면 효용성보단 안전성을 우선시했을 것”이라며 “(평생의 업적에 대해) 상실감을 느낀다”고 했다.

11월 2일 영국 블레츨리 파크에서 열린 AI 안전 정상회의 모습./영국총리실 제공

◇AI, 언젠가 사람을 역습할까

실제로 AI가 광범위하게 활용되면서 AI의 편향성은 심각한 문제가 되고 있다. 아마존이 과거 10년 치 채용 정보를 학습시켜 만든 AI 채용 시스템은 여성에게 낮은 점수를 주거나 배제하는 오류를 일으켰다. 통계적으로 지난 10년간 남성이 승진하거나 임원이 되는 경우가 훨씬 많았기 때문에 일어난 일이다. 지난 8월에는 미국 디트로이트의 한 흑인 여성이 흑인의 범죄 가능성을 높게 판단하는 AI 안면 인식 시스템 오류 때문에 억울하게 체포됐다며 경찰에 소송을 걸기도 했다. 블룸버그 통신이 최근 진행한 실험에서 대표 이미지 생성AI인 ‘스테이블 디퓨전’은 ‘패스트푸드 직원’이라는 키워드를 넣은 명령에서 70% 이상을 어두운 피부색을 지닌 인물로 묘사했다. 블룸버그는 “미국 패스트푸드점 직원의 70%가 백인임에도 현실을 왜곡하고 편견을 확대시켰다”고 했다. 하버드비즈니스리뷰는 “의료, 사법, 신용 평가 같은 분야에서 활용되는 AI의 문제는 치명적인 결과로 이어질 수 있다”고 했다. 돈이 없는 환자에게는 값싸고 성공 가능성이 낮은 치료법만을 제시하거나, 통계적인 정보만 중시해 충분한 추가 조사 없이 범죄를 단정하는 경우도 생길 수 있다.

AI 악용으로 인한 피해 사례도 최근 2~3년 사이 급증하는 추세다. 미국 민간 AI 연구기관 ‘Responsible AI Collaborative’ 집계에 따르면 올해 들어 지난달까지 가짜 뉴스 생성·여론 조작 등 AI 남용으로 인한 피해는 지난해 같은 기간보다 36%나 증가했다.

1일부터 이틀간 영국에서 열린 AI 안전 정상회의에서는 이른바 ‘프런티어 AI’로 불리는 미래 AI에 대비해야 한다는 목소리도 높았다. 프런티어 AI는 스스로 추론이 가능한 초고도 AI로 아직은 어떻게 만들 수 있을지에 대한 구상조차 이뤄지지 않았다. 하지만 현재의 AI가 알파고와 챗GPT라는 혁신적인 전환점을 통해 급발전한 것처럼 어느 순간 갑자기 등장할 수도 있다. 스스로 발전하며 자의식을 갖게 된 AI가 통제하는 사람을 적으로 인식해 공격하는 영화 같은 일이 얼마든지 벌어질 수 있다는 것이다. 머스크 CEO는 수낙 총리와의 대담에서 “(AI) 휴머노이드(인간형 로봇)에는 끄는 스위치가 꼭 필요할 것”이라며 “소프트웨어 업데이트를 받았는데 (휴머노이드가) 더 이상 친절하지 않으면 어떨지 생각해보라”고 했다.