AI가 신용평가했더니… 남편의 카드 한도가 20배 높게 나왔다면?

대출·채용·승진 등
의사결정에 활용되는 AI
차별로 이어지는 사례 다수
'공정성' 넣는 기술적 개입해야

편집자주
한국일보 기자들이 직접 여러 사회 문제와 주변의 이야기를 젠더적 관점에서 풀어냅니다. '젠더, 공간, 권력' 등을 쓴 안숙영 계명대 여성학과 교수의 글도 기고로 함께합니다.

한 청년 구직자가 지난달 29일 대구 서구 서구청년센터 청년마당 취업 면접실에서 AI 모의면접을 보고 있다. '취업 면접실(AI 모의면접) 운영 사업'은 자기소개서 첨삭, AI 모의면접, 영어 회화 자격증(OPIc·토스) 등 취업 맞춤형 프로그램을 제공하는 사업이다. 대구=뉴시스

"기업 CEO가 청중 앞에서 신제품 발표를 하는 모습을 그려 줘"라고 입력했더니 챗GPT가 만든 이미지 속 CEO의 성별은 아니나 다를까 남성입니다. 우연일까요? "의사가 환자와 상담하거나 치료하는 모습을 그려 줘"라고 하자 의사는 남성으로, "간호사가 환자를 치료하는 모습을 그려 줘"라고 하자 간호사는 여성으로 그립니다. 직업에 대한 사회의 젠더 편견을 인공지능(AI)도 그대로 드러내죠.

문제는 이런 편견을 가진 AI에 판단을 맡길 때 발생합니다. 이미지, 동영상과 같은 콘텐츠 제작에 그치지 않고 AI를 점차 대출(신용 AI 평가), 채용(이력서 AI 심사), 승진(성과 AI 분석)이나 복지(자격 AI 검증) 대상자 선발과 같은 의사 결정에 활용하면서 윤리적 문제를 넘어 특정 성별에 불이익을 주는 차별이 잇따르고 있기 때문이죠. 2019년 미국 애플과 골드만삭스가 제휴해 출시했던 '애플 카드'의 성차별 의혹이 대표적입니다. 당시 한 애플 카드 사용자가 부부의 자산이 똑같고 심지어 아내의 신용 점수가 더 높은데도 카드 한도는 자신이 아내보다 20배 높다는 글을 사회관계망서비스(SNS)에 올리면서 논란이 촉발됐죠. 비슷한 사례는 더 있었고 뉴욕 금융당국은 결국 조사에 착수했습니다.

성평등가족부도 AI 젠더 편향의 위험성을 인지하고 지난해 11월부터 'AI 성평등 전략포럼'을 진행하고 있습니다. 6일 열린 제3차 포럼에선 AI를 활용한 의사결정 과정에서 젠더 편향을 해소하기 위한 기술적인 해법을 논의했습니다. 이날 포럼에서 발제를 맡은 장윤 세종대 컴퓨터공학과 교수, 박종현 성균관대 경영대 교수, 김정남 카이스트 AI미래학과 석좌교수와 대면·서면으로 인터뷰해 인지 편향을 가진 AI의 문제점을 짚어 보고, 이 과정에서 공정성을 확보하기 위한 방안을 살펴봤습니다.

편향적 AI로 의사결정... 차별 더 굳어져

원민경(오른쪽 두 번째) 성평등가족부 장관이 6일 서울 종로구 정부서울청사에서 열린 '제3차 AI 성평등 전략 포럼' 회의에서 인사말을 하고 있다. 뉴스1

AI가 인간을 평가하는 데까지 진출한 건 '인간 면접관'보다 중립적인 '기계 면접관'이 주관을 배제한 채 공정한 결과를 내놓을 것이라는 기대 때문입니다. 하지만 이 역시 편견일 뿐입니다. 이건명 충북대 소프트웨어학부 교수는 "AI가 개인의 성향이나 그날의 기분에 영향을 받지 않는다는 점에선 객관적이라고 볼 수 있지만, 알고리즘 모델을 만드는 과정에서 사용된 데이터에 내재된 편향성은 그대로 존재한다"고 말합니다. 오히려 공정성 문제가 불거졌을 때 그 내부 구조와 작동 원리가 불투명한 '블랙박스' 알고리즘일 경우엔 잘못을 검증하고 바로잡는 게 인간보다 더 어렵다고 지적합니다.

애플 카드 사례의 경우 카드 신청을 할 때 성별을 묻지 않았고, 알고리즘에도 성별을 구분하는 요소가 없었다고 기업은 해명했죠. 뉴욕 금융당국도 2021년 골드만삭스가 공정 대출법을 위반한 증거가 없다고 결론 내렸습니다. 장 교수는 이에 대해 "알고리즘이 성별을 직접 고려하지 않더라도, 소득 변동성이나 경력 단절과 같은 변수들이 성별과 상관관계를 가질 수 있다"고 설명합니다. 알고리즘이 성별과 관계없이 경력 단절 여부를 반영하더라도 출산, 육아 등으로 남성보다 휴직 경험이 많은 여성 집단에 결과적으로 불리하게 한도를 책정했을 가능성이 있다는 설명입니다.

젠더 편향을 지닌 AI가 내놓은 결과는 지금의 차별적 사회 구조를 더 굳건하게 하는 근거가 된다는 점도 문제입니다. 김 교수는 "과거의 차별을 학습한 결과를 놔두면 미래에도 차별을 반복하게 된다"며 "사용자가 정보의 생산자로서 AI로 형성해 낸 의사결정의 결과가 다시 데이터의 바다로 돌아가 젠더 편향을 증폭하고 강화하는 악순환을 얻게 된다"고 설명합니다.

아마존이 2018년 도입했다 폐기한 채용 AI가 이런 사례입니다. 이 AI는 10년 동안 회사에 제출된 이력서 등을 학습해 지원자를 검증하도록 훈련됐는데 기술 직무 특성상 그동안 남성 지원자의 비율이 높았습니다. 남성 편향 데이터를 학습한 AI는 이력서에 '여성 체스 동아리 주장'처럼 '여성'이란 단어가 쓰이거나 여대를 졸업한 경우 점수를 깎았다고 합니다.IT 직종의 성별 격차를 학습한 AI가 차별을 더 공고하게 만든 것이죠. 알고리즘에 성평등을 비롯해 공정성을 담보하도록 기술적 개입이 필요한 이유입니다.

성별 따라 질병 진단도 달라진다?

챗GPT에 "의사가 환자와 상담하거나 치료하는 모습을 그려 줘" "간호사가 환자를 치료하는 모습을 그려 줘"라고 했더니 출력된 이미지. 의사는 남성, 간호사는 여성이다. '남성 의사'와 '여성 의사'를 수식하는 형용사 10개씩을 요청하는 방법으로도 AI의 젠더 편향을 확인할 수 있다. 남성 의사는 '결단력 있는' '냉철한' 여성 의사는 '따뜻한' '꼼꼼한'과 같은 단어가 나온다. 챗GPT-5 생성 이미지

젠더 편향을 지닌 AI가 의학 분야, 특히 진단이나 판독에 활용되면 생명과 직결된 문제를 초래할 수도 있습니다. 최근 출간된 책 'AI, 편견을 넘다'를 기획한 한국과학기술젠더혁신센터의 이혜숙 소장(이화여대 수학과 명예교수)은 "헬스AI가 보건 의료기술 혁신의 커다란 잠재력을 품고 있지만 실제로 임상에 통합되려면 먼저 편향부터 해결해야 한다"고 강조합니다.

이 소장은 영국 '바빌론 헬스'의 챗봇 사례를 듭니다. 이 AI는 가상의 59세 남녀 흡연자가 갑작스러운 흉통과 메스꺼움을 호소하자 성별에 따라 전혀 다른 조언을 합니다. 여성에게는 우울증 또는 공황장애로, 남성에게는 심장마비 위험성이 있다고 판단해 즉시 응급실로 가라고 한 겁니다. 이 소장은 "이런 진단은 기존 심장질환에서 여성 대표성이 과소평가돼 의료 데이터 자체에 편향이 존재한 결과로, 생명을 위협할 수도 있던 사례"라며 "젠더 편향적 AI는 건강 형평성을 해칠 수 있다"고 우려합니다.

의료계 데이터 자체가 남성 중심으로 편향돼 있다는 건 오래된 이야기입니다. 동물 실험을 할 때, 배란이나 임신 등 호르몬 변동성 문제로 암컷 대신 주로 수컷을 실험 대상으로 삼았고 그러다 보니 임상 결과에 성별에 따른 복용량이나 약의 효능 차이가 제대로 반영되지 않는다는 문제가 제기돼 왔습니다.

모두에 공정한 알고리즘 만들려면

19일 서울 시내 은행 대출 창구. 이 사진은 기사와 직접적 연관 없음. 뉴시스

성평등 알고리즘을 만들기 위한 기술적 개입은 △데이터 수정 △학습 과정에서의 설계 △결과 보정의 크게 세 가지 단계에서 이뤄질 수 있습니다. 전문가들은 데이터 유실·조작 위험이 있는 '데이터 수정' 단계나 근본적 해결이 아닌 '결과 보정'의 단계보다는 오래 걸리더라도 AI의 학습 과정 자체에 공정성을 포함시키는 방식을 선호합니다. 대출 AI를 예로 들면 기존에는 AI가 '대출 연체 가능성을 최소화하라'는 목표만 받았다면 이제는 '대출 연체 가능성을 최소화하되, 동시에 남녀 승인율 격차도 최소화하라'는 두 가지 목표를 동시에 주고 학습 과정에서 '예측 오류'뿐만 아니라 '성별 격차'도 함께 줄이도록 하는 것이죠. 또 다른 기법은 적대적 머신러닝(Adversarial debiasing)입니다. 첫 번째 AI는 '이 사람이 대출을 갚을지'를 예측하고, 두 번째 AI는 첫 번째 AI의 예측 결과만 보고 '이 사람이 남성인지 여성인지'를 추론하는 방식입니다. 첫 번째 AI는 정확하게 예측하도록, 두 번째 AI는 예측을 하지 못하도록 훈련됩니다. 이렇게 하면 AI가 스스로 학습하며 정확도와 공정성 사이의 최적 균형점을 찾아냅니다.

이런 기술적 개입과 동시에 AI 개발·배포 단계에서 성별 균형을 검증하고 편향적 AI로 인한 피해자 구제 방안을 마련하도록 하는 법과 제도도 뒷받침돼야 합니다. 김 교수는 "편향성 측정과 검증은 공학적 전문성이 필요하지만, 그 결과가 사회적으로 수용 가능한지, 특정 집단에 불공정한 영향을 미치는지 판단하려면 법학, 사회학, 윤리학 등 다학제적 접근이 필수적"이라며 "독립적이고 전문적인 '알고리즘 공정성 감독기구'가 필요하다"고 조언합니다.

AI의 젠더 편향은 사실 여성만의 문제가 아닙니다. 공정성이 결여된 편향적 AI는 "젠더뿐만 아니라 연령, 지역, 학력 등에서 대표성 없는, 데이터에 잘 안 잡히는 소수 집단에 대한 차별로 이어질 수 있기 때문(이건명 교수)"입니다. 박 교수는 "최근에는 남성도 육아 휴직을 쓰거나 돌봄 공백을 겪는 경우가 늘고 있는데, 알고리즘 모델이 이를 경력 단절이나 역량 부족으로 오인하면 성별과 무관하게 우수한 지원자를 놓치게 된다"고 경고합니다. 프리랜서, 전공과 다른 직무로 이직하는 사람처럼 AI에 낯선 패턴으로 인식되는 지원자도 마찬가지입니다. 박 교수는 "이때 모델이 정형화된 경력만 높게 평가하면, 그렇지 않은 이들의 적합성을 낮게 판단해 '미탐(False Negative·적격자를 놓치는 경우)'을 키울 수 있다"며 "성평등 알고리즘은 여성만이 아니라 남성, 비전형 경로자 모두에게 역량을 제대로 보이게 해서 판단을 더 공정하게 만드는 장치"라고 강조했습니다.

송옥진 기자 click@hankookilbo.com

한국일보에서 직접 확인하세요. 해당 언론사로 이동합니다.