‘젠더폭력’ 문제의식 낮은 AI 개발자들

여성정책연구원 분석…“성희롱 예측 등 전혀 떠올리지 못해” 응답
공공 프로젝트서도 외면…연구진 “윤리 갖춘 데이터로 AI 개발을”

생성형 인공지능(AI) 확산으로 딥페이크 성범죄 등 새로운 유형의 젠더폭력이 늘고 있지만, AI 개발자들 사이에 이런 위험에 대한 문제의식이 부족하다는 연구 결과가 발표됐다.

4일 한국여성정책연구원의 ‘디지털 기반 젠더폭력 방지를 위한 AI 벤치마크 데이터셋 필요성 연구’는 AI 개발자들 사이에서 젠더폭력이나 차별 문제가 AI 개발 과정 중 발생할 수 있다는 인식이 희박하다고 분석했다. 연구진은 정보기술(IT) 분야 대기업과 일반 대기업, 스타트업에서 거대언어모델(LLM) 개발이나 AI 관련 실무를 담당하는 전문가 8명에게 AI 개발 문화에서 윤리·안전정책이 어떤 위치에 있는지 등을 물었다.

대기업에서 5년 이상 근무한 30대 AI 업무 담당자는 “(AI가) 어떻게 나쁘게 이용될지에 대해 자연스럽게 생각이 안 들어서 (문제) 인식을 잘 못했다”며 “AI를 통해서 성희롱이나 성적 괴롭힘에 어떤 문제가 있을 수 있는지 전혀 떠오르지 않는다”고 말했다.

공공 프로젝트에서도 AI 플랫폼의 윤리·안전 가이드라인 마련은 뒷순위로 밀리는 것으로 나타났다. 정부 기관의 AI 플랫폼 구축 프로젝트를 수행 중인 50대 중소기업 소프트웨어 개발자는 “한국지능정보사회진흥원(NIA) 등에서 자료를 뒤지고 있지만 (동료들이 윤리·안전 가이드라인에) 그렇게 관심이 있지 않다”며 “신경을 아직 못 쓰고 있다”고 했다. 또 다른 대기업 기술기획 담당자는 “완전 하위 레벨에서 개발하는 분들은 (안전 문제를) 너무 싫어한다”며 “정말 거시적 관점에선 데이터에 신경 쓸 때가 아니라 완성도를 높이는 게 중요한 거니까”라고 했다.

개발자들은 공공 부문이 젠더폭력 방지를 위한 안전 체계 구축에 앞장서야 한다고 했다. 대기업 AI 담당자는 “(젠더폭력을 명시하는 안전정책 강화가) 기업에선 어려울 것 같다”며 “안전 관련 내용이 외국에는 많이 있어서 지금 다뤄지는 것들에 대해 한국어 (데이터)세트로 나오면 많이들 사용할 것 같다”고 했다.

연구진은 국내외 AI 벤치마크 데이터셋(데이터세트) 구축 현황을 비교한 결과, 한국 사회의 젠더폭력을 방지하기 위한 고유 데이터셋이 부족하다고 지적했다. 데이터셋은 AI 학습이나 성능 평가 등에 사용하는 데이터묶음이다. 벤치마크 데이터셋은 여러 AI 모델의 성능을 비교하기 위해 만든 기준 데이터다. 벤치마크 데이터셋에 젠더폭력을 정의하고 방지하려는 관점이 담겨야 AI 모델의 사회적 안전성을 확보할 수 있다. 그러나 현재 벤치마크 연구는 영어권에서 주로 이뤄져 한국어 데이터셋은 지역·연령 등 일반적 사회 편향을 판별하는 수준에 머물러 있다.

연구진은 “한국의 특수한 젠더갈등 양상, 온라인 커뮤니티 담론, 언어적 뉘앙스를 반영한 데이터셋에 관한 논의는 거의 이뤄지지 않는 상황”이라며 “공공 부문이 안전하고 윤리적인 데이터셋 구축을 주도하고 산·학·연·정 협력 체계를 통해 AI 개발·검증에 의무적으로 활용하도록 지원할 필요가 있다”고 했다.

김송이 기자 songyi@kyunghyang.com