[SOTEC 2024]주제발표-정세린 와이즈스톤 팀장 “AI시스템이 편향 작동하면 차별대우 줄 수 있어”

정세린 와이즈스톤 팀장

“편향성은 불공정을 유발할 수 있습니다. 분류, 군집화, 예측, 의사 결정을 위해 다양한 유형과 목적의 AI시스템이 편향에 의존해 작동하면서 특정 그룹에 우선적으로 이익을 주는 부당한 차별대우를 줄수 있습니다. 특히 AI학습용 데이터는 의도되지 않은 편향을 발생시키는 주요인입니다.”

정세린 와이즈스톤 팀장은 12일 오전 잠실 롯데월드타워 31층 SKY31 컨벤션 콘퍼런스A에서 열린 '소프트웨어 테스팅 콘퍼런스' 주제발표에서 'AI 학습용 데이터의 편향성 검증 방안'을 통해 이같이 밝혔다.

정 팀장에 따르면 AI학습용 데이터의 편향에는 표본 편향과 표현 편향 두가지로 나뉜다. 그는 “표본 편향은 데이터 셋이 모집단을 대표하지 못하는 경우 발생한다”며 “특정집단의 데이터가 과도하게 많거나 적어 해당 집단의 특성이 과장되거나 무시되는 편향이 대표성 편향이고 특정 집단이 체계적으로 배제되거나 선호되는 편향이 선택 편향”이라고 말했다. 그는 또 “표현 편향은 데이터 자체에 내재된 편견이나 고정관념이 반영되는 경우 발생한다”면서 “측정 편향, 레이블 편향, 누락데이터 편향, 차별적 언어 편향, 유해 편향 등으로 세분화 한다”고 전했다.

그는 AI학습용 데이터의 편향 검증방법에는 표본 편향 검증과 표현 편향 검증 두 가지가 있다고 설명했다.

그는 “표본 편향 검증에는 데이터셋 분석과 교차 분석으로 나뉜다”면서 “데이터셋 분석은 인구통계학적 분포, 사회적 그룹 계층별 분포 시각화, 통계적 검정이 있고 교차 분석에는 표본 선택 과정에서 특정 집단이 체계적으로 배제되거나 선호되는 경우를 확인하기 위해 집단별로 교차해 결과가 동일한지 분석한다”고 전했다.

또한 4가지 표현 편향 검증 방법도 이어갔다. 그는 “수치 데이터의 경우 이상치 데이터를 탐지하는 이상치 탐지, 혼동 행렬의 수치를 분석하거나 집단 간 혼동 행렬을 비교해 수치의 동일성을 확인하는 혼동 행렬 분석, 문장내 유해 단어나 표현이 있는지 확인하거나 문장의 특정 집단에 대한 긍정·부정 비율을 확인하는 문장 및 단어 분석, 공정성 평가지표를 적용하는 방법 등이 있다고” 말했다.

끝으로 그는 “편향성 검증은 끊임없는 연구와 노력이 필요하다”면서 “비정형 데이터 편향 측정 도구 연구개발 및 효과적이고 효율적인 공정성 평가 방법 연구가 병행돼야 한다”고 강조했다.

김정희 기자 jhakim@etnews.com