[DBR]AI 설명 많고 복잡하면 수용도 낮고 거부감 높아

AI 투명성 중요하지만
지나치게 자세하면 역효과
인지 과부하, 수용도 낮춰

게티이미지뱅크

인공지능(AI)의 설명 가능성을 높이려는 시도가 이어지고 있다. AI의 의사 결정 과정이 불투명하면 직원이 기술에 대한 불신을 넘어 조직의 공정성에 의구심을 갖게 될 수 있기 때문이다. 하지만 이를 해결하기 위해 의사 결정 근거를 밝히는 ‘설명 가능한 AI(xAI)’가 역효과를 낼 수도 있다는 연구 결과가 나왔다.

호주 매쿼리대와 모내시대 연구진은 최근 배달 플랫폼 라이더 1107명을 대상으로 AI의 의사 결정 방식과 설명 유형이 이들 직원의 수용성에 미치는 영향을 분석했다. 연구진은 배달 기사가 AI 시스템에서 벌금을 부과받았을 때 벌금을 매긴 이유를 설명하는 방식을 다르게 설정해 실험을 수행했다. AI의 설명 방식을 두 가지 기준으로 나눠 총 네 가지 조합을 설계했다.

첫 번째 기준은 ‘사실’이냐, ‘대안’이냐였다. 사실적 설명에서는 “배달이 3분 늦어 규정에 따라 벌금이 부과됐다”처럼 일어난 일을 그대로 전달했다. 대안적 설명에서는 “처음부터 제시간에 완료 가능한 주문만 받았다면 벌금을 피할 수 있었다”는 식으로 다르게 행동했더라면 어땠을지 대안적 시나리오를 함께 제시했다. 두 번째 기준은 ‘내 얘기’냐, ‘일반 원칙’이냐였다. 국소적 설명은 “당신의 이번 배달은 3분 15초 지연됐다”처럼 해당 사건의 구체적인 데이터를 근거로 든 반면에 전역적 설명은 “배달 지연은 일반적으로 벌금 부과 사유에 해당한다”는 식의 보편적 규칙을 내세웠다.

결과에 따르면 설명 방식은 유의미한 차이를 불러왔다. 대안적 설명과 국소적 설명이 각각 AI 결정에 대한 직원들의 수용도를 높인 것이다. 직원은 대안적 시나리오를 통해 자신의 행동 변화 가능성을 학습하거나 본인과 직접 관련된 데이터를 확인할 때 AI의 결정을 더 공정하다고 느꼈다. 하지만 두 가지 방식이 결합하자 역설적인 현상이 나타났다. 가상 시나리오와 구체적인 개인 데이터, 즉 대안적 정보과 국소적 정보를 동시에 제공받은 직원의 경우 오히려 AI의 결정에 거부감을 느낀 것이다.

연구진은 이를 ‘인지 과부하’로 설명했다. 인간의 작업 기억은 한정돼 있는데 복잡한 가상 추론과 모래알처럼 미세하게 구분된 세부 데이터를 동시에 처리하면 뇌가 과부하 상태에 빠진다는 것이다. 실제로 정보가 너무 많고 복잡해지자 실험 AI의 설명을 오히려 ‘불필요한 간섭’이나 ‘혼란’으로 받아들였다.

이처럼 AI의 수용도는 단순한 기술적 신뢰를 넘어 관리자와 직원 사이의 관계적 질을 결정짓는 핵심 매개체다. 사람들이 AI의 결정을 합리적이라고 수용할 때 플랫폼이나 조직을 단순한 감시자가 아닌 공정한 파트너로 인식하게 된다. 이 연구 결과는 성공적인 AI 경영은 무조건적인 투명성이 아니라 직원이 ‘해석 가능한 한계’ 내에서 정보를 제공하는 전략에 달려 있다는 시사점을 준다. 기업은 직원이 상황에 따라 어떤 정보에 더 집중하는지를 파악해 불필요한 인지적 스트레스를 줄이면서도 납득 가능한 수준의 맞춤형 설명을 설계해야 한다.

김윤진 기자 truth311@donga.com