자동화된 결정과 인공지능 설명의 한계

AI ‘사후 설명’은 근거 아닌
결정 이후의 합리화에 가까워
설명의 검증을 다룰 수 있는
기술과 법 설계 필요한 시점

AI 면접은 이제 공공연히 채용 절차의 하나가 되었다. 서점에는 'AI 면접·AI 역량검사 합격 비법'을 다룬 책이 진열되어있다. 우리는 이미 AI가 인생을 결정하는 것에 익숙해져 있는지도 모른다. 2022년에는 한 시민단체가 공공기관 두 곳을 상대로 낸 정보공개거부처분 취소 소송에서, 수원지방법원과 광주지방법원은 인공지능 면접 관련 자료의 공개를 판결했다. 나아가, 재판 과정에서 한 공공기관은 면접 전형을 민간업체에 일임하고 그 결과만 점수에 반영했음을 인정했다.

행정기본법 제20조는 재량이 없는 처분에 한해 완전 자동화된 시스템을 허용한다. 재량이 작동하는 영역에서는 사람이 결정의 정당성을 직접 책임져야 한다는 전제다. EU AI Act는 인간의 존엄성과 같은 EU의 기본 가치를 위반하면 AI 시스템의 도입이 아예 금지되며, 고위험 시스템에 대한 인간 감독 조항은 AI 시스템이 중요한 결정을 내릴 때 인간이 이를 검토하고 개입할 수 있는 절차를 마련하는 인간의 실효적 감독을 요구한다. 그러나, 자동화된 권고를 검토할 담당자가 그것을 비판 없이 받아들이는 경향은 다양한 분야에서 다수 보고된 바 있다. 인간이 절차에 형식적으로 들어 있다는 사실만으로는 불충분하다는 의미다.

그렇다면 인간은 왜 인공지능의 결정에 쉽게 개입하지 못하는 것일까? 달리 말하면, 우리는 왜 인공지능의 판단을 그대로 받아들이게 되는 것일까? 필자는 그 이유가 인간이 인공지능의 판단 과정을 충분히 들여다볼 수 없기 때문이라고 본다. 인공지능이 어떤 근거와 과정을 통해 결론에 도달했는지를 알아야만, 어느 지점에서 오류가 발생했는지 판단하고 인간이 개입할 여지가 생긴다. 반대로 그 과정을 알 수 없다면 어디서부터, 어떤 방식으로 개입해야 할지조차 판단하기 어렵다.

인공지능의 결과의 근거를 설명하기 위해 가장 널리 활용되는 방법은 사후 설명(Post-hoc Explanation)이다. 모델이 결정을 내린 뒤, 어떤 입력 변수가 얼마나 기여했는지를 역으로 추정해 보여주는 방식이다. 그러나 최신 연구에 의하면 사후 설명은 어떤 기법을 사용하느냐에 따라서도 달라지고, 왜 이 결정을 내렸는지에 대한 해석보다는 어느 부분이 결정에 중요했는지 정도로 해석되는 모호성이 존재한다. 결국 사후 설명은 결정의 실제 방식을 보여주는 것이 아니라 결정 이후의 합리화에 가까운 것이다.

결국 이유제시와 의견제출의 근본적인 성공을 위해서는 설명 가능한 인공지능이 필요하다. 결정 이후를 합리화하는 사후 설명에 머무르지 않고, 모델 단계에서부터 결정의 경로가 사람의 언어로 추적 가능하도록 설계된 인공지능이 그 본질에 가깝다. 그래야만 인간 개입이 형식이 아닌 실질을 갖출 수 있다. 자동화된 처분이 적법절차를 견디려면, 설명의 형식이 아니라 설명의 검증을 다룰 수 있는 인공지능 기술과 법 설계가 함께 갖춰져야 할 때이다.

김호기 교수(중앙대 산업보안학과)