AI가 설명도 한다고?

2017년부터 국내외에서 '설명가능한 AI(XAI)' 연구
사용자가 수긍할 수 있는 이유 제시하며 의사결정

금융위원회가 4일 발표한 ‘금융분야 AI 활용 활성화 및 신뢰 확보 방안’을 보면 ‘설명가능한 인공지능(AI)’이라면서 ‘XAI(eXplainable AI)’가 언급된다. 사람이 수긍할 수 있도록 그 이유를 제시하면서 의사결정을 하는 AI를 말한다. 이는 AI의 판단에 대해 알고리즘의 설계자조차도 그 이유를 설명할 수 없는 ‘블랙박스’ 인공지능과 대비되는 개념이다. AI의 머신러닝 기술은 알고리즘이 복잡해 최종 결과를 도출하고도 그 근거를 제공하지 못하는 문제로 인해 블랙박스 인공지능이라고 불린다.

국내에서는 과학정보통신부가 지난 2017년 7월부터 관련 연구를 진행 중이며, 해외에서는 미국 국방성 산하 국방위고등연구계획국(DARPA)이 2017년부터 설명가능 AI 연구(Glass Box) 등을 시작했다.

앞서 금융보안원은 지난 2018년 “금융분야도 상품추천, 여신심사 등 AI 의사결정 확대에 대비해 금융회사 등이 XAI를 보다 원활히 도입·운영할 수 있도록 관련 기준 등을 검토해 나가야 할 시점”이라고 제언한 바 있다. 가령 설명가능성이 확보되지 않는 경우, AI가 여신심사에서 승인을 거부해도 소비자는 그 이유를 알지 못해 승인거절의 문제 해결이 어려워져 장기간 금융접근성이 제한될 수도 있다는 것이다.

금융보안원 제공.

금융보안원에 따르면 AI 시스템이 고양이 이미지를 분류할 때, 기존의 시스템은 입력된 이미지의 고양이 여부만을 도출하지만 XAI는 고양이 여부를 도출하고, 이것의 근거가 되는 털, 수염 등까지 제공한다.

한편, 미국 국가표준기술연구원(NIST)은 ‘설명가능한 AI의 네가지 원칙(Four Principles of Explainable Artificial Intelligence)’ 초안에서 설명가능한 AI 시스템의 요건으로 ▷모든 산출물에 대해 증거 혹은 그 이유를 제시하고 ▷개별 이용자들에게 의미 있거나 이해할 수 있는 설명을 제시하며 ▷해당 설명은 산출물을 생성하는 시스템 프로세스를 적절하게 반영하고 ▷시스템은 충분히 신뢰할 수 있을만한 산출물을 생성할 것이라는 믿음을 전제하고 운영돼야 한다 등을 꼽았다.