[기고] 나는 AI에게 설명을 요구한다/김철웅 금융보안원장

김철웅 금융보안원장

17세기 최고의 수학자 페르마는 유명한 난제인 ‘페르마의 마지막 정리’ 하단에 이런 주석을 적어 뒀다. “나는 실로 놀라운 증명법을 발견했다. 하지만 여백이 부족해 적지 않겠다.” 페르마가 설명도 없이 정리만 남기고 세상을 떠난 탓에 장장 360년에 가까운 세월 동안 많은 수학자가 골머리를 앓았다. 요즘 말로 페르마는 학계에 관심을 끌 만한 답만 던지고는 ‘안알랴줌’을 감행한 셈이다. 그런데 곰곰이 생각해 보면 페르마만 그런 것이 아니다. 최근 관심을 독식하는 인공지능(AI)도 ‘안알랴주는 것’은 매한가지다.

올해는 생성형 AI의 해라고 해도 과언이 아니다. 챗GPT의 등장으로 알파고 이후 시들했던 AI 관심이 다시 불붙었다. 문제는 실용화된 AI 대부분이 블랙박스 모형이라는 점이다. 질문에 답은 바로 나오는데, 답을 도출하는 과정은 알 수 없다. AI의 답변에 오류가 있는 경우도 잦다. “조선왕조실록에 기록된 세종대왕 맥북프로 던짐 사건을 알려 줘”라는 질문에 초기 챗GPT는 ‘세종대왕이 훈민정음 창제 중 문서 작성이 중단돼 분노한 나머지 맥북을 던진 사건’이라며 창의적인 오답을 내놨다.

AI의 블랙박스 특성과 답변의 오류는 어쩔 수 없이 받아들여야만 하는 걸까. 아니다. 최근 AI 분야 전문가들은 AI의 의사결정 과정을 사람이 이해하기 쉽게 설명하는 기술에서 해결의 실마리를 찾고 있다. 이 기술을 설명 가능한 AI, 즉 XAI(eXplainable AI)라고 한다. 결과값만 출력하는 AI 모델에 그 대답에 대한 설명을 생성하는 인공지능 모델(XAI)을 덧붙여 기존의 블랙박스 특성을 해소하자는 것이다. AI의 특성을 걱정하던 금융권에는 희소식이다. 금융 분야에서는 보통 소비자보다 판매자에게 양질의 정보가 많고, 정보의 비대칭성이 금융 사고나 분쟁 등으로 이어지는 경우가 잦다. XAI는 금융 분야 AI가 직면한 설명 의무에 대한 합리적인 대안이 될 수 있다. AI가 활성화될수록 AI와 관계된 금융소비자 보호 요구는 늘어날 것이고, XAI의 역할도 중요해질 수밖에 없다.

금융소비자는 XAI를 통해 AI가 예측에 실패하거나 위험성이 높은 결정을 내리더라도 설명을 토대로 정보를 해석하고 선택할 수 있다. 금융사는 AI의 설명을 참고해 성능을 개선하고 더욱 고객 친화적인 AI 금융서비스를 제공할 수도 있다. 이에 금융보안원은 AI를 통한 의사결정으로부터 금융소비자를 보호하고 이용자 편익을 높이고자 XAI의 적용 범위, 요건 등을 담은 가이드라인 등을 준비 중이다.

사람은 앞으로도 AI에게 끊임없이 질문할 것이다. AI의 답이 항상 옳을 수는 없다. 옳은 답은 활용하고 그른 답은 개선하면 된다. 하지만 사람이 AI의 대답으로 의사결정을 한다면 결정에 대한 설명이 필요하다. 미래는 검색과 클릭의 인터넷 시대가 아닌 질문과 소통의 AI 시대다. 신뢰할 수 있는 AI 시대를 열어 가기 위해 나는 AI에게 설명을 요구한다.

▶ 밀리터리 인사이드 - 저작권자 ⓒ 서울신문사 -