최재식 “설명 못 하는 AI? 결국 아무도 안 쓴다” [SFF 인터뷰]

[인터뷰] 최재식 KAIST AI대학원 교수
AI의 결정에 ‘왜’를 묻다…“한국, AI 신뢰성 분야 글로벌 리딩 국가”

(시사저널=조문희 기자)

인공지능(AI)이 의사결정을 대신하는 시대. 하지만 AI가 내린 결정의 '이유'를 알 수 없다면 어떨까. AI가 내 대출 심사를 거절하고 나를 채용 면접에서 탈락시켰는데, 그 이유를 납득할 수 없다면 AI의 사회적 수용성은 떨어질 수밖에 없다. 아무리 성능이 뛰어난 AI라도 치명적인 오작동을 일으키거나 사실과 다른 정보를 그럴듯하게 지어내는 '환각 현상(Hallucination)'을 보일 수 있기 때문이다.

이 질문에 답하는 기술이 '설명가능 인공지능(XAI)'이다. 복잡한 AI의 연산 과정을 투명하게 규명하고, 그 작동 원리를 논리적으로 해석하는 기술이다. 국내에서 이 분야를 가장 오래, 가장 깊이 연구해 온 학자가 최재식 KAIST AI대학원 교수다. 최 교수는 구글코리아 '책임감 있는 AI포럼' 의장을 맡아 글로벌 빅테크와 한국의 AI 정책 논의를 잇는 가교 역할을 하는 한편, XAI 스타트업 '인이지'를 창업해 기술의 현장 적용에도 앞장서고 있다. AI 신뢰성과 주권을 둘러싼 각국의 입법 경쟁이 본격화하는 지금, 그는 무엇을 가장 중요하게 보고 있을까. 4일 최 교수의 연구실에서 그를 만나 이야기를 들었다. 다음은 일문일답.

4일 오전 경기 성남시 KAIST AI대학원에서 최재식 교수가 시사저널과 인터뷰를 하고 있다. ⓒ 시사저널 최준필

일반 독자들을 위해 설명가능 인공지능이 무엇인지 친숙한 언어로 설명해 달라.

"설명가능 인공지능은 크게 두 가지로 나뉜다. 첫째는 처음 만들어질 때부터 설명하기 쉽게 설계된 인공지능이다. 둘째는 인공지능이 고도화되고 복잡해지면서 내부를 알기 어려워진 모델을 해부해서, 그 안의 의사결정 과정을 조금 더 설명할 수 있도록 만드는 기술이다. 즉 인공지능 자체가 설명에 친화적이거나, 그렇지 않은 인공지능에 접목해 '왜 이런 결과가 나왔는지' 설명해 주는 디버깅 도구 같은 역할을 하는 기술이라고 보면 된다."

인공지능에 '설명 가능성'이 왜 그렇게 중요한가?

"인공지능이 완벽하지 않기 때문이다. AI가 우리 삶의 중요한 결정을 자동화하는 경우가 점점 많아지는데, 왜 틀렸는지 알 수 없으면 고칠 방법도 없다. 인공지능이 실수를 했을 때 언제 잘못했고, 어떻게 고쳐야 하는지를 파악하려면 설명성이 필수적이다. 설명이 안 되는 AI는 결국 사람들이 안 쓰게 된다. 특히 사람의 생명과 재산이 걸린 영역일수록 설명 가능성은 선택이 아니라 필수다. 설명이 안 되면 결국 위험을 감수하고 AI를 쓰지 않게 되기 때문이다."

AI의 설명 가능성의 중요성이 법·제도적 장치로도 반영되고 있나.

"유럽연합의 인공지능법(EU AI Act)이나 한국의 인공지능 기본법에서도 사람의 생명과 재산에 영향을 주는 '고위험 AI'는 어떻게 그런 결과가 나왔는지 설명해야 한다고 규정하고 있다. 한국은 그보다 앞서 개인정보 보호법 시행령을 통해, 사람의 생명과 재산에 영향을 주는 자동화 의사결정에 대해 소비자가 원하면 설명해야 한다고 규정해뒀다. 신용 대출 심사, 인사 평가 등 AI가 개입하는 결정이 늘수록 이 조항의 무게는 커진다."

구글코리아 '책임감 있는 AI 포럼' 의장을 맡고 있다. 글로벌 빅테크 주도의 흐름 속에서 한국의 AI 신뢰성 및 안전성 논의 수준은 어느 정도인가?

"전혀 뒤처지지 않는다. 오히려 신뢰성, 설명성, 안전성 분야에서는 한국이 리딩 국가 중 하나다. 한국인들은 민주적 주체성이 강해 내 데이터가 어떻게 쓰이고 어떤 영향을 미치는지에 대한 관심이 매우 높다. 최근 제정된 설명가능 인공지능 국제 표준도 우리 연구팀이 함께해 한국에서 제청한 것이다. 구글과의 포럼을 통해서도 한국에 필요한 사회적 논의를 전달하고 기술 교류를 하며, 한국이 글로벌 리서치 허브로서 주도적인 역할을 할 수 있도록 소통하고 있다."

그 연장선에서 최근 '소버린 AI(AI 주권)' 논의가 부상하고 있다. 한국의 현실은 어떻게 보나?

"소버린 AI 논의는 지식 정보 검색 시장과 맞닿아 있다. 원래 독자적인 검색 엔진을 가진 나라는 미국, 중국, 한국, 러시아 정도였다. 한국은 네이버, 다음 등 자국 검색 엔진 시장이 굳건한 나라였지만, 최근 챗GPT나 제미나이 등 글로벌 대형언어모델(LLM)에 의해 B2C(민간) 검색 시장이 빠르게 잠식되고 있다. 뉴스 검색 정도를 제외하면 해외 엔진 의존도가 크게 높아진 것이다. 유럽, 동남아, 남미 나라들은 처음부터 자국 B2C 검색 시장이 없었다. 한국은 우리가 가지고 있던 것을 잃어가고 있다는 점에서 상황이 다르다."

그렇다면 어떤 정책적 접근이 필요한가?

"검색 엔진은 단순한 플랫폼이 아니라 다크웹, 무기 거래 등 국가 민감 정보와도 연결된 인프라다. 러시아가 얀덱스를 고집하는 이유가 거기 있다. 프랑스의 미스트랄, 일본의 독자 모델 개발도 같은 맥락이다. 민간 시장 방어도 중요하지만, 최소한 공공(B2G) 분야에서는 우리 엔진을 활용해 역량과 통제권을 지켜야 한다는 것이 전 세계적인 기조이자 필수적인 방향이다."

2026 시사저널 미래포럼(SFF)이 오는 5월26일 페어몬트 앰배서더 서울 그랜드볼룸에서 개최됩니다. '말하는 AI'를 넘어 '움직이고 실행하는 AI'의 시대로 진입하면서, 지능은 화면을 벗어나 현실을 직접 움직이기 시작했습니다. 피지컬AI와 에이전틱AI가 산업과 경제의 운영 구조 자체를 재편하고 있는 지금, 새로운 경제 질서가 구축되고 있습니다. SFF는 'AI 대전환'의 현장을 입체적으로 조망하고, 미래 전략을 모색하는 공론의 장이 되고자 합니다. 포럼에 앞서 국내외 AI 선도 기업과 전문가들이 제시하는 인사이트를 미리 들여다봤습니다.