[김병필의 인공지능 개척시대] 신뢰할 수 있는 인공지능

'이루다' 사건은 AI 신뢰성 문제
제품 출시 전 '품질' 확인했어야
구글은 AI 내부 감사 제도 발표
신뢰성 표준 도입을 서둘러야

김병필 KAIST 기술경영학부 교수

“그 친구는 신뢰할 수 있어.”

최고의 칭찬이다. 살면서 한 번이라도 이런 평가를 받을 수 있다면 인생을 허투루 산 것은 아니겠다. 누군가를 신뢰한다는 것은 무슨 뜻인가? 어떻게 하면 신뢰를 얻을 수 있는가? 우리 삶의 자세를 곱씹어 보게 하는 물음이다. 질문을 바꿔보자. 우리는 인공지능(AI)을 신뢰할 수 있는가? 어떻게 하면 신뢰할 수 있는 인공지능을 만들 수 있는가? 최근 불거진 ‘이루다’ 사건은 이런 근본적 질문을 던진다.

사람마다 신뢰성에 대한 기준은 제각기 다르다. 하지만 신뢰성이 무엇인지 정의해 볼 수 있다. 국제표준화기구(ISO)가 2020년 7월 발표한 인공지능 신뢰성에 관한 기술보고서(ISO/IEC TR 24028)를 보자. 여기서는 인공지능 신뢰성을 ‘이해관계자의 기대를 충족시킬 수 있는 능력’이라 정의한다. 우리가 인공지능을 신뢰할 수 있는지 따지려면, 사람들이 인공지능에 대해 어떤 기대를 갖고 있는지 살펴보고, 그 기대가 어디까지 충족되는지 확인해야 한다는 뜻이다. 절묘한 정의다. 이러한 개념은 사람에 대한 신뢰에도 적용된다. 우리가 누군가를 신뢰하는 이유는 그 사람이 능력이 좋기 때문일 수도 있고, 약속을 잘 지키기 때문일 수도 있다. 여하간 그 사람에 대한 기대가 충족된다는 뜻이다.

그런데 인공지능을 적용한 제품이나 서비스에 대해서는 일반의 기대치가 높다. 인공지능 기술이 적용되었다고 하면 이전보다 성능이 훨씬 우수할 것을 기대한다. 그뿐만 아니라 공정성에 대한 기대도 있다. 인공지능이 인간의 역할을 대신할 경우, 누군가를 차별하거나 어떤 집단의 존엄성을 훼손해서는 안 된다. 사생활의 비밀을 지키고 개인정보를 함부로 사용하지도 않으리라 기대한다. 인공지능이 이전까지 인간이 하던 만큼만 해낸다면 이러한 기대를 충족하기 어렵다. 자율주행차가 인간이 직접 운전하는 것보다 안전하다고 하더라도, 그저 인간보다 더욱 안전한 것만으로는 부족하다. 인간보다 몇 배 이상 안전해야 사람들이 신뢰할 것이다.

인공지능을 개발하는 기업의 어려움은 이러한 높은 기대 수준을 맞추는 것이다. 그렇다고 사람들에게 아직까지 우리 기술이 부족하니 기대 수준을 낮추어 달라고 부탁할 수는 없는 노릇이다. 그러면 어떻게 해야 할까? 국제표준화기구는 인공지능 신뢰성을 여느 제품이나 서비스가 갖추어야 할 ‘품질’과 크게 다르지 않은 것으로 본다. 우리는 어떤 제품이 튼튼하고 고장이 잘 나지 않거나, 사후 서비스가 좋으면 그 제품을 신뢰한다. 이렇듯 신뢰성 높은 제품을 만들려면 충분한 검수 과정을 거쳐야 한다. 품질 목표를 세우고 충족 여부를 확인해야 한다. 인공지능도 마찬가지다. 인공지능이 공정하게 작동하는지에 대한 충분한 평가와 테스트가 필수적이다.

구글은 작년 초 인공지능(AI) 시스템에 대한 내부 감사 절차를 표준화하여 발표했다. 항공, 의료, 금융 분야와 같이 이미 엄격한 품질 관리 체계가 확립된 영역을 참조하여 작성한 것이다.

구글이 제시한 절차에 따르면, 기업은 인공지능 윤리 정책과 원칙을 세우고, AI 감사 부서를 두어야 한다. 개발 부서는 AI 제품 출시 전 의무적으로 감사 부서에 감사를 요청해야 한다. 그러면 감사 부서가 AI의 위험을 평가하고, 여러 감사 자료를 요청하고, 여러 시험을 거친 결과를 정리하여 감사보고서를 낸다. 특히 AI의 오동작 유형을 분석하고 그 영향을 평가한 자료를 도출하는 과정이 핵심적이다. 이 과정에서는 이용자들이 AI 시스템을 악용하거나 악의적으로 조작할 위험이 없는지 확인하는 작업이 포함된다.

‘이루다’의 개발 업체도 인공지능의 신뢰성 위험에 대해 나름의 검사 절차를 거쳤겠지만 충분했다고 보기 어렵다. 대기업이야 그렇다 하더라도, 스타트업에까지 이렇듯 엄격한 절차를 요구하는 것은 과도하다는 목소리가 나올 법도 하다. 게다가 국내에는 이런 검사를 수행할 전문 인력이 없다시피 하다. 하지만 세계적 인공지능 기업들과 경쟁하려면 소홀히 할 수 없다.

신뢰성은 이미 인공지능 성능 평가의 중요 요소가 되었다. 국제표준화기구는 인공지능 신뢰성을 평가하는 여러 기술 표준을 추가적으로 준비하고 있다. 자신의 기대를 충족시키지 못하는 제품에 대한 고객의 평가는 냉혹하다. ‘이루다’ 사건은 AI 신뢰성 관리가 얼마나 중요한지 보여주었다. AI 신뢰성을 높이기 위한 ‘검수’ 절차 수립을 서둘러야 할 때다.

김병필 KAIST 기술경영학부 교수