"신뢰할 수 있는 AI는 설명 가능하고 편견 감지할 수 있어야"

'왓슨' 만든 IBM, '신뢰할 수 있는 AI' 주제로 간담회
공정성·설명 가능성·보안·책임 4가지 원칙 강조
"알고리즘 공개 안해도 결과 도출 과정 설명 가능"

[이데일리 장영은 기자] 인공지능(AI)의 윤리와 데이터 관리에 대한 관심이 높아지고 있는 가운데, 신뢰할 수 있는 AI를 만들기 위해선 ‘설명 가능성’이 담보돼야 한다는 의견이 나왔다.

IBM의 AI·클라우드 전환 서비스를 총괄 세뜨 도브린 박사가 23일 온라인으로 신뢰할 수 있는 AI의 중요성과 그 조건에 대해 설명하고 있다. (사진= 화면 캡쳐)

IBM 본사에서 AI·클라우드 전환 서비스를 총괄하는 세뜨 도브린 부사장은 23일 ‘신뢰할 수 있는 AI’를 주제의 온라인 간담회를 통해 “AI가 현재 비즈니스 영역에서 사람의 결정을 보완하기 위해 쓰이고 있는데 이 과정에서 신뢰는 무엇보다 중요하다”며 이같이 밝혔다.

도브린 부사장은 “AI가 예측하는 것을 사람이 믿을 수 있어야 그 역할을 할 수 있다”며 “신뢰의 문제는 모델에 대해 투명하게 검증할 수 있느냐는 의미”라고 강조했다.

그는 “AI는 블랙박스처럼 인간이 이해할 수 없는 게 아니라 어떤 과정을 통해 결과를 도출했는지 설명 가능해야 한다”며 “혹시 편견이 내재해 있다면 이를 감지하고 어떤 과정에서 문제가 있었는지를 알 수 있는 것”이라고 설명했다.

IBM은 신뢰할 수 있는 AI를 만들기 위해 △공정성 △설명 가능성 △보안 △책임 4가지를 중점적으로 보고 있다. 이 중 AI가 내린 결정에 대한 설명이 가능하도록 하는 설명 가능성은 나머지를 아우르는 항목이기도 하다.

도브린 부사장은 ‘알고리즘이 고도화될수록 기업 기밀이 되고 설명 가능성에 한계가 있지 않겠나’는 질문에는 “설명 가능성 중 가장 아래 층위는 데이터 사이언티스트라면 누구나 설명할 수 있는 수준”이라면서, 딥러닝처럼 복잡해질 경우에도 방법론적인 측면에서 얼마든지 설명이 가능하다고 답했다.

그는 “이 과정에서 설명 가능하다는 건 내부적으로 설명할 수 있어야 한다는 의미”라며 “고유 데이터가 노출되는 건 규제 당국에 모델을 설명할 때인데, 데이터에 대해 굳이 자세히 설명하지 않고 모델에 어떤 편견이 있어서 이런 식의 결과가 도출됐다는 결과 중심으로 설명할 수 있다”고 부연했다.

이어 “굳이 알고리즘을 공개할 필요는 없지만 기업이 사용하는 모델에서 어떻게 해당 결과가 나왔는지를 영향을 받는 개인에게는 설명할 수 있어야 한다”고 짚었다.

도브린 부사장은 또 최근 국내에서 AI 챗봇 이루다 개발 과정에서 개인 동의를 제대로 거치지 않은 정보가 사용돼 논란이 있었던 것과 관련, AI를 단순히 모델이 아닌 전체 ‘스택’ 관점에서 봐야 한다고 했다.

그는 “어떻게 AI를 콘트롤할 수 있는지 AI에 쓰이는 데이터 보안에 문제가 없는지 전체적으로 봐야 한다”며 “기업이 실제 모델을 운영할 때는 챗봇이든 어떤 시스템이든 간에 적합한 시스템을 가지고 이 AI가 항상 무엇을 하는지 모니터링 할 수 있어야 한다”고 지적했다.

장영은 (bluerain@edaily.co.kr)