[로터리] ‘설명가능한 AI’로 신뢰 더해야

김현 더불어민주당 의원

김현 더불어민주당 의원

인공지능(AI)이 일상 깊숙이 영향을 미치는 시대다. 과학기술 연구, 의료 진단 보조, 금융 대출 심사, 인력 채용 추천에 이르기까지 이제 AI가 관여하지 않는 영역을 찾기 어려울 정도다. AI가 인간의 중요한 의사 결정에 깊이 관여할수록 우리는 한 가지 질문과 마주하게 된다. 과연 AI를 얼마나 신뢰할 수 있는가.

여기서 중요한 개념으로 등장한 것이 ‘설명 가능한 AI(XAI·eXplainable AI)’다. AI가 어떤 결론을 내렸을 때 그 판단의 근거와 과정이 인간이 이해할 수 있는 방식으로 설명될 수 있어야 한다는 개념이다. AI가 제시하는 결과 자체는 쉽게 확인할 수 있지만 그 결과에 도달하게 된 배경과 과정까지 이해하기는 결코 쉬운 일이 아니다. 그래서 AI는 종종 ‘블랙박스’라고 불린다. 문제는 이러한 블랙박스 구조가 설명 책임(accountability)을 약화시키고 결과적으로 AI에 대한 사회적 신뢰를 떨어뜨릴 수 있다는 점이다. AI가 왜 그런 결정을 내렸는지 알 수 없다면 설령 결과가 타당하더라도 이용자는 불안함을 느낄 수밖에 없다.

설명 가능한 AI는 단순한 기술적 과제를 넘어 법적·사회적 문제와도 맞닿아 있다. AI가 어떤 방식으로 판단을 내렸는지 설명을 요구하는 것은 개인의 권리 침해 가능성에 대비하기 위한 중요한 통제 장치이기도 하다. 그러나 AI의 설명 의무를 구현하는 일은 결코 간단하지 않다. AI 모델이 수많은 변수와 데이터가 결합된 복잡한 알고리즘으로 작동하기 때문이다. 이러한 이유로 AI가 내린 결론의 신뢰성을 확보하기 위해 알고리즘을 투명하게 공개해야 한다는 주장도 제기된다. 하지만 AI 기업들은 알고리즘 공개가 영업 비밀 유출로 이어질 수 있다는 우려를 제기하며 반대하고 있다.

이 문제를 해결하기 위해서는 무조건적인 공개와 비공개 사이에서 현실적인 균형점을 찾는 접근이 필요하다. 알고리즘을 전면적으로 공개하기보다는 전문성과 독립성을 갖춘 기관을 통해 검증 체계를 마련하는 방식이 대안이 될 수 있다. 기업의 기술 자산을 보호하면서도 AI 시스템이 어떤 정보를 기반으로 판단을 내렸는지 점검할 수 있도록 하는 것이다.

이를 위해서는 기술 발전을 뒷받침하는 법과 제도의 정비가 함께 이뤄져야 한다. 첫째, 이용자가 AI의 판단에 대해 설명을 요구할 수 있는 권리의 실효성을 확보할 필요가 있다. 단순한 선언적 권리에 머무는 것이 아니라 이해 가능한 방식의 설명을 제공할 의무와 그 결과에 대해 이의를 제기할 수 있는 절차를 마련해야 한다. 둘째, 국민의 생명과 재산 및 기본권에 직접적인 영향을 미치는 AI에 대해서는 설명 가능성 확보, 기록 보존, 인간의 감독 의무 등을 명확히 규정할 필요가 있다. 이러한 규율은 기술 자체를 금지하거나 억제하기보다는 위험을 관리하는 방향에서 설계되는 것이 바람직하다. 셋째, AI로 인해 발생할 수 있는 피해에 대비한 책임 구조도 정비해야 한다. 설명 의무를 다하지 못한 사업자의 책임을 강화하고 피해자가 기술적 입증을 하기 어려운 현실을 고려해 입증 책임 완화를 검토할 필요가 있다.

AI는 우리 사회의 핵심 기반 기술로 자리 잡고 있다. 기술 발전의 속도만큼 중요한 것은 그 기술에 대한 신뢰다. 설명 가능한 AI는 기술을 억제하기 위한 규제가 아니라 이용자가 안심하고 사용할 수 있는 환경을 조성함으로써 기술의 지속적인 발전을 뒷받침하려는 노력이다. AI가 인간의 판단을 점점 더 많이 대신할수록 그 결정의 이유를 인간이 이해할 수 있어야 한다.

진동영 기자 jin@sedaily.com