"공공분야, AI 사고 발생 시 집중화된 보고 시스템 필요"[통신One]

英 싱크탱크 "2014년 이후 AI 사고 1만건 이상 보고"
"알고리즘 투명성 기록 기준(ATRS) 범위를 확장해야"

인공지능이 일으킨 사고 보고 시스템(AI incident reporting system) 개념을 구조화한 도표. 인공지능 오남용을 전문으로 연구하는 영국 싱크탱크 ‘장기 회복탄력성 센터(CLTR)’에서 발간된 보고서 발췌. 2024.06.26/

(런던=뉴스1) 조아현 통신원 = 영국에서 인공지능(AI)의 오남용과 기능 장애가 공공 분야 안에서 발생한 경우 관련 사례를 모두 보고하는 중앙 집중화된 시스템이 필요하다는 목소리가 나온다.

영국 싱크탱크인 장기 회복탄력성 센터(CLTR)는 26일(현지시간) 차기 정부가 공공 서비스 분야에서 인공지능과 관련된 전체 사건을 수집하고 대응하는 시스템을 만들어야 한다고 권고했다.

또한 영국 전역을 아울러 인공지능과 관련된 사건을 수집하는 중앙 허브 센터를 구축해야 할 필요성을 강조했다.

이는 지난 2014년 이후 최근까지 인공지능 시스템으로 인해 1만건 이상의 안전사고가 발생하고 인공지능 기술이 사회의 각 분야에서 응용되는 범위가 넓어지면서 부정적 영향력이 증폭될 가능성에 대한 우려를 바탕으로 제기된 것이다.

인공지능에 의한 안전사고는 신체적 피해부터 경제적, 심리적, 평판에 대한 피해까지 다양하게 정의된다.

CLTR이 작성한 연구 보고서는 구체적인 사례를 언급하고 이를 해결하기 위해 영국 과학혁신기술부(DSIT)가 취할 수 있는 실질적인 조치를 제시한다.

보고서는 인공지능이 어떻게 잘못되고 있는지 파악하기 위해 작동 현황과 사고 보고 체계를 구축하는 것이 인공지능 규제를 마련하는데 중요하다고 강조한다.

사고 보고 체계는 인공지능이 실제 상황에서 안전에 대한 위험을 어떻게 일으키는지 모니터링하고 기술 규제와 배포 방식을 수정할 수 있는 피드백의 순환 고리를 제공한다.

또한 대응 속도가 중요한 중대 사고 발생 시 대처 방안을 효율적으로 체계화할 수 있다. 무엇보다 인공지능으로 인한 사고의 근본 원인을 조사해야 관계 기관이나 부서 간에 개선을 위한 학습 데이터도 생성할 수 있다는 점도 지적됐다.

향후 발생할 수 있는 대규모 피해에 대한 조기 경보를 알리고 위험 평가에 활용하기 위해서는 반드시 필요하다고 보고서는 강조한다.

하지만 현재 영국의 AI 규제는 효과적인 사고 보고 체계가 부족하고 이를 해결하지 않으면 사고 파악 능력이 현저히 떨어질 수 있다고 경고한다.

보고서는 인공지능 기술이 공공 서비스 영역에 미칠 우려되는 사례로는 허위 정보 확산, 생물화학무기 개발 시도, 인공지능 시스템의 편향성 등을 거론했다.

특히 벨기에에서 지난 2023년 30대 남성이 인공지능 챗봇과 6주 동안 대화를 나눈 뒤에 극단적 선택을 한 사례와 네덜란드 세무 당국이 개인 정보를 기반으로 한 데이터를 인공지능에 분석을 맡겼다가 오류를 일으켜 부정 수급자를 잘못 선정해 수천 가구를 심각한 재정난에 빠뜨린 사례 등을 예로 들었다.

보고서는 영국 정부가 인공지능을 사용할 때 발생하는 모든 사고를 기록하는 시스템을 구축하고 알고리즘 투명성 기록 기준(ATRS) 범위를 확장하도록 권고한다.

또한 영국 규제 당국과 전문가가 협업해 가장 우려되는 공백을 확인하는 작업을 거쳐 기능적 체계를 갖추라고 조언했다.

무엇보다 시범적인 인공지능 사고와 관련된 데이터베이스 구축해 전문적으로 조사하고 대응할 수 있는 역량을 과학혁신기술부(DSIT) 내부에 구축하도록 제안했다.

tigeraugen.cho@gmail.com