"AI 안전, 기업 약속만으론 부족"…측정·검증 체계 필요

AI안전연구소 "위험평가·시험 결과·사후 점검 제시해야"
LG AI연구원, 연간 위험 200건 찾아 80% 이상 완화

LG AI연구원과 유네스코가 20일 서울 명동 유네스코 한국위원회에서 'AI 윤리 MOOC(Massive Open Online Course) 프로젝트' 글로벌 론칭 행사를 열고 전 세계 누구나 무료로 수강할 수 있는 교육 과정을 공개했다. 홍현익 유네스코 한국위원회 사무총장(왼쪽부터), 칼레드 엘에나니 유네스코 사무총장, 배경훈 부총리 겸 과학기술정보통신부 장관, 임우형 LG AI연구원 공동 연구원장이 기념촬영을 하고 있다. (LG 제공. 재판매 및 DB금지)

(서울=뉴스1) 김민수 기자 = 인공지능(AI) 기업이 자사 기술이 안전하다고 선언하는 데 그치지 않고, 어떤 위험을 발견했고 이를 어떻게 줄였는지를 구체적인 자료로 입증해야 한다는 지적이 나왔다.

김명주 AI안전연구소장은 20일 서울 중구 유네스코한국위원회에서 열린 '책임 있는 혁신을 위한 AI 윤리 콘퍼런스'에서 "AI 안전은 기업이나 기관의 확신과 약속만으로 증명할 수 없다"며 "측정에 기반한 증거로 뒷받침돼야 한다"고 말했다.

김 소장은 AI 위험을 △시스템이 의도대로 작동하지 않는 '오작동 위험'△사이버 공격이나 허위정보 생산 등에 활용되는 '오용 위험'△AI와 사회 환경의 상호작용에서 발생하는 '시스템적 위험'으로 구분했다.

특히 외부 도구를 사용해 스스로 판단하고 행동하는 AI 에이전트가 확산하면서 작은 오류가 큰 피해로 이어질 가능성이 커졌다고 진단했다.

기업은 발생 가능한 위험과 피해 대상을 담은 위험·영향평가와 시험 결과, 시스템의 한계를 제시해야 한다고 강조했다. 사람이 언제 개입할 수 있는지, 문제가 생겼을 때 시스템을 중단할 수 있는지, 최종 책임자가 누구인지도 명확히 해야 한다는 설명이다.

AI를 실제 서비스에 적용한 뒤에도 지속적인 모니터링과 사고 보고, 이용자 의견 반영이 필요하다고 덧붙였다.

LG AI연구원은 실제 연구개발 과정에 적용 중인 AI 윤리 평가 사례를 공개했다.

김유철 LG AI연구원 전략부문장은 "매년 약 60개 프로젝트에 AI 윤리 영향평가를 적용해 연간 약 200건의 위험을 발견하고, 이 가운데 최소 80%를 완화하고 있다"고 밝혔다.

LG AI연구원은 연구자가 윤리 영향평가를 마치지 않으면 개발 절차를 진행할 수 없도록 내부 시스템을 운영한다. 단순 점검표에 그치지 않고 항목별 잠재 위험과 대응 방안도 제시하고 있다.

김명신 LG AI연구원 신뢰안전사무국 총괄은 규제가 모든 상황을 사전에 다룰 수는 없다고 짚었다. 그는 "우리가 이해하지 못하는 것을 이름 붙일 수 없고, 규제는 이름 붙이지 못한 것을 다룰 수 없다"며 "고의적인 위해는 규제로 막되, 위험을 미처 보지 못한 개발자나 이용자에게서 생기는 문제는 교육으로 줄여야 한다"고 말했다.

20일 배경훈 부총리 겸 과학기술정보통신부 장관이 서울 중구 유네스코회관에서 열린 '책임 있는 혁신을 위한 AI윤리 컨퍼런스 : 글로벌 AI 윤리 MOOC 출범식'에 참석해 발언하고 있다. 2026. 07.20 ⓒ 뉴스1 김민수 기자

한편 이날 유네스코와 LG AI연구원은 '글로벌 AI 윤리 공개 온라인 강좌(MOOC)'를 공개했다. 유네스코 193개 회원국이 2021년 채택한 'AI 윤리에 관한 권고'를 바탕으로 제작됐다.

교육 내용에는 AI 편향을 찾아내는 방법과 위험평가, 개인정보와 권리 보호, 인간의 감독, 책임 소재 등이 포함됐다. 안전성과 공정성, 사생활 보호, 성능이 충돌할 때 어떤 기준으로 판단해야 하는지도 다룬다.

강좌는 코세라에서 한국어를 비롯해 11개 언어로 제공된다. LG AI연구원은 올해 하반기 국내 AI 개발자와 연구자를 대상으로 교육을 시작하고 내년에는 지역 거점대학으로 확대할 계획이다.

배경훈 부총리 겸 과학기술정보통신부 장관은 "안전하고 신뢰할 수 있는 AI 생태계 조성을 위해서는 국제사회가 공동의 원칙과 기준을 마련하고 함께 실천해 나가는 것이 중요하다"며 "AI 윤리 무크가 전 세계 시민과 학생, 정책 담당자들이 AI 윤리를 학습하고 실천할 수 있는 글로벌 공공재로 자리매김하기를 기대하며, 대한민국도 앞으로 유네스코와 긴밀히 협력해 신뢰할 수 있는 AI 생태계 조성과 AI 윤리 확산에 적극 기여하겠다"고 말했다.

kxmxs4104@news1.kr