딥페이크 범죄 막아라… 경기도의회 'AI 가이드라인' 만든다

전석훈 의원 국내 1호 조례 발의
저위험·고위험 인공지능 구분하고
"인류의 발전위해 개발" 의미 규정
'AI 인파관리 시스템' 구축 앞장
주요 144곳 실시간 대응 가능해

경기도의회 경제노동위원회 전석훈 의원(더불어민주당)과 전 의원이 경기도 실무진과 함께 제2의 이태원 참사 등의 사고를 예방하기 위해 도입한 'AI 인파관리시스템'. 경기도의회 제공

경기도의회 경제노동위원회 전석훈 의원(더불어민주당, 성남3)

【파이낸셜뉴스 수원=장충식 기자】 급속도로 발전하고 있는 인공지능(AI)은 할리우드의 유명한 영화 터미네이터처럼 때때로 영화 속에서 인간을 제거하려는 악의 존재로 등장하고는 한다.

때문에 일부 사람들은 인공지능을 발달을 반기지 않고 있으며, 이들은 언제든 인공지능이 인류의 생존을 위협하는 존재가 될 수 있다는 점을 오히려 걱정하고 있다.

이런 우려는 당장 인류의 생존까지 위협하는 것은 아닐지라도, 사회적 문제가 되고 있는 것은 현실이다.

딥페이크 범죄가 그 대표적 사례로, 인공지능을 기반으로 한 범죄는 우리나라 뿐만 아니라 전세계적으로 문제가 되고 있다.

딥페이크란 인공지능 기술을 활용해 기존 인물의 얼굴이나 특정 부위를 합성한 영상편집물을 말하며, 딥러닝(deeplearning)과 가짜를 뜻하는 페이크(fake)의 결합어로, 인공지능을 기반으로 한 인간 이미지 합성 기술을 가리키는 말이다.

최근 서울대 졸업생들이 대학 동문을 비롯해 여성 수십명을 대상으로 음란물을 만들어 유포한 이른바 '서울대 N번방' 사건이 발생하며, 딥페이크 범죄에 대한 경각심을 일깨우기도 했다.

이들은 지난 2020년 7월부터 지난 4월까지 허위 영상물 400여개를 제작하고 1700여개를 유포한 것으로 알려졌지만, 이와 관련한 법률은 전무한 상태다. 실제로 국회에서는 지난해 2월 '인공지능산업 육성 및 신뢰기반 조성에 관한 법안' 발의됐지만, 상임위 문턱을 넘지 못해 21대 국회 임기 종료와 함께 폐기됐다.

■전국 최초 '인공지능 기본 조례안' 추진

이런 가운데 경기도의회 경제노동위원회 전석훈 의원(더불어민주당, 성남3)이 전국 최초로 인공지능(AI)의 고의적 악용 가능성을 예방할 수 있는 제도 마련에 나섰다.

그동안 인공지능 산업 지원에 대한 입법은 관련 법이 추진됐지만, 인공지능 기술에 대한 기본원칙과 규제를 담은 조례안은 경기도의회가 처음이다.

전세계적으로 인공지능을 기반으로 한 딥페이크 범죄가 사회적으로 문제가 되고 있는 가운데, 관련 법안이 마련될 경우 AI 활용에 대한 가이드라인이 마련될 수 있다는 점에서 주목 받고 있다.

이를 위해 전 의원은 '경기도 인공지능 기본조례안'을 대표발의 해 지난 5월 24일부터 입법예고에 들어갔으며, 6월 열리는 경기도의회 제375회 정례회에서 논의될 예정이다.

조례안에는 금지된 인공지능, 고위험 인공지능, 저위험 인공지능 등의 용어를 정의하고, 안전하고 신뢰할 수 있는 인공지능의 개발과 이용을 위한 기본원칙 등을 담았다.

해당 조례에서는 '인공지능'이란 인간의 지능이 가지는 학습, 추론, 지각, 자연언어 이해 등의 기능을 전자적 방법으로 구현하는 소프트웨어나 컴퓨터시스템, 그 밖의 장치를 의미하고 있다.

또 '금지된 인공지능'은 인간의 존엄성, 사람의 생명, 자유와 평등에 대한 침해의 위협이 명백하다고 간주되는 등 관계 법령 및 사회적 통념 위반에 해당하는 인공지능으로 용어도 정리했다.

특히 사람의 생명, 신체의 안전 및 기본권의 보호에 중대한 영향을 미칠 우려가 있는 영역에서 활용되는 '고위험 인공지능'과 그밖에 '저위험 인공지능'에 대한 개념도 담겼다.

■"AI는 인류 발전 위해 개발·이용돼야"

무엇보다 해당 조례안에서는 인공지능은 '인류의 발전과 편의'를 위해 개발 및 이용되어야 한다는 점을 규정하고 있다는 것이 특징이다.

또 특정한 개인·단체가 차별받지 않도록 이루어져야 하고, 사회적 약자 및 취약계층 등에 접근성을 보장하도록 해야 한다는 기본원칙도 제시했다.

뿐만 아니라, 인간의 존엄성과 기본권 침해가 우려되는 고위험 인공지능에 대해서는 '규제'를 엄격하게 적용해야 한다는 내용도 담았다.

경기도지사 등 광역단체장의 책무도 구체화 했으며, 도지사는 인공지능 정책의 종합적인 시책 수립과 시행 과정에서 건전한 발전과 공익적 활용을 위해 경기도 인공지능 종합계획을 수립하고 협력체계를 구축하도록 했다.

전 의원은 "인공지능 산업은 급속도로 발전하며 사회적 이슈가 되고 있는데, 관련 법은 전무하다"며 "국회에서 조차 없는 상황에서 경기도에서라도 먼저 조례를 만들어 인공지능 기업들의 활동에 도움이 되고 싶었다"고 설명했다.

그러면서 그는 "인공지능은 궁극적으로 인간을 삶을 발전시키고 도움을 주는 방향으로 나아가야 한다"며 "디지털 산업이 올바른 방향으로 성장할 수 있도록 관련 제도를 지속적으로 마련할 계획"이라고 말했다.

■'AI인파관리시스템' 도입

이와 더불어 전 의원은 인공지능을 활용한 '브랜드 정책'에 진심이다.

대표적인 사업으로 최근 경기도에서 운영을 시작한 'AI 인공지능 기반의 인파관리시스템'은 전 의원이 경기도 실무진과 함께 1년여를 노력해 얻은 결과물이다.

인파관리시스템은 경기도 일대 실시간 이동인구를 파악하고, 특정지역에 평균 이동량 보다 많은 인구가 밀집시, 위험상황임을 인지해 자동으로 위험경보가 내려지는 시스템이다.

이를 위해 전 의원은 '이태원 참사'를 계기로 본회의 5분 발언과 경제노동위원회 행정사무감사를 통해 '빅데이터와 인공지능을 활용한 안전 정책'의 개발이 시급하다고 지적하고, 경기도와 함께 AI 인파관리시스템 구축에 참여해 왔다.

그는 "특정지역에 인구가 갑작스럽게 밀집되는 것을 사전에 감지하고 예방할 수 있는 시스템은 없을까하고, 이태원 참사 이후, 고민했다"고 전했다.

이후 경기도 미래성장국과 함께 준비해온 경기도형 인파관리시스템은 현재 완성돼 경기도 재난상황실에 구축됐다.

경기도의 주요 144개 지점에 대한 실시간 인구이동현황을 모바일 기반으로 정확하게 분석할 수 있어, 위험상황 발생시 해당 시·군의 재난담당자에게 자동 문자가 전송돼 현장출동이 가능하다.

jjang@fnnews.com