'창과 방패'…AI 위협 막으려면 글로벌 거버넌스 필요

[성큼다가선 AGI]③AI 발달할수록 구분 어려워져
진짜 같은 가짜 딥페이크 차단…C2PA·신스ID 등 개발
오픈AI, AGI 위험 차단 위해 안전 시스템팀 운영
21일 열리는 AI 서울 정상회에 이목집중
안전·포용·혁신원칙…국제 AI 거버넌스 합의 기대

[이데일리 임유경 기자] 생성형 인공지능(AI)으로 제작한 이미지합성조작물(딥페이크)이 전 세계적으로 사회 혼란을 야기하는 위험 요소로 부상했다. 여기에 더해 범용인공지능(AGI) 개발이 본격화하면서 인류를 위협하는 AI의 출현을 걱정하는 목소리도 높아지고 있다.

글로벌 빅테크들과 미디어, 콘텐츠 생산기업 등은 일찌감치 이를 막기 위한 가이드라인 생성에 힘을 합쳐왔다. 동시에 자체 기술도 개발 중이다. 그러나 시각물에 대해서만이라는 한계가 있고, 전 세계적인 AI 거버넌스 합의가 이뤄지지 못한 상황이다. 이에 오는 21일 열리는 ‘AI 서울 정상회의’에 이목이 쏠리고 있다.

신스ID가 적용된 경우 구글AI 등 생성형 AI로 만든 이미지를 식별해 낼 수 있다.(이미지=구글 딥마인드)

C2PA·신스ID 등장했지만…글로벌 AI 거버넌스 합의는 아직

딥페이크 위협이 본격화되면서 디지털 콘텐츠 출처와 진위여부 확인을 위해 출범한 C2PA 연합에 참여하는 기업도 늘고 있다. C2PA는 지난 2021년 어도비, 마이크로소프트(MS), 인텔 등이 주도해 만들어졌다. 글로벌 IT 기업에 딥페이크 차단에 대한 책임감을 강화하는 목소리가 커지면서 회원사가 빠르게 늘어 구글, 메타, 틱톡, 오픈AI, 셔터스톡 등 1500여 개 이상의 기업이 참여하고 있다. C2PA 표준 기술인 콘텐츠 인증을 적용하면 타사 플랫폼에서 제작된 AI 콘텐츠에도 AI 생성 라벨을 자동으로 붙일 수 있다. 이달 초 숏폼 플랫폼 틱톡이 회원사 중 처음으로 이 기술을 서비스에 도입했다. AI 생성 라벨은 C2PA의 검증 툴로 분석 가능하다. 사용자는 AI 생성 콘텐츠가 언제, 어디서, 어떻게 제작·편집됐는지 알 수 있게 된다.

구글은 연례 기술 콘퍼런스 I/O에서 AI를 활용한 가짜뉴스 생성, 딥페이크를 막기 위해 신스ID(SynthID) 업데이트를 발표했다. 신스ID는 AI가 생성한 콘텐츠에 눈에 보이지 않는 워터마크를 삽입해 높은 정확도로 식별하는 기술이다. 이미지와 오디오에 먼저 적용했는데, 올해부터 텍스트와 동영상까지 확대 적용하기로 했다.

오픈AI는 이달 초 자사 이미지 생성 모델 달리(DALL-E)를 공개, 만들어진 이미지를 98.8% 정확도로 식별할 수 있는 도구를 출시했다. 19일 이메일 인터뷰에서 오픈AI는 최근 AGI 위험 대응팀인 ‘슈퍼 얼라인먼트팀’ 해체가 AI 안전을 등한시하는 행보 아니냐고 묻자 “AI 안전 문제를 다루는 안전 시스템팀이 별도로 존재하고 지난 12월 AI의 잠재적 위험을 모니터링, 평가, 예측, 보호할 수 있는 대비(Preparedness) 프레임워크를 출시했다. AI 연구원과 국가 안보 전문가로 구성된 전담 팀도 구성해 운영하고 있다”고 해명했다.

다만 이같은 노력으로도 할루시네이션(환각현상) 등 생성형 AI의 근본적인 특성으로 인해 혼란이 발생하는 부분은 해결하기 어려운 상황이다. 정혜동 한국전자기술연구원(KETI) 융합지능기획단 부단장은 “생성형AI가 기본적으로 추론의 결과로 가장 확률이 높은 답변을 내놓는 방식이라 할루시네이션은 굉장히 풀기 어려운 숙제”라고 짚었다.

韓주도 AI 서울 정상회의, 거버넌스 합의 이뤄질까

이런 가운데 서울에서 ‘AI 서울 정상회의’가 열려 세계의 이목이 쏠린다. 주요국 정상과 글로벌 IT 기업 수장들이 안전·포용·혁신을 기본 원칙으로 한 AI 거버넌스에 합의하는 중대한 이벤트가 될 전망이다.

과학기술정보통신부에 따르면 오는 21일, 22일 양일간 ‘AI 서울 정상회의’가 열린다. 지난해 11월 영국 블레츨리 파크에서 처음 개최된 ‘AI 안전성 정상회의’에 이어 두 번째로 개최되는 AI 관련 국제 행사다. 우리 정부는 AI 안전에만 주제를 국한하지 않고 혁신·포용까지 확대해 AI 거버넌스의 3대 목표를 국제사회에 제시할 계획이다.

21일 화상 회의로 진행되는 정상세션에는 주요국 정상, 국제기구 수장, 빅테크 대표가 참석할 예정이다. 참석자 명단은 아직 비공개다. 이튿날 대면 행사로 열리는 장관 세션은 19개국 이상의 정부, 산업계, 학계 및 시민사회의 주요 인사들이 참해 ‘AI 안전성 확립 역량 강화’ 와 ‘지속 가능한 AI 발전 촉진’을 주제로 논의를 진행한다. 같은 날 열리는 AI 글로벌 포럼에선 글로벌 AI 거버넌스 구축이 논의를 위한 협력이 논의된다. 제이슨 권 오픈AI 최고전략책임자(CSO), 너태샤 크램턴 마이크로소프트(MS) 최고 AI 책임자(CAIO), 톰 루 구글 딥마인드 부사장, 이상호 카카오 CAIO, 하정우 네이버 AI 이노베이션 센터장 등이 참석할 것으로 전해진다.

이번 행사에서 글로벌 빅테크들은 안전한 AI 개발을 위한 자구책을 소개할 것으로 보인다. 구글 딥마인드는 AI 모델의 안전성을 평가하는 프레임워크를 발표할 예정이다. 모델의 지속적인 평가를 통해 AI가 인간을 조종하는 등 중요한 능력 수준에 이르는 것을 조기에 발견하고 적절하게 대처하는 것이 목표다. 딥마인드 블로그에 따르면 모델 훈련에 사용되는 컴퓨팅 파워가 6배 증가하거나 모델이 3개월 동안 미세 조정될 때마다 모델을 재평가한다.

안전한 AI 활용과 혁신 지속 사이 균형을 갖춘 IT 기업들의 합의문이 나올지도 관심이다. 그동안 자율 규제에 초점이 맞춰진 합의는 몇 차례 있었다. 2월 선거에서 기만적 AI 사용을 막자는 뮌헨 기술협약이 대표적이다. 하지만 지나친 규제가 AI 혁신의 발목을 잡지 말아야 한다는 기업들의 공통된 인식이 반영된 합의문은 아직 없었다. 순다르 피차이 구글 CEO는 I/O에서 “혁신을 장려하면서도 피해를 줄이는 방식의 규제를 마련해야 한다”는 입장을 밝히기도 했다.

여현덕 KAIST 기술경영전문대학원 교수는 “AI가 스스로 의식을 갖고 인간의 제어를 벗어나는 수준의 AGI 등장에 대해선 많은 학자들이 회의적인 입장”이라며 “지레 과도한 규제를 미리 만들면 전체 AI 연구가 위축될 수밖에 없다”고 조언했다.

임유경 (yklim01@edaily.co.kr)