[방구석 도쿄통신] 가짜뉴스 전성시대, ‘AI로 맞짱뜨겠다’는 日 스타트업

한국은 일본을 너무 모르고, 일본은 한국을 너무 잘 안다.
일본 내면 풍경, 살림, 2014

국내 언론 매체들은 가장 가까운 이웃 나라, 일본의 이야기를 주로 정치나 경제, 굵직한 사회 이슈에 한해 전달하는 경우가 많습니다. 대학에서 일본어를 전공하고, 일본에서 교환 유학을 하고, 일본 음식을 좋아하고, 일본 영화와 애니메이션을 즐겨보는 기자가 국내에서 찾아보기 어려운, 지금 일본에서 진짜 ‘핫’한 이야기를 전달해드립니다.

‘방구석 도쿄통신’, 지금 시작합니다.

지난해 9월 태풍 탈라스가 일본 시즈오카현에 폭우를 일으켰던 당시, 시즈오카 일대가 침수됐다며 트위터에 올라온 게시글. 해당 사진 석 장은 모두 AI에 의해 만들어진 가짜였다./트위터

최근 국내외 정치권과 여론을 뒤흔드는 ‘가짜뉴스’에 대한 소식이 뉴스 헤드라인들을 장식하고 있습니다. 일본에서도 최근 논란이었던 가짜뉴스 하나를 소개해드립니다.

지난해 9월 일본 트위터에 올라온 게시글입니다. “드론으로 촬영한 시즈오카현의 수해 상황, 너무나도 비참하다”란 문구와 함께 주택 등 건물이 모두 물에 잠길 정도로 물바다가 된 일본 중부 지방 시즈오카(静岡)의 모습을 보여줍니다.

당시는 제15호 태풍 탈라스가 일본을 덮치면서 시즈오카 일대에 폭우가 쏟아졌을 때였습니다. 이미 태풍으로 지역 사망자가 발생하고 건물 수십 동이 손상되는 등 피해가 커지던 와중이어서, 공포감에 빠진 현지 네티즌들은 사진을 5000번 이상이나 ‘리트윗(공유)’하고 주변 사람들에게 알렸습니다.

영국 런던에 본사를 둔 AI(인공지능) 업체 'Stability AI'가 개발해 지난해 8월 출시한 이미지 생성 AI ‘스테이블 디퓨전’(Stable Diffusion)의 공식 웹사이트 소개문.

그런데 이 사진, 후에 ‘가짜’로 드러났습니다. 비가 많이 오긴 했지만 사진들처럼 동네가 물바다가 된 극한의 상황은 아니었다고 하는데요. 작성자는 최신 유행하는 이미지 생성 AI(인공지능) ‘스테이블 디퓨전’에 ‘수해(flood damage)’ ‘시즈오카(Shizuoka)’ ‘자세하게(detailed)’ 영단어 단 세 개를 입력하곤 1분도 안 되어 이러한 사진들을 받아봤던 것으로 알려졌습니다.

과거 조잡한 퀄리티로 진위를 가려내기가 비교적 쉬웠던 합성물들과 달리, 정교하게 조작된 사진과 영상을 뚝딱 만들어내는 ‘딥페이크(deepfake)’ 등 AI 기술에 국제사회가 촉각을 곤두세우고 있습니다. 미국 연방선거관리위원회(FEC)는 내년 11월 대통령 선거를 앞두고 AI가 만든 딥페이크 이미지가 사용된 가짜뉴스 규제 검토에 착수한 상태죠. 미 국무부 해외 여론 대응팀 글로벌인게이지먼트센터(GEC)도 최근 여러 사람의 얼굴이 조합된 ‘가짜 얼굴’ 사진을 판별하는 기술을 개발 중입니다.

일본 NHK의 지난달 24일 보도, "AI가 만드 가짜 정보 '위드 페이크' 시대, 어떻게 살아갈 것인가"란 제목. "인터넷을 중심으로 '가짜 뉴스' 리스크가 지금까지 이상으로 확산하고 있다"고 적혀 있다.

이 가운데 일본에서 음성, 사진, 영상 등으로부터 딥페이크 사용 여부를 판별하는 AI 기술이 새롭게 등장했습니다.

NHK는 지난달 24일, 도쿄 소재 AI 연구소이자 소프트웨어 개발 기업인 나블라스(NABLAS)가 AI가 만든 조작물을 AI로 판별해내는 기술을 개발했다고 보도했습니다. AI가 만든 조작 콘텐츠의 특징을 AI에 역으로 교육시켜서 가짜 합성물을 가려낸다는 것인데요. 이른바 ‘AI 때려잡는 AI’입니다.

일본 도쿄 분쿄구에 본사를 둔 AI 스타트업 '나블라스(NABLAS)' 로고

나블라스는 지난 2017년 도쿄대학 졸업생들이 모여 설립한 스타트업입니다. 이들은 최근 미국 증시 하락 사태를 유발한 ‘국방부 인근 폭발’ 사진과 상기했던 ‘시즈오카 물바다’ 사진 등 AI 조작물들에 주목하면서 이 같은 기술 개발에 착수한 것으로 알려졌습니다.

일본 AI 스타트업 나블라스(NABLAS)가 개발한 '탐지 AI'에 지난 5월 소셜미디어에 확산했던 미국 국방부 청사 펜타곤 인근의 폭발 사진을 입력한 모습. 측 하단 가로수 영역과 우측 담장이 설치된 영역이 '빨간색'으로 가짜라고 표시돼 있다./NHK

나블라스가 만든 ‘판별 AI’는 어떻게 조작물을 가려낼까요? 예컨대 지난 5월 소셜미디어에 확산한 미 국방부 청사 펜타곤 인근의 폭발 사진을 입력하니, AI가 ‘가짜’라고 판단한 두 영역이 빨간색과 푸른색으로 표시됐습니다. 판별 AI는 사진에서 좌측 하단 가로수 영역과 우측 담장이 설치된 영역을 가짜라고 판단했는데요. 사람의 눈으로는 위화감을 느끼기 어렵지만, AI는 가로수·담장과 폭발 연기 사이의 경계선에서 부조화를 느껴 ‘71% 확률로 조작됐다’는 결론을 내놓았습니다.

지난해 9월 일본 트위터에 올라와 주민들의 공포감을 키웠던 '시즈오카 물바다' 사진. AI 스타트업 나블라스(NABLAS)가 개발한 '판별 AI'는 산의 윤곽과 수류(水流)의 부자연스러움을 포착해 '100% 조작된 사진'이라고 판단했다./NHK

‘시즈오카 물바다’ 사진의 경우, 미 국방부 인근 폭발 사진에서보다 광범위하게 빨간색의 영역이 나타났습니다. 마찬가지로 사람의 눈으론 판별하기 어려운 산의 윤곽과 수류(水流)의 부자연스러움을 포착해냈다고 하죠. 판별 AI는 해당 사진을 망설임 없이 ‘100% 조작됐다’고 판정했습니다.

나블라스의 신(新)기술은 단시간에 높은 정밀도로, 어떠한 화질에서도 딥페이크 사용 여부를 가려낸다는 점에서 주목받고 있습니다. 다만 판별 능력이 어디까지나 ‘학습된 콘텐츠’의 범위로 한정된단 점에서 아직 한계도 있습니다. 나블라스에서 엔지니어로 일하는 도미야마 요시타카(冨山吉孝)씨는 NHK에 “검출 시스템을 속이는 콘텐츠가 만들어질 거란 확률도 무시할 수 없다”며 “시스템을 거듭 업데이트해나갈 수밖에 없다”고 말했죠.

아직 기술의 한계는 있지만, AI 딥페이크의 성장을 견제할 장치가 전 세계에 사실상 만무한 상황에서 일본 젊은 스타트업의 이 같은 ‘도전’은 고평가할만합니다. 당장 한국·미국을 비롯한 큰 선거를 앞둔 국가들은 가짜뉴스를 활용한 여론 조작과 선동에 유권자들이 무방비 노출돼 있는데, 딥페이크 규제안과 함께 이 같은 신기술의 개발 및 도입도 분명 고민해야 할 시기입니다.

일본 국립정보학연구소 소속 에치젠 이사오(越前功) 교수/시즈오카신문

일본에서 딥페이크를 가려내려는 기술을 연구하고 있는 건 스타트업뿐 아닙니다. 일본 국립정보학연구소 소속 에치젠 이사오(越前功) 교수는 최근 ‘백신’ 개념을 응용한 독특한 연구에 착수했습니다.

‘사이버 백신’이라고 불리는 디지털 데이터 기술로 조작물의 원본을 역탐지, 딥페이크 사용 여부를 가려내는 기술인데요. 에치젠 교수는 “전처리(前處理) 방식을 통해 조작된 콘텐츠가 어떠한 경위로 만들어졌는지 역탐지할 수 있다”고 말했습니다.

글로벌 소프트웨어 개발 기업 어도비(Adobe) 로고/조선일보DB

글로벌 소프트웨어 개발 기업 어도비(Adobe)도 최근 사진·영상 등의 편집 기록을 역탐지하는 ‘콘텐츠 인증 이니셔티브(CAI)’란 기술을 새롭게 선보였습니다. 콘텐츠가 가공, 편집된 기록을 확인해 진위를 가려낸다는 것이죠. 지난달 기준 전 세계 55국에서 1500개 이상 기업과 단체가 CAI를 도입했다고 합니다. 일본에선 카메라로 유명한 광학 기기 제조업체 니콘(ニコン)이 참여한 상태입니다.

일본 정부도 칼을 빼고 나섰습니다. 작년 방위성이 딥페이크가 만든 가짜 콘텐츠를 분석할 ‘글로벌 전략 정보관’이란 직책을 신설한 것인데요. 초대 정보관에 임명된 무라카미 유코씨는 “정치와 여론에 악영향을 주는 가짜뉴스가 급증하고 있다. AI를 통해 조작물을 판별할 기술의 도입을 검토하고 있다”고 했습니다.

NHK는 “AI로 생성된 조작물은 갈수록 정밀해져 인간의 판단으론 가려내기 어렵다”며 “국민들도 ‘위드 페이크(with fake)’란 현 상황을 주지하고, 인터넷에 퍼지는 정보에 대해 스스로 진위를 검증할 힘을 키워야 한다”고 제언했습니다.

'도쿄 타워'가 보이는 일본의 수도 도쿄의 전경/조선일보DB

9월 6일, 세 번째 ‘방구석 도쿄통신’은 AI 가짜뉴스로 인한 위기와 이를 극복하려는 일본 스타트업의 신기술을 다뤄보았습니다. 다음 주에도 일본에서 핫하고 재미있는 이야기들을 소개해드리겠습니다.

‘방구석 도쿄통신’의 1~2편 링크도 아래에 남깁니다.

“日여행 앞뒀다면 필독! 당분간 이 ‘교통카드’ 발급 안됩니다” ☞ chosun.com/international/japan/2023/08/23/3U4W2IQGMZGINAG2EJQDHMD5QI/

“日 디즈니랜드와 ‘장기 저성장’의 역학관계” ☞ chosun.com/international/japan/2023/08/30/33DYHU6MBRAHNHB3X7CW3A2AYI/

‘방구석 도쿄통신’은 매주 수요일 연재됩니다. 관심 있는 분이라면 하단의 ‘구독’ 링크를 눌러주세요. 이메일 주소로 ‘총알 배송’됩니다.

이번 한주도 평안하시길 바랍니다. 다음 주 수요일에 뵙겠습니다.

방구석 도쿄통신 뉴스레터 구독하기 ☞ https://page.stibee.com/subscriptions/275745