눈동자 보면 가짜 영상 보인다…은하 분석 기법으로 딥페이크 분석

영국 헐대 연구진, 영국왕립학회서 발표
은하 빛 분포 분석법 활용해 눈동자 비교
70% 정확도로 딥페이크 영상 가려

미국 유명 배우인 스칼렛 요한슨의 실제 사진(왼쪽)과 딥페이크로 만든 인물(오른쪽). 실제 사진 속 인물의 눈동자에 비친 빛은 같은 패턴을 보이지만, 딥페이크 영상은 서로 다른 모습을 보인다./아데주모크 오월라비

천문학 연구 기법을 활용해 딥페이크 가짜 영상을 선별하는 기술이 개발됐다. 음란물, 가짜뉴스 제작에 사용되는 딥페이크의 부작용을 해결할 수 있을 것으로 기대를 모은다. 다만 딥페이크 기술이 계속 발전하는 만큼 더 정교한 감지 기술을 계속 연구해야 할 것으로 보인다.

케빈 핌블렛 영국 헐대 모델링·인공지능·데이터사이언스연구소 소장 연구진은 지난 15일 열린 영국왕립천문학회 천문학회의에서 “은하 분석 기법으로 딥페이크 영상을 구분할 수 있다”고 밝혔다.

딥페이크는 인공지능(AI)을 기반으로 한 영상 합성 기술이다. 전통적인 합성 기술에 비해 사실적인 묘사가 가능해 주목 받고 있다. 그러나 음란물 제작에 사용되거나 가짜뉴스를 퍼뜨리는 데 이용되기도 해 사회 문제를 일으킨다. 지난 2월에는 미국의 유명 가수 테일러 스위프트의 사진을 이용한 딥페이크 음란물이 유포됐다. 한국을 비롯해 주요 국가의 선거를 앞두고 가짜 뉴스의 딥페이크 영상이 퍼지기도 했다.

연구진은 천문학 연구에서 은하의 빛 분포를 분석하는 기법을 활용해 딥페이크 영상을 찾아내는 기술을 개발했다. 핌블렛 교수는 “딥페이크 영상에서 나타난 미묘한 차이를 감지하기 위해 천문학 연구 기법을 활용했다”며 “영상이 실제인지 가짜인지 알아낼 수 있는 궁극적인 기술에 한층 더 가까워졌다”고 말했다.

연구진은 영상 속 인물의 눈동자에 비친 빛을 이용했다. 실제 영상이라면 눈동자 속 빛이 물리적인 법칙을 따르지만, 가짜로 만들어졌다면 그렇지 않을 것이라고 생각했다. 특히 사람의 양쪽 눈을 비교하면 그 차이는 더 명확하다. 왼쪽 눈과 오른쪽 눈에 비친 빛의 패턴이 다르다면 딥페이크 영상일 확률이 높다.

눈동자 분석은 은하의 빛 분포를 계산하는 ‘지니 계수’를 활용했다. 은하 사진에서 지니 계수가 0에 가까우면 빛이 고르게 분포한다는 의미이고, 1에 가까우면 빛이 한 곳에 모여 있는 경우이다. 영상 속 인물의 양쪽 눈에서 지니 계수 차이를 비교하면 실제 영상인지, 딥페이크로 만든 영상인지 알 수 있다.

실제 사진 속 인물의 눈동자(왼쪽)와 딥페이크 영상 속 인물의 눈동자(오른쪽)에 비친 빛의 패턴. 실제 영상은 양쪽 눈에 비슷한 패턴이 나타나지만, 딥페이크 영상에서는 서로 다른 패턴을 보인다./아데주모크 오월라비

연구진은 실제 인물 사진이 모여 있는 ‘플리커 안면 HQ 데이터 세트’와 딥페이크 영상을 이용해 딥페이크 분석 정확도를 확인했다. 그 결과, 70% 정확도로 딥페이크 영상을 구분할 수 있었다. 연구진은 지니 계수를 이용하면 기존 딥페이크 분석법보다 높은 정확도를 나타낸다고 결론 내렸다.

다만 딥페이크 영상의 사회적 파장이 큰 만큼 더 정확한 분석법 개발이 필요하다고 연구진은 주장했다. 핌블렛 교수는 “가짜 영상을 감지하는 데 이번 기술이 만병통치약은 아니다”며 “딥페이크 영상을 진짜라고 판별하거나 실제 영상을 가짜라고 판별하는 경우도 더러 있었다”고 말했다.

학계는 천문학 기술을 더 정교한 딥페이크 영상 제작에도 활용할 수 있다고 우려했다. 브랜트 로버트슨 미국 산타크루즈 캘리포니아대 교수는 “딥페이크가 얼마나 사실적으로 보이는지 정량화할 수 있는 기술”이라면서도 “오히려 이를 이용해 AI를 훈련시키면 딥페이크의 사실성은 더 높아질 것”이라고 말했다.

- Copyright ⓒ 조선비즈 & Chosun.com -