과일깎는 칼인지, 자해용 칼인지… AI가 걸러낸다

유해 콘텐츠 잡아내는 틱톡 ‘투명성 센터’ 가보니

싱가포르 원래플스키에 있는 틱톡 사무실의 ‘투명성과 책임 센터’에 있는 유해 콘텐츠 선별용 모니터. 틱톡의 전문 심사 인력들이 어떻게 콘텐츠 유해 여부를 판단하는지 경험할 수 있다. /틱톡, 그래픽=박상훈

지난 6일 싱가포르 원래플스키에 있는 틱톡 ‘투명성과 책임 센터(TAC)’에 설치된 카메라 앞에 가짜 피가 묻은 장난감 정글도를 들고 섰다. 앞에 있는 카메라와 연결된 모니터 안에 표시된 ‘위험 도구 지수’가 10~20%를 오갔다. 이 지수는 인공지능(AI)이 매긴다. 칼을 들어 올리면 위험도 수치가 올라가고 칼을 기자의 목에 들이대는 자세를 취하자 위험도 수치가 98%까지 치솟았다. 글자도 빨간색으로 변했다. TAC 관계자는 “요리 콘텐츠에도 칼이 등장하기 때문에 AI가 칼만을 위험 요소라고 식별해서는 안 되고 사람의 동작과 배경까지 포함한 ‘맥락’을 파악해야 한다”고 했다. 똑같은 과도가 등장하는 영상이라도 과도로 사과를 깎고 있는 동영상은 AI가 안전하다고 판단하는 반면, 과도로 팔을 긋는 자해 동영상은 위험하다고 판단해 자동으로 삭제하는 식이다.

숏폼(짧은 동영상) 플랫폼 틱톡이 AI를 활용한 자동 삭제 기술을 개발하는 것은 유해 콘텐츠 선별이 소셜미디어 기업의 운명을 가를 이슈로 떠오르고 있기 때문이다. 유럽의 디지털서비스법(DSA)에 따라 이달 17일부터 빅테크 플랫폼은 유해 콘텐츠에 대해서 삭제나 계정 폐쇄 등 즉각적인 시정 조치를 해야 한다. 위반하면 연간 글로벌 수익의 최대 6%에 해당하는 과징금이 부과될 수 있다. 최근 추 쇼우지 틱톡 최고경영자(CEO)가 미국 상원 법제사법위원회의 ‘빅테크와 온라인 아동 성 착취 위기’ 청문회에 참석해 “신뢰와 안전 확보에 20억 달러(약 2조2000억원) 이상을 투자하겠다”고 밝힌 것도 미국 내에서 확산되는 플랫폼 규제 목소리에 대한 대응 차원이었다.

그래픽=박상훈

◇유해 콘텐츠 1년 새 3배

틱톡은 1분 내외의 숏폼으로 빠른 시간에 급성장했다. 하지만 짧은 시간에 사용자들의 눈길을 끌기 위해 자극적이고 선정적인 콘텐츠가 많이 올라오는 플랫폼이기도 하다. 틱톡은 지난해 3분기(7∼9월)에만 1억3653만여 건의 영상을 유해 콘텐츠로 판명해 삭제했다. 1년 전과 비교하면 3배 이상 늘었다. 이 가운데 65%를 AI가 적발했다. 나머지 35%는 4만여 명의 전문 심사 인력이 삭제했다. 이들은 틱톡이 정해 놓은 규정(커뮤니티 가이드라인)에 따라 동영상을 본 뒤 삭제나 계정 정지, 알고리즘 배제 같은 조치를 내린다.

이날 TAC에서 커뮤니티 가이드라인을 보면서 영상 삭제 여부를 판단하는 작업을 해봤다. 10대로 보이는 남녀가 술을 마시거나 대마를 피우는 영상은 판단이 쉬운 편이었다. 하지만 여자가 가슴을 가린 채 자신의 앙상하게 마른 몸을 보여주는 영상은 “섭식장애를 부추긴다”고 문제 삼아야 할지, “노출도가 높다”고 지적해야 할지 고민이 됐다. 한 남자를 둘러싸고 노출이 심한 옷을 입은 여성들이 춤을 추는 영상 역시 ‘민감한 성인 콘텐츠’에 해당하는지 판단하기 어려웠다. 기자 기준에서는 문제가 없어 보였지만 청소년의 시각도 감안해야 했다.

TAC 관계자는 “‘민감한 성인 콘텐츠’나 ‘문화·관습을 거스르는 콘텐츠’의 경우엔 국가마다 조치 기준이 상이하다”며 “문화와 언어를 이해해야 하기 때문에 한국 콘텐츠 상당 부분은 한국인 전문가가 심사를 하고 있다”고 했다. 전문가 심사는 2단계로 진행하고, 때로는 외부 전문가에게 조언을 구하는 경우도 있다.

◇ “딥페이크, 혼자 해결 안 돼”

최근 틱톡의 새로운 골칫거리는 딥페이크(가짜 동영상)와 가짜 뉴스다. 틱톡은 정치 광고를 게재하지 않는다는 방침을 갖고 있지만 광고가 아닌 딥페이크나 딥보이스(생성형 AI로 위조한 목소리)처럼 다양한 방법으로 틱톡을 정치적으로 악용하는 것도 가능하기 때문이다.

실제로 생성형 AI가 인기를 끌면서 틱톡에도 딥페이크가 대거 등장하고 있다. 틱톡 관계자는 “틱톡 애플리케이션(앱)에 있는 생성형 AI 도구로 콘텐츠를 만들면 자동으로 AI가 만들었다는 표시(라벨링)가 되도록 하고 있다”고 했다. 문제는 ‘젠2′, ‘소라’ 등 다른 기업의 생성형 AI로 만든 콘텐츠에 대해선 아직 라벨링을 할 방법이 마땅치 않다는 것이다. 틱톡 관계자는 “생성형 AI 전체를 식별하고 자동 라벨링하는 기술을 개발하고는 있다”면서 “다만 AI 관련 기업들이 공동으로 추진하지 않는 이상, 한 기업의 힘으로는 해결하기 힘든 문제”라고 했다.