흉기 들자 “위험성 98%”…AI·사람 협업하는 틱톡 콘텐츠 심사

틱톡 싱가포르 ‘투명성 및 책임 센터’ 가보니

틱톡 싱가포르 본사에 있는 ‘투명성 및 책임 센터(TAC)’ 모습. 틱톡 제공

소셜네트워크서비스(SNS)가 일상의 주요 정보·콘텐츠 유통 창구로 자리 잡으면서 허위정보와 유해 콘텐츠 확산을 막기 위한 플랫폼의 책임을 강화해야 한다는 목소리가 커지고 있다. 사업자들은 ‘유해·허위 콘텐츠를 어떻게 걸러낼 것인가’라는 오래된 물음에 더해 청소년 과몰입 논란, 인공지능(AI)이 찍어내는 저품질 콘텐츠(슬로프) 유통 문제 등 새로운 과제에도 직면한 상태다.

전 세계 10억명 이상이 사용하는 ‘틱톡’도 이런 논란에 자유롭지 않다. 2016년 서비스 개시 이래 쇼트폼(짧은 동영상)을 끊임없이 넘기는 추천 피드로 폭발적으로 성장했지만, 유해 콘텐츠 노출과 이용자 과몰입 문제에 더해 중국계 모회사 바이트댄스의 이용자 데이터 처리 우려가 겹치며 내부 작동 방식을 설명하라는 요구도 커졌다.

틱톡은 이런 우려에 답하기 위해 싱가포르·미국 등에 ‘투명성 및 책임 센터’(TAC)를 두고 콘텐츠 관리 과정을 공개하고 있다. 지난 11일 싱가포르 티에이씨에서 살펴본 이 기업의 심사 체계와 이용자 보호 정책은 ‘인공지능과 사람의 협업’ ‘추천 콘텐츠의 다양화’ ‘청소년 보호’ ‘슬로프 대응’으로 압축됐다.

싱가포르 틱톡 ‘투명성 및 책임센터’에 설치된 콘텐츠 심사역 체험 공간. 틱톡 제공

■ 명백한 위반은 AI가, 애매한 영역은 인간이 판단 틱톡의 유해 콘텐츠 심사는 크게 인공지능과 사람의 심사가 결합해 이뤄진다. 콘텐츠가 업로드되면 인공지능이 영상과 이미지, 음성, 문자 등을 1차로 검수한다. 칼 같은 위험한 물체뿐만 아니라 음주·흡연, 극단주의 단체 상징, 자살·자해 관련 표현 등도 탐지 대상이다. 단순히 물체 유무만 판단하지 않고 행동의 맥락도 함께 판단한다. 이날 콘텐츠 심사 기능이 부여된 모니터 앞에서 식사용 나이프를 들고 위협적인 자세를 취하자 ‘위험한 도구’ 지수가 98%까지 치솟았다. 반면, 똑같은 도구를 들고 식사를 하는 모습을 연출하자 위험 지수가 50% 이하로 내려갔다.

인공지능이 판단하기 어려운 콘텐츠는 사람이 살핀다. 인공지능이 1차 평가에서 유해성 판단이 모호하다고 결정하면, 틱톡 내 수천명의 신뢰·안전 심사역이 직접 나서 콘텐츠를 심사한다. 허위 정보인지 판단해야 하거나, 발화자의 표현이 단순 비아냥인지 모욕인지 가려내야 하는 경우 등이 대표적이다. 심사역들은 문화적 맥락 등을 함께 고려해 삭제 여부를 판단한다.

틱톡은 올해 1분기 1억8401만개의 영상(전체 업로드 영상의 0.5%)이 틱톡 가이드라인을 위반했다고 보고 삭제했는데, 이 가운데 96.7%는 인공지능이 걸러냈다. 이용자 신고 전 삭제에 나선 비율은 99.3%, 24시간 안에 삭제된 비율은 94.4%이다. 한국에서도 올해 1분기에만 25만4천여건의 영상이 삭제됐다.

지난 11일 싱가포르 틱톡 ‘투명성 및 책임센터’에서 틱톡 관계자가 추천 알고리즘에 대해 설명하는 모습. 틱톡 제공

■ ‘취향 저격’ 영상과 ‘낯선’ 영상을 섞는다 틱톡은 이용자의 관계보다 관심사를 중심으로 콘텐츠를 추천한다. 친구와 지인의 게시물을 우선 보여주는 다른 소셜미디어와의 차별점이다. 틱톡 이용자들은 사용 시간의 80%를 팔로잉 피드가 아닌, 추천 피드에서 보낸다. 이를 위해 틱톡은 우선 사용자의 관심사를 찾는 알고리즘을 정교하게 설계했다. 첫 가입자에게 지역과 언어 설정, 안전하면서 인기 있는 콘텐츠 등을 바탕으로 8개의 영상을 제시한다. 이 과정에서 이용자가 무엇을 오래 봤는지, 좋아요 버튼을 눌렀는지 등을 종합해 점수화한다. 이 결과물을 바탕으로 그다음 8개 영상 묶음을 구성해 다시 제시하는 일을 반복하며 이용자의 관심사를 찾아간다.

선호를 파악했다고 ‘취향 저격’ 콘텐츠만을 보여주는 것은 아니다. 이용자가 비슷한 영상에만 지속적으로 노출될 경우 지루함을 느끼기 쉬운 데다 편향을 강화하는 필터버블에 갇힐 우려가 있기 때문이다. 틱톡은 같은 종류의 영상이나 동일한 크리에이터의 콘텐츠가 연달아 나오지 않도록 설정하고, 이용자가 평소 보지 않던 콘텐츠도 의도적으로 섞는다. 이용자가 좋아할 만한 콘텐츠를 60%, 새로운 콘텐츠를 40% 정도로 섞어 내어놓는다. 이용자가 취향을 처음부터 다시 설정할 수 있도록 초기화 기능도 제공한다.

■ 한국 청소년은 14살부터 이용 가능·나이별 별도 잠금장치 틱톡은 청소년 에스엔에스 과몰입과 유해 콘텐츠 노출 문제가 심각해지자 연령대별 보호 장치를 강화하고 있다. 한국에서는 만 14살부터 틱톡 계정을 만들 수 있다. 청소년 계정은 기본이 비공개로 설정되며 14~15살 이용자는 다이렉트메시지(DM)를 사용할 수 없다. 보호자가 자녀 계정과 연결해 이용 시간과 콘텐츠 설정 등을 관리하는 ‘패밀리 페어링’ 기능도 제공한다. 가이드라인을 어긴 영상이 아니더라도 격투기나 술 등 청소년에게 부정적인 영향을 줄 수 있는 콘텐츠는 노출을 제한한다. 아울러 스크린타임 관리 기능에 더해 지난해 11월엔 호흡 연습, 긍정 일기 등 청소년의 디지털 이용 습관을 관리하기 위한 기능도 추가했다.

최근에는 인공지능 슬로프 대응도 강화하고 있다. 틱톡은 사람의 실질적인 참여 없이 저품질 인공지능 콘텐츠를 대량 생산하는 계정을 탐지하고 삭제하도록 시스템을 개선할 계획이다. 틱톡은 “청소년이 안전하고 건강하게 사용할 수 있는 플랫폼 환경을 만들어 실효적인 보호를 실천하겠다”며 “정치·시사, 금융 등 공공의 안전에 영향을 줄 수 있는 민감 분야에서 인공지능 생성 콘텐츠를 반복 게시하는 계정의 식별 시스템을 고도화할 예정”이라고 밝혔다.

싱가포르/강재구 기자 j9@hani.co.kr