AI로 악플·혐오표현 잡아낸다…비토·네이버·튜닙, 필터링 기능 선봬

AI 기술로 비속어·악플 등 악성표현 탐지해 필터링하거나 대체 단어 제시해 서비스 윤리 강화

AI 기술을 활용해 비속어, 악플 등의 혐오 표현을 탐지하고 걸러주는 기술들이 선보여 주목된다.

통화 내용을 텍스트화하는 과정에서 비속어나 욕설을 자동으로 인식해 필터링해주는 리턴제로의 '비토(VITO)'부터 악성 댓글을 탐지하고 차단해주는 네이버의 'AI 클린봇', 혐오표현을 탐지하고 대체 단어까지 제시해주는 튜닙의 '윤리성 판별 API'가 대표적이다.

리턴제로가 운영하는 AI 전화 비토(VITO)는 '문자변환 AI 교정' 기능을 도입했다. 통화 내용을 텍스트로 변환해 메신저처럼 보여주는 비토는 문자변환 AI 교정 기능을 새롭게 도입했다. '비속어 필터'를 지원하는 해당 기능은 전화로 나눈 대화 내용에서 비속어를 별도로 인식해 이를 제외한 문자변환 내용만을 보여준다.

비토는 유저들이 서비스 이용 과정에서 윤리적 정서나 감정에 불편을 느끼지 않도록 해당 기능을 개발해 서비스를 업데이트했다. 비토 앱 내 설정 탭에서 필터 기능을 비활성화하면 원본 통화 녹음을 텍스트로 확인할 수 있다. 필터를 해제하지 않아도 비속어 필터가 적용된 말풍선 옆 아이콘을 터치하면 대화의 원본 문장을 바로 확인할 수 있다.

네이버는 뉴스 댓글 및 방송 톡, 네이버 TV 댓글 등에 욕설뿐만 아니라 과도한 성적 표현까지도 필터링해주는 인공지능 기반의 악성 댓글 차단 프로그램인 'AI 클린봇'을 적용하고 있다.

AI 클린봇은 기존에 학습된 데이터를 포함해 약 1억6000만 건의 데이터를 4개월에 걸쳐 학습 및 고도화에 활용했고, 이를 통해 정확도를 지속 향상시켜 나가고 있다. 특히 지난해 발표한 AI 클린봇 2.5 업데이트 버전에는 과도한 성적표현에 대한 AI 학습이 추가로 반영됐는데, 직·간접적인 성적 행위나 특정부위 등의 표현들을 자동으로 차단해 성적 불쾌감을 일으킬 수 있는 상황들을 미연에 방지한다.

네이버는 악성 댓글 차단의 범위를 넓혀 나가며 피해 방지에 실질적인 도움을 줄 수 있도록 윤리적 책임의식을 가지고 관련 기술을 고도화해 나가갈 것이라고 밝혔다.

인공지능(AI) 스타트업 튜닙이 공개한 '윤리성 판별(Safety Check)' API(애플리케이션 인터페이스)는 AI 윤리 및 인터넷 혐오 문제에 대한 해결책으로 기대된다.

튜닙의 딥러닝 모델은 사용자가 입력한 텍스트의 문맥을 분석 후 혐오 표현을 자동 탐지한다. 여기서 탐지된 내용은 모욕, 욕설, 폭력·위협, 범죄 조장 등 11가지 카테고리로 분류된다. 분류된 혐오 표현의 심각성을 주의·명백·심각 등 3단계로 구분하고, 대체할 수 있는 단어를 제안해 보여준다.

튜닙측은 온라인의 윤리 문제나 인공지능 윤리 문제는 기술의 발전과 더불어 늘 고민해야 하는 본질적 문제이며, 윤리성 판별 엔진 개발을 시작으로 대화 문맥상의 윤리성 문제, 인공지능 모델의 윤리성 문제를 총체적으로 점검하고 수치화할 수 있는 솔루션 개발에 매진하겠다고 밝혔다. 안경애기자 naturean@dt.co.kr