AI가 비속어·악플 쏙쏙 잡아낸다…혐오표현 탐지·필터링

기사내용 요약
인공지능으로 대체 단어 제시…윤리 강화

[서울=뉴시스] 악플. (사진=뉴시스 DB). photo@newsis.com

[서울=뉴시스] 배민욱 기자 = IT 기업들의 인공지능(AI) 윤리 의식 중요성이 높아지고 있다. 특히 고도화된 AI 기술을 활용해 비속어, 악플 등의 혐오 표현을 탐지·필터링 해주는 기술을 개발하고 서비스에 도입하는 기업들이 늘고 있다.

통화 내용을 텍스트화 하는 과정에서 비속어나 욕설을 자동으로 인식해 필터링해주고 악성 댓글을 탐지하고 차단해준다. 혐오표현을 탐지하고 대체 단어까지 제시해주기도 한다.

2일 관련 업계에 따르면 리턴제로가 운영하는 국내 대표 AI 전화 비토는 문자변환 AI 교정 기능을 도입했다. 비속어 필터를 지원하는 이 기능은 전화로 나눈 대화 내용에서 비속어를 별도로 인식해 이를 제외한 문자변환 내용만을 보여준다.

비토 앱 내 설정 탭에서 필터 기능을 비활성화하면 원본 통화 녹음을 텍스트로 확인할 수 있다. 필터를 해제하지 않아도 비속어 필터가 적용된 말풍선 옆 아이콘을 터치하면 대화의 원본 문장을 바로 확인이 가능하다.

네이버는 뉴스 댓글, 방송 톡, 네이버 TV 댓글 등에 욕설뿐만 아니라 과도한 성적 표현까지도 필터링해주는 인공지능 기반의 악성 댓글 차단 프로그램인 'AI 클린봇'을 적용하고 있다.

AI 클린봇은 기존에 학습된 데이터를 포함해 약 1억6000만건의 데이터를 4개월에 걸쳐 학습, 고도화에 활용했다. 이를 통해 정확도를 지속적으로 향상시켜 나가고 있다.

지난해 발표한 AI 클린봇 2.5 업데이트 버전에는 과도한 성적표현에 대한 AI학습이 추가로 반영됐다. 직·간접적인 성적 행위나 특정 부위 등의 표현들을 자동으로 차단해 성적 불쾌감을 일으킬 수 있는 상황들을 미연에 방지한다.

튜닙이 공개한 '윤리성 판별(Safety Check)' API(응용 프로그램 인터페이스)는 사용자가 입력한 텍스트의 문맥을 분석한 후 혐오 표현을 자동 탐지한다. 탐지된 내용은 모욕, 욕설, 폭력·위협, 범죄 조장 등 11가지 카테고리로 분류된다. 분류된 혐오 표현의 심각성을 주의, 명백, 심각 등 3단계로 구분하고 대체할 수 있는 단어를 제안해 보여준다.

튜닙은 대화 문맥상을 비롯해 인공지능 모델의 윤리성 문제를 총체적으로 점검하고 수치화할 수 있는 솔루션 개발에 집중할 방침이다.

☞공감언론 뉴시스 mkbae@newsis.com