셀렉트스타, ‘EMNLP 2022’에 작성 논문 및 데이터셋 등재

- 실시간 방송 대화 분석 논문 세계 최고 자연어 처리 학회 ‘EMNLP’에 등재
- 서강대, 카이스트 연구진과 구축한 혐오 표현 데이터셋 ‘KOLD’ 공식 발표

AI 학습 데이터 플랫폼 셀렉트스타(대표 김세엽·신호욱) 셀렉트스타는 ‘EMNLP 2022’서 공동 작성 논문 ‘실시간 방송 채팅 내 규범 위반 분석’이 공식 발표됐다고 28일 밝혔다. EMNLP(Empirical Methods in Natural Language Processing)는 ACL·NAACL과 함께 자연어 처리 분야 세계 3대 학회로 꼽힌다.

‘실시간 방송 채팅 내 규범 위반 분석(Analyzing Norm Violations in Real-Time Live-Streaming Chat)’은 인터넷 방송 중 시청자의 채팅을 연구한 논문이다. 셀렉트스타는 NLP 전문 스타트업 소프트리에이아이와 미국 서던캘리포니아대학(USC) 연구진과 함께 해당 논문을 공동 작성했다.

연구진은 혐오 표현을 검수하는 기존 인공지능이 대부분 SNS 서비스에서 수집한 ‘비동기 대화 데이터’만을 학습했다는 점에 주목했다. 비동기 대화란 메일, 댓글 등 화자가 같은 시간대에 참여하지 않는 걸 전제로 하는 대화를 뜻한다. 연구 결과 비동기 대화를 학습한 인공지능이 실시간 방송 채팅 속 혐오 표현을 필터링했을 때 검사 정확도는 35% 이하로 드러났다.

셀렉트스타는 실시간 대화 데이터 수집을 위해 인터넷 방송 플랫폼 트위치 채팅 기록 4,664개를 인공지능 학습용 데이터로 가공했다. 데이터 가공 작업자는 직전 2분 동안의 방송 영상과 채팅 기록을 보며, 대화 흐름에 따라 문장 속 혐오 표현을 분류하고 주석을 더했다.

셀렉트스타 AI팀 김민우 연구원은 “그동안 실시간 스트리밍 환경에서 대화 속 유해 표현을 분류해 놓은 인공지능 학습 데이터가 없었다. 이번 연구를 통해 비동기 대화 상황과 실시간 스트리밍 상황의 데이터 분포가 어떻게, 얼만큼 다른 지 확인할 수 있었다”고 밝혔다.

한편 이번 EMNLP 2022에서는 셀렉트스타가 서강대, 카이스트 연구진과 함께 구축한 KOLD 데이터셋도 공식 발표됐다. KOLD(Korean Offensive Language Dataset)는 네이버 뉴스와 유튜브 플랫폼 등에서 수집한 4만 429개의 혐오 댓글과 그에 대한 주석으로 구성된 한국어 혐오 표현 데이터셋이다. 셀렉트스타는 크라우드소싱 플랫폼 캐시미션을 통해 작업자 3,124명에게 데이터 가공 작업 환경을 제공했다.

셀렉트스타 김세엽 대표는 “셀렉트스타가 만든 데이터셋이 AI 분야 최고 권위 학회인 CVPR, NeurIPS에 이어 EMNLP에도 소개됐다”면서 “국내 인공지능(AI) 학습 데이터 시장에서 첨단 연구에 활용될 만큼 데이터 품질 및 신뢰도가 보장된 기업은 셀렉트스타가 유일하다”라고 밝혔다.

정진 기자 peng1@asiae.co.kr