언론진흥재단, 한국어 형태소 분석기 '바른' 출시

[서울=뉴시스] 한국언론진흥재단은 한국어 형태소 분석기 '바른(bareun.ai)'을 온라인에 공개했다고 23일 밝혔다. (사진=한국언론진흥재단 제공) 2023.02.23. photo@newsis.com *재판매 및 DB 금지

[서울=뉴시스] 신효령 기자 = 한국언론진흥재단은 한국어 형태소 분석기 '바른(bareun.ai)'을 출시했다고 23일 밝혔다.

'바른'은 7800만건의 뉴스데이터와 80만건의 언어사전을 학습시켜 만든 형태소 분석 엔진이다. 옳다는 의미의 '바른', 문장에서 형태소를 '발라낸다'는 의미를 함께 담고 있다.

재단은 한국어를 정확하게 파악하고, 언론 영역에 최적화된 형태소 분석기 개발을 위한 데이터 선별·정제·학습 과정을 거쳤다. 빅카인즈의 1990년부터 2022년 8월까지 뉴스 기사 7800만건을 정제해 1억어절의 말뭉치를 학습시켰다. 개체명·신조어·복합명사 등 빅카인즈 언어사전의 80만 단어와 국립국어원 '모두의 말뭉치' 300만 어절, '세종 말뭉치' 1200만 어절을 추가했다.

최근 '챗GPT'의 등장으로 언론계에서 인공지능(AI) 기술의 적용 필요성은 높아졌지만 언론사 자체적인 기술 개발은 어려운 상황이다. 이에 재단은 2021년부터 '언론사를 위한 언어정보 자원 개발'을 추진했고 형태소 분석기 '바른'을 만들었다. 한국어 특성을 분석해 찾아낸 106개의 분절 규칙을 적용했다.

'바른'은 문맥과 의미를 고려한 맞춤법 검사와 혐오 표현 검출·순화, 적절한 단어나 표현 추천 등 언론계 AI 서비스 확산에 기여할 전망이다. R·파이썬·자바 등 다양한 언어로 제공된다. 활용을 원하는 언론사와 연구자, 국민 모두 무료로 이용할 수 있다.

☞공감언론 뉴시스 snow@newsis.com