카카오, 딥러닝 기술 기반의 '형태소 분석기' 오픈소스 제공
전체 맥락을 이해하기 위해서는 본문 보기를 권장합니다.
카카오가 AI 기술을 적용한 형태소 분석기술을 오픈소스로 공개한다.
카카오는 딥러닝 기술 기반으로 개발한 형태소 분석기 '카이(khaiii, Kakao Hangul Analyzer III,)'를 오픈소스로 제공한다.
딥러닝 기술 기반 형태소 분석기가 오픈소스로 제공되는 것은 국내에서 처음이다.
이 글자크기로 변경됩니다.
(예시) 가장 빠른 뉴스가 있고 다양한 정보, 쌍방향 소통이 숨쉬는 다음뉴스를 만나보세요. 다음뉴스는 국내외 주요이슈와 실시간 속보, 문화생활 및 다양한 분야의 뉴스를 입체적으로 전달하고 있습니다.
카카오가 AI 기술을 적용한 형태소 분석기술을 오픈소스로 공개한다.
카카오는 딥러닝 기술 기반으로 개발한 형태소 분석기 '카이(khaiii, Kakao Hangul Analyzer III,)'를 오픈소스로 제공한다. 딥러닝 기술 기반 형태소 분석기가 오픈소스로 제공되는 것은 국내에서 처음이다.
카카오 형태소 분석기 오픈소스 공개를 통해 한국어 연구, 챗봇·자연어 처리 응용기술 개발 등 한국어를 활용하는 다양한 분야에서 형태소 분석을 위한 비용과 시간을 줄일 수 있게 됐다.
형태소 분석기술은 2개 이상 글자로 이뤄진 단어 혹은 문장을 입력 시, 의미를 가진 언어 단위 중 가장 작은 단위인 형태소 단위로 자동으로 분리하는 기술이다.
'학교에 간다'라고 입력하면 '학교/명사+ 에/조사+ 가/동사+ ㄴ다/어미'로 형태소 단위와 품사를 파악해 분류해내는 기술이다.
자연어처리 응용 서비스 기반 기술로 사용된다. 정보 검색, 기계 번역, 스마트 스피커나 챗봇 등 여러 서비스에서 사용할 수 있다.
카카오 형태소 분석기는 딥러닝(심층기계학습)을 통해 학습한 데이터를 활용해 형태소를 분석하는 모델이다.
딥러닝 기술 중 하나인 CNN(Convolutional Neural Network, 합성곱신경망) 기술을 이용해 음절기반으로 형태소를 분석하는 방법을 채택했다.
카카오는 국립국어원에서 배포한 데이터인 세종 코퍼스를 기반으로 데이터 오류를 수정하고 카카오에서 자체 구축한 데이터를 추가해 85만 문장, 1003만 어절 데이터를 학습해 정확도를 높였다.
딥러닝 과정에서 C++ 언어를 적용, 일반적으로 딥러닝에 쓰이는 GPU(그래픽처리장치)를 사용하지 않고도 빠른 분석 속도를 구현했다.
카카오 형태소 분석기 카이는 깃허브(GitHub)에서 확인할 수 있다. 김응균 카카오 자연어처리파트장은 “한국어를 연구하는 분들에게 도움이 되고자 형태소 분석기를 공개했다”고 말했다.
김시소 게임/인터넷 전문기자 siso@etnews.com
Copyright © 전자신문. 무단전재 및 재배포 금지.
- 대한민국, 세계 첫 '5G 시대 개막' ..스마트폰 나오는 내년 봄 활성화할듯
- '셀카의 神' 비와이폰3 써보니
- 대목 겨울방학 겨냥, 게임사 12월 신작 봇물
- 케이블TV 망 고도화·통합망 필요성 제기
- 美 '레이저' 한국 스마트폰 시장 공식 진출
- 유인나 목소리로 '듣는' 네이버 클로바
- 안랩, 웹사이트 광고만 봐도 감염..'선 랜섬웨어' 주의
- 기술보증기금, 첫 여성지점장 탄생..신항기 기술보증부 팀장, 지점장 임명
- 생산·소비·설비투자 '트리플증가'..동행지수는 7개월째 마이너스
- 카카오, 딥러닝 기술 기반의 '형태소 분석기' 오픈소스 제공