ETRI, 똑똑하게 문서 이해하는 AI 기술 개발

- 원하는 정보 검색 .. 사용자 질문에 정답-근거까지 확인 가능
- AI 적용 불가능했던 고난이도 오피스 문서 한계 극복

ETRI 연구진이 오피스문서에 활용할 수 있는 API 기술을 설명하고 있는 모습(왼쪽부터 김민호 책임연구원, 배용진 선임연구원, 임준호 책임연구원, 이형직 책임연구원).

[대전=쿠키뉴스] 최문갑 기자 = 인공지능 소프트웨어를 이용해 원하는 정보를 검색하고, 사용자의 질문에 정답과 근거까지 확인할 수 있는 기술을 국내 연구진이 개발했다.

7일 한국전자통신연구원(ETRI)에 따르면, ETRI는 사람처럼 똑똑하게 문서를 이해하고 원하는 정보를 찾을 수 있는 API 2종을 개발했다. 이 기술은 ETRI 공공 인공지능 오픈 API‧데이터 서비스 포털(https://aiopen.etri.re.kr/)에 공개되어 누구나 쉽게 이용할 수 있다고 연구진은 설명했다.

API(Application Programming Interface)는 운영 체제나 프로그래밍 언어가 제공하는 기능을 제어할 수 있게 만든 인터페이스다. 예를 들어, 식당에서 점원은 손님에게 메뉴를 알려주고 주방에 요리를 요청하는 상황일 경우, API는 프로그램(손님)에게 명령 목록(메뉴)을 알려주고 명령(주문)을 받으면 응용프로그램(요리사)과 상호작용하여 요청된 메뉴(명령에 대한 값)를 전달한다. 

연구진은 먼저, 행정문서 질의응답(QA) API 기술은 딥러닝 언어모델을 이용해 단락과 표를 인식하여 정답 및 근거 문장을 인식하는 기술이라고 전했다. 예를 들어 ‘출장 경비가 100만 원 들 때, 결재를 어느 선까지 받아야 할까요?’라는 질문을 입력하면, ‘100만 원 이하인 경우, 실장 전결’과 같은 사내 규정 정보를 담은 문서와 그 근거 부분까지 찾아 주는 셈이다.

이 기술은 공동연구기관인 한글과컴퓨터에서 블라인드 평가로 정확도를 측정했다. 그 결과 단락을 대상으로 검색해 나온 상위 5개 결과의 정확도는 89.65%, 표를 대상으로 진행한 검색에서는 81.5%로 높은 정확도를 보였다.

또한, 패러프레이즈(Paraphrase) 인식 API는 사람처럼 똑똑하게 문서를 보고 다른 형태의 문장이 같은 뜻을 지니는지 파악하는 기술이다. 앞서 나온 행정문서QA API와 다른 한국어 AI 개발에도 쓰일 수 있는 원천 기술이다. 패러프레이즈(Paraphrase)는 원래의 문장이나 구절을 쉽게 풀어내는 것을 의미한다.

연구진은 딥러닝 기술의 견고성 한계를 개선하여 다양한 유형의 문장에서 의미 관계를 인식하도록 본 기술을 개발했다고 밝혔다. 인공지능과 딥러닝 기술은 사람과 달리 문장이 조금만 달라져도 의미 관계를 올바르게 인식하지 못하는 견고성(robustness) 문제가 있었다.

견고성 연구는 AI 모델이 오동작하는 것을 방지하기 위한 것이다. 예를 들어 ‘그는 빨간 자전거를 샀다.’와 ‘그가 산 자전거는 빨간색이다’라는 문장은 사람과 기계가 쉽게 구분하지만, ‘그는 빨간 자전거를 안 샀다’라는 문장과는 구분을 잘하지 못한다.

그러나 연구진은 이 기술 개발로 견고성 평가셋 대상 평가 결과 96.63%의 정확도를 보이며 기존 오픈소스 딥러닝 기술보다 성능을 크게 개선할 수 있었다.

개발된 기술은 표준인 XML 기반으로 문서 서식을 처리한다. 현재는 한글 문서 대상으로만 서비스를 제공하지만, 개발 기술 자체는 워드, PDF 등 다른 문서에도 범용적으로 쓰일 수 있다. 이에 따라 사내 규정, 메뉴얼, 온라인 공고 등 다양한 문서와 분야에 적용될 전망이다. XML(EXtensible Markup Language)은 사람과 기계가 동시에 읽기 편한 구조로 사용자가 직접 태그를 정의하여 데이터를 저장하고 전달할 수 있다.

연구진은 오피스 문서 서식이 다양하고 정형화되지 않아 인공지능 기술을 적용하기 어려웠지만, 견고성이 높은 데이터를 구축하고 무엇이 문제인지 판단하는 알고리즘 성능을 높이면서 이 성과를 낼 수 있었다고 밝혔다.

연구진은 “GPT-3에 대응하여 언어이해와 생성을 동시에 학습한 딥러닝 언어모델을 개발하고 관련 기술을 공개하면서 AI 기술력을 고도화하고 플랫폼 개발에도 기여할 것”이라고 전했다. GPT-3(Generative Pre-trained Transformer 3)은 딥러닝을 사용하여 인간과 유사한 텍스트를 생성하는 자동 회귀 언어모델이다.

ETRI 언어지능연구실 임준호 박사는 “이 기술 개발로 필요한 내용을 빠르게 파악해 업무 생산성을 높이고 정보 공유와 활용도를 대폭 높이는 데 큰 도움이 될 것으로 기대한다”면서 “한국어 인공지능 서비스 시장이 더욱 활성화되어 외산 인공지능 솔루션의 국내시장 잠식을 막는 데도 도움이 될 것으로 보인다”고 말했다.

mgc1@kukinews.com