‘AI가 쓴 문장 AI로 찾아낸다’…챗GPT 잡는 디텍트GPT도 등장

美 스탠퍼드대 크리스토퍼 매닝·첼시 핀 연구팀

미 스탠퍼드대 연구팀의 디텍트GPT 관련 논문 내용. 원본 문장과 수정한 문장을 비교해 챗GPT가 작성한 문장을 찾아내는 방식이다. /아카이브

인공지능(AI) 분야의 대부가 대화형 챗봇 AI(인공지능)인 ‘챗GPT’를 잡기 위해 나섰다.

미국 스탠퍼드대의 크리스토퍼 매닝 교수와 첼시 핀 교수 연구팀은 이달 26일(현지 시각) 논문 사전공개 사이트인 아카이브(arxiv)에 챗GPT가 작성한 문장을 찾아내는 디텍트GPT(DetectGPT)를 개발했다고 밝혔다.

크리스토퍼 매닝 교수와 첼시 핀 교수는 AI와 자연어 처리 분야에서 세계적인 석학이다. 연구팀은 논문 초록에서 “대학에서 학생들이 AI가 작성한 에세이를 제출하는 일이 발생하면서 학생들에 대한 정확한 평가가 어려워졌다”며 디텍트GPT를 만든 이유를 설명했다.

챗GPT의 문장을 찾아내기 위한 방법이 개발된 건 이번이 처음은 아니다. 미국 프린스턴대 학생이 개발한 ‘GPT제로’라는 앱이 이달 초에 공개되기도 했고, 오리지널리티AI라는 스타트업은 GPT로 쓴 글을 탐지하는 서비스를 제공하고 있다. 챗GPT를 개발한 오픈AI도 챗GPT가 작성한 글을 확인할 수 있도록 워터마크를 삽입하는 방법을 고민하고 있다. 하지만 그동안 나온 방식들은 챗GPT를 효과적으로 찾아내기에 한계가 있다는 평가가 많았다.

연구팀이 챗GPT를 찾아내기 위해 선택한 방식은 굉장히 간단하면서도 영리하다는 게 전문가들의 평가다. 연구팀은 문장 하나를 만든 뒤에 여기서 특정 단어를 제거했다. 단어가 빠진 자리에는 구글이 만들었던 AI 언어모델인 T5를 사용해 다른 단어를 채워넣었다. 이렇게 작은 변화를 준 뒤에 챗GPT가 원래의 문장을 생성할 확률과 단어가 바뀐 문장을 생성할 확률을 비교해 챗GPT가 쓴 문장인지 찾아내는 방식이다.

예컨대 연구팀은 ‘Joe Biden recently made a move to the White House that included bringing along his pet’이라는 문장을 사용했다. 여기서 ‘bringing along’이라는 표현을 지우거나, ‘pet’을 ‘dog’로 바꾸거나, ‘made a move’를 ‘moved’로 바꾸는 식이다. 원본 문장과 변형된 문장의 가능도 곡률(likelihood)을 비교해서 챗GPT가 쓴 문장을 가려낼 수 있다는 게 연구팀의 설명이다.

김수현 한국과학기술연구원(KIST) 인공지능연구단 책임연구원은 “챗GPT 같은 AI 모델이 문장을 생성할 때 그 문장 주변에서 가장 그럴싸한 문장을 선택한다는 것을 역이용해서 챗GPT의 문장을 찾아내는 방식”이라며 “기존에 제시된 적이 없는 새로운 방식의 탐지 기술인데, 굉장히 간단하면서도 영리해보인다”고 말했다.

하정우 네이버 AI랩 소장도 “원본 문장과 변형된 문장의 확률 곡률 형태를 비교해서 들쑥날쑥하면 사람이 쓴 것으로 보고 그렇지 않으면 챗GPT가 생성한 문장으로 보는 것”이라며 “상당히 직관적이면서도 효과적인 방법”이라고 평가했다.

- Copyright ⓒ 조선비즈 & Chosun.com -