챗GPT 제작사, ‘AI 작성 글 탐지기’ 선봬··· “정확도는 26% 가량”

‘표절 등 악용 소지’ 우려에 출시···오픈AI “신뢰성 떨어져” 시인

AP연합뉴스

[서울경제]

인공지능(AI) 챗봇 ‘챗GPT’를 제작한 스타트업 ‘오픈AI’가 AI가 작성한 텍스트를 탐지하는 도구를 선보였다. 그러나 적발 성공률이나 정확도는 높지 않은 수준인 것으로 나타났다.

미국 캘리포니아주 샌프란시스코에 본사를 둔 오픈AI는 지난달 31일(현지 시간) 홈페이지로 이 도구를 공개하면서 출시 전에 실시한 자체 평가 결과를 설명했다. 평가에 쓰인 텍스트는 모두 영문이었으며, 인간이나 챗GPT뿐만 아니라 다른 챗봇들에 의해 생성된 것도 포함됐다. 이 도구는 AI가 작성한 텍스트 중 26%만을 “AI 작성 가능성 높음”으로 판정했다.

실제로는 사람이 쓴 글인데도 AI가 쓴 것이라고 잘못 판정하는 ‘위양성’(false positive)의 비율도 9%나 됐다. 영문 기준 1000자 미만의 짧은 텍스트에서는 판정의 신뢰성이 특히 낮았다. 다만 입력 텍스트의 길이가 증가할수록 신뢰성이 높아지는 경향이 있었다. 또 새 탐지기는 깃허브를 통해 2∼3년 전에 개발자들에게 배포된 옛 버전 격인 ‘GPT-2 아웃풋 탐지기’보다 최근 AI 시스템들에 의해 생성된 텍스트를 가려내는 능력이 나아졌다.

오픈AI가 이런 도구를 일반에 배포키로 한 것은 작년 11월 말에 일반에 공개한 챗GPT가 사기, 스팸발송, 표절 등에 악용될 우려가 있다는 지적에 따른 것이다. 이 회사는 특히 교육 현장에서 챗GPT를 사용하는 경우를 염두에 두고 교육자들을 위한 조언을 홈페이지에 실었다.

다만 오픈AI는 “우리 분류기는 완전히 신뢰할만한 것은 아니다”라며 “진행 중인 작업”이라는 점을 인정했다. 그러면서 AI가 쓴 텍스트를 모두 탐지해내는 것은 불가능하지만, 교육자나 고용주 등이 텍스트의 소스를 가려내는 데에 보조 수단으로 쓰일 수 있을 것이라고 설명했다.

이 회사는 또 명확한 단 하나의 정답이 있는 내용에 대해서는 이것이 인간이 쓴 것인지 AI가 쓴 것인지 가려낼 방법이 없다는 점도 지적했다. 또 컴퓨터 코드의 경우도 인간이 짠 것인지 AI가 짠 것인지 판정하는 것이 어렵다고 설명했다.

게다가 AI가 이미 쓴 텍스트를 변경함으로써 탐지기를 회피하는 것도 가능하다. 물론 탐지기가 업데이트될 수는 있지만, 장기적으로 보아 탐지하려는 쪽과 탐지를 피하려는 쪽 중 어느 쪽이 유리할지는 불명확하다.

챗GPT는 어떤 주제에 대해서건 마치 사람이 쓴 것처럼 보이는 글을 몇 초 혹은 몇십 초 만에 만들어내는 능력이 있어 화제를 일으켰다.

마이크로소프트는 오픈AI에 2019년과 2019년에 이미 투자를 했으며 향후 추가 투자도 적극적으로 검토 중이다. 또 오픈AI의 기술을 마이크로소프트 제품 여럿에 적용하려는 계획도 발표했다.

챗GPT가 공개된 후 학교에서는 학생들이 과제물 작성 등을 챗GPT로 할 수 있다는 우려가 일고 있다. 작년 12월에는 미국 의사면허 필기시험의 3개 부분 모두에서 챗GPT가 합격 점수를 받기도 했다.

조양준 기자 mryesandno@sedaily.com