[궁즉답]챗GPT가 '대필'한 에세이 과제, 어떻게 가려낼까

사람과 다른 AI만의 '미묘한 패턴' 찾기 시도
"AI는 이전까지 쓴 단어 보고 다음에 올 확률 높은 단어 고르기 때문"
아직 초기 단계…챗GPT 만든 오픈AI조차 검증 도구 정확성 불과 26%
AI 똑똑해질수록 분간 더 어려워질거란 전망도

이데일리는 독자들이 궁금해하는 정치·경제·사회·문화 등 여러 분야의 질문을 담당 기자들이 상세하게 답변드리는 ‘궁금하세요? 즉시 답해드립니다(궁즉답)’ 코너를 연재합니다. <편집자 주>

Q. 국내 수도권의 한 국제학교가 최근 인공지능(AI) 챗봇 ‘챗GPT’를 이용해 영문 에세이 과제를 제출한 학생들을 전원 0점 처리했다고 합니다. 국내 교육기관에서 챗GPT 부정행위가 확인된 건 이번이 처음인데요. 학교 측은 과제에 AI가 활용됐는지 확인하는 프로그램을 통해 챗GPT 사용 사실을 알게 됐다고 합니다. 어떻게 AI 이용 유무를 확인했는지, 검증 프로그램에는 어떤 알고리즘이 적용됐는지 궁금합니다.

/ 로이터

[이데일리 김국배 기자] ‘챗GPT’ 같은 AI가 써낸 글을 분간하려는 시도는 아이러니하게도 AI에 의해 이뤄지고 있습니다. 다만 아직 초기 단계이고, 쉽지 않은 상황입니다.

이유가 뭘까요? 답을 알려면 AI가 쓴 글을 가려내는 원리부터 알아아 합니다. 전문가들에게 물어보니 그 원리는 대강 이렇습니다. 인간과 AI 양쪽이 쓴 글을 많이 모아서 학습시키고, AI의 미묘한 ‘패턴’을 찾는 것입니다. 여기서 말하는 패턴은 특정 단어 조합을 반복하거나 일관성 없는 문장 구조를 만드는 정도가 될 것입니다. 즉, AI가 생성한 글과 사람이 쓴 글은 패턴이 미묘하게나마 다르단 가정이 깔려 있습니다.

“AI는 한 단어, 한 단어를 생성하는데 이때 이전까지 생성한 단어 시퀀스를 보고 다음 단어로 가능한 확률이 높은 단어를 채택해서 내뱉게 됩니다. 그럼 AI가 생성한 문장은 각 단어들이 비교적 확률이 높은 단어들로 구성되겠죠. 그런데 사람은 AI보다 상대적으로 확률이 낮은 단어도 종종 사용하면서 다양한 단어로 문장을 만들어냅니다. 이런 차이를 잡아내 구분해 내겠다는 건데 아직 연구 단계일 뿐 시간이 더 필요해 보입니다.” 이주홍 스캐터랩 머신러닝 리서처의 설명입니다.

그의 말처럼 AI가 만든 결과물을 가려내는 도구들이 나오고 있지만, 아직 성능은 기대에 못 미치는 것으로 보입니다. 실제로 챗GPT를 만든 오픈AI조차 AI가 쓴 글을 구별하기 위한 무료 도구를 내놓았는데, 정확도가 불과 26%에 그쳤습니다.

사람이 작성한 글을 AI가 썼다고 잘못 판단하는 경우도 9%나 됐습니다. 그만큼 패턴을 찾기 어렵다는 뜻이겠죠. 그마저도 1000자 이상의 영어 글에서 작동하고, 1000자 미만의 글에 대해선 구별을 시도해볼 수 없는 등 아직 제약도 많습니다.

오픈AI보다 먼저 미 프린스턴대 재학생인 에드워드 티안이 챗GPT와 같은 AI로 작성된 글을 식별하는 앱인 ‘GPT제로’를 공개하기도 했지만 역시나 AI가 쓴 글을 완벽히 판별하기는 어렵습니다.

배재경 업스테이지 AI제품 총괄은 “생성 모델이 더 똑똑해질수록 분간하는 모델의 성능을 낮아질 수밖에 없을 것”이라고 말했습니다. “위조지폐범이 위조지폐를 더 정교하게 만들려고 하고, 경찰은 더 뛰어난 기계로 선별해내려는 것과 동일한 이슈”라는 설명입니다.

당장 다음 달 개학을 앞둔 교육계는 비상이 걸렸다는 얘기가 나오나, 무조건 금지하는 것만이 능사는 아니란 말도 나옵니다. 대학 차원에서 대책 마련이 필요하겠지만 인위적인 사용 금지보다 현명한 활용 방안을 찾아야 한다는 것이죠. 앞으로 AI가 쓴 글들이 쏟아져 나올 것을 감안하면 사실상 모두 검출하는 것은 불가능에 가까울 수 있습니다. 벌써 2년 뒤인 2025년엔 인터넷에 돌아다니는 콘텐츠의 90% 이상이 AI가 만든 콘텐츠가 될 것이란 전망도 나오고 있습니다.

논문 표절 검증 서비스 ‘카피킬러’를 개발해온 무하유 관계자는 “AI로 생성된 글을 인간이 수정해서 쓰는 등 챗GPT가 쓴 글의 판별은 더 어려워질 것”이라며 “생성된 글이 신뢰성을 가지고 있는지가 본질로, 각 문장의 근거(웹 문서 등의 출처 정보)를 찾아 보여주는 기술을 개발하고 있다”고 전했습니다.

※ 이데일리 궁즉답에서는 독자 여러분들이 알고 싶어하는 모든 이슈에 기자들이 직접 답을 드립니다. 채택되신 분들에게는 모바일 상품권을 보내드립니다.

• 이메일 :jebo@edaily.co.kr
• 카카오톡 :@씀 news

김국배 (vermeer@edaily.co.kr)