‘챗GPT 부정 이용’ 검증 기술 오픈AI, 개발해놓고 ‘비공개’

논문 등에 베껴 쓰면 99.9% 감지
‘수익성 저하’ 이유로 출시 안 해

오픈AI가 과제나 논문에 자사 인공지능(AI) 챗봇인 챗GPT를 부정하게 사용했는지를 검증할 수 있는 기술을 개발하고도 공개하지 않고 있는 것으로 확인됐다. 회사 수익에 타격이 예상되는 등 이 기술이 불러올 부정적 영향이 이유로 거론된다.

월스트리트저널은 오픈AI가 2022년 11월 챗GPT를 출시하기 전부터 해당 기술을 논의했고, 1년 전 출시 준비를 마쳤지만 출시하지 않았다고 4일(현지시간) 보도했다.

챗GPT는 ‘토큰’이라 불리는 단어 조각 다음에 어떤 토큰이 나와야 할지 예측하는 AI 시스템으로 돌아간다. 매체는 “오픈AI의 부정행위 방지 기술은 토큰이 선택되는 방식을 약간 변경해 패턴(워터마크)을 남긴다”고 전했다. 이를 토대로 문서가 챗GPT로 작성됐을 가능성을 점수로 제공한다. 챗GPT로 충분한 텍스트가 생성된 경우 99.9% 확률로 챗GPT 사용 여부를 감지할 수 있다고 한다.

문제는 기술이 어떤 영향을 미치는지다. 오픈AI 내부에선 회사가 내건 ‘투명성’과 이용자를 늘리려는 욕망 사이에서 출시 여부를 둘러싼 의견이 엇갈렸다. 회사가 실시한 설문조사에서 챗GPT를 자주 사용하는 이용자 3분의 1은 ‘부정행위 감지 기술이 도입되면 챗GPT를 사용하지 않을 수도 있다’고 답했다.

오픈AI는 보도가 나온 이후 AI 생성 콘텐츠 감지 연구를 다룬 과거 블로그 게시물에 “텍스트 워터마킹 방법을 개발했다”는 내용을 추가했다. 다만 회사는 의역과 같은 변조에는 매우 효과적이지만 번역 시스템을 사용하거나 다른 생성형 AI 모델로 표현을 바꾸면 효과가 떨어진다고 설명했다. 회사는 “영어가 모국어가 아닌 사람들이 AI를 유용한 글쓰기 도구로 사용하는 것을 낙인찍을 수 있다”고도 했다. 오픈AI는 이미지 등 시청각 콘텐츠에 대한 검증 기술 출시를 우선순위로 정했다고 언급했다. 미국에선 선거철을 맞아 AI가 생성한 이미지를 악용할 수 있다는 우려가 크다. 오픈AI를 비롯한 거대 기술기업들은 생성형 AI로 이미지를 만들었는지 판별할 수 있는 도구를 보유하고 있다.

생성형 AI가 더 똑똑해질수록 교육 현장의 교사와 교수들은 AI를 이용한 부정행위에 골머리를 앓는다. 비영리단체인 민주주의기술센터가 최근 진행한 조사에 따르면 학생들이 AI를 활용해 과제를 했다고 생각하는 미국 중·고교 교사는 59%에 달했다. 1년 전보다 17%포인트 오른 수치다.

노도현 기자 hyunee@kyunghyang.com