오픈AI, 챗GPT 이용탐지기술 개발... "공개결정은 아직"

오픈AI 블로그 업데이트 내용 일부 캡처

오픈AI가 과제나 논문 작성 등에 챗GPT를 사용하는 행위를 안정적으로 감지할 수 있는 기술을 개발했다. 하지만 이용자 반발과 기술 악용 가능성 등을 우려해 그 공개에 대한 결정을 내리지 못하고 있다.

월스트리트저널(WSJ)은 4일(현지시간) 오픈AI가 이런 '텍스트 워터마킹' 기술에 대해 내부적으로 약 2년 전부터 논의해왔고 지난 1년간 출시 대기 상태였다고 보도했다. WSJ 소식통은 "버튼 하나만 누르면 되는 일"이라고 언급했다.

WSJ에 따르면 챗GPT는 문장에서 다음에 자리할 단어 등 토큰을 예측하는 AI시스템으로 구동되는데, 오픈AI가 공개 여부를 논의 중인 부정행위 방지도구는 이 토큰이 선택되는 방식에 일부 변화를 줌으로써 워터마크 패턴을 남기는 형태다. 이런 워터마크는 이용자 눈엔 보이지 않으나 오픈AI의 탐지기에는 식별되고, 문서 전체 또는 일부가 챗GPT로 작성됐을 가능성을 점수로 보여준다. 이로써 99.9% 정확도로 챗GPT 사용 여부를 감지할 수 있을 것으로 예상됐다.

오픈AI는 올해 초 내부 테스트에서 이 텍스트 워터마킹 기술이 AI모델 성능을 저하시키지 않는 것을 확인했지만, 투명성 약속과 사용자 확보 사이에서 내부적으로 의견이 분분한 것으로 전해진다. 회사가 챗GPT 이용자 대상으로 설문조사한 결과, 69%는 이런 감지기술이 AI 사용 관련 오해를 일으킬 수 있을 것으로 봤다. 특히 약 30%의 사용자는 경쟁사가 이런 워터마크를 적용하지 않을 경우 챗GPT를 덜 사용하게 될 것이라 답했다.

또한 오픈AI는 이런 부정행위 감지도구가 비영어권 챗GPT 이용자들에게 불균형적으로 영향을 미칠 가능성도 우려하고 있다. 영어에 특화된 이들의 텍스트 워터마킹 기술이 영어를 모국어로 사용하지 않는 다른 언어 사용자에게 불리하게 작용할 수 있고 부당한 의심을 초래할 수 있기 때문이다.

테크크런치에 따르면 WSJ 보도 이후 오픈AI는 지난 5월에 올렸던 AI 생성 콘텐츠 감지 관련 블로그 내용도 업데이트, 텍스트 워터마킹 기술이 아직은 악성행위자의 우회에 취약하다고 평했다. "텍스트 워터마킹 기술이 의역 같은 지역화된 변조에 대해서는 정확하고 효과적인 것으로 입증됐다"면서도 "번역 시스템을 사용하거나, 다른 AI모델로 문구를 바꾸거나, 특수문자를 삽입하도록 요청한 다음 해당 문자를 삭제하는 등 글로벌화된 변조에 대해서는 덜 견고한 것으로 확인됐다"고 설명했다.

그러나 일선 학교 등에서는 학생들의 AI 부정행위를 막기 위해 이 기술 공개를 원하고 있다고 WSJ은 보도했다. 비영리 단체인 민주주의 기술 센터의 최근 조사에서 학생들이 AI를 이용해 과제를 했다고 생각하는 미국 중고등학교 교사는 59%에 달했다. 이는 1년 전보다 17%포인트 상승한 수치다.

텍스트 워터마킹 기술과 그 공개 여부에 대해 오픈AI 대변인은 "사안 관련 복잡성과 함께 더 광범위한 생태계에 미칠 수 있는 영향을 고려해 신중한 접근방식이 필요하다고 생각한다"고 WSJ에 전했다.팽동현기자 dhp@dt.co.kr