직접 써도 '표절' 판정…AI 판독기 오류에 이용자들 '갸우뚱'

오류 잦고 기준 모호해 '과제 0점', '서류 탈락' 불이익
오판정 피하기 위해 일부러 글 망치기도
전문가 "판독기 의존은 시기상조…참고만 해야"

기사 이해를 돕기 위한 이미지로 내용과 직접적 연관은 없습니다. 클립아트코리아

#1. 도내 A대학에 재학 중인 이주홍씨(가명·23)는 과제를 할 때마다 난감한 상황과 마주한다. 열심히 작성한 레포트를 AI 판독기에 입력하면 ‘AI가 작성한 문서’라는 결과가 나오기 때문이다. 이씨는 “판독 결과가 점수에 큰 영향을 주는데 직접 쓴 글도 AI가 작성한 것이라 나온다”며 “믿을 수 있는 프로그램인지 의문이고 이걸로 어떻게 채점을 하겠다는 건지 모르겠다”고 말했다.

#2. 용인에 사는 임가영씨(가명·26)는 취업 준비 중 황당한 일을 겪었다. AI를 사용하지 않고 직접 작성한 자소서가 AI를 85% 표절했다는 판독 결과를 받은 것이다. 임씨는 “처음부터 끝까지 직접 작성했는데도 표절률이 이렇게 높게 뜨다니 말이 안 된다. 그냥 내가 AI란 소리가 아니냐”라고 털어놨다.

AI 문서 판독기의 ‘오판정’으로 인한 이용자들의 불신이 나날이 커지고 있다.

6일 경기일보 취재를 종합하면, 최근 대학생들이 생성형 AI로 과제를 작성하거나 커닝 하는 사례가 늘자 대학은 과제와 함께 AI 판독 결과지를 함께 제출하도록 하는 방식을 도입하고 있다. 기업에서도 입사 지원자의 자소서 통과 기준에 ‘AI 표절률 30% 이하’와 같은 조건을 내거는 등 AI를 이용한 문서 작성을 경계하고 있다.

그러나 직접 작성한 글까지 AI 표절 판정이 나는 등 오류가 계속돼 이용자들이 불이익을 겪고 있는 상황이다.

AI 의심 판정으로 인해 과제가 0점 처리됐다는 한 대학생은 X(엑스·옛 트위터)에 “교수님께 직접 작성했단 증거를 보여드렸지만 불확실성 등의 이유로 점수를 대폭 깎으셨다”고 토로했다. 취업준비생 커뮤니티에서도 “서류 탈락 이유를 물었더니 AI 표절률이 높게 나와서 자동 탈락됐다 하더라”, “면접 갔는데 자소서 AI로 쓴 게 아니냐며 압박질문 하더니 결국 탈락시켰다” 등의 사례를 찾아볼 수 있었다.

AI 판독기의 판독 기준도 현재로썬 모호하다.

대학생·취준생들이 주로 사용하는 GPT킬러, GPT Zero, Turnitin 등 다수의 판독 사이트는 문장의 길이와 단어의 다양성 등을 통해 AI의 글과 인간의 글을 구별한다. AI는 문장 길이가 일정하고 특정 단어만을 반복 사용하며 글을 쓰지만, 인간은 길이가 불규칙하고 창의적인 문장을 쓴다는 것이 대부분의 판독 사이트들이 사용하는 기준이다.

기준이 이렇다 보니 대학 과제물, 자소서, 보고서 등 일정한 형식을 갖춘 글들은 AI가 작성했다는 오해를 받기 쉽다. AI가 주로 사용하는 단어나 문장 패턴이 무엇인지도 알 길이 없을 뿐더러, 오판정을 피하기 위해 필요한 단어나 문장을 쓰지 않을 수도 없어 더욱 곤란한 상황이다.

일부 이용자들은 표절률을 낮추기 위해 일부러 글의 질을 떨어뜨리기도 한다고 말한다.

AI가 자주 사용하는 것으로 추정되는 단어를 같은 뜻의 다른 단어로 치환하거나, 정제된 문장을 중구난방으로 고치고, 오타나 맞춤법 오류를 내는 등의 방식으로 오판정을 피해간다는 것이다. 그러나 이마저도 임시방편에 불과하고 표절률을 낮추는 데에 한계가 있어 여전히 오판정이 나기도 한다. 무엇보다 ‘인간적인 문장’이란 판정을 받기 위해 직접 쓴 글을 망쳐야 하는 상황이 당치않다는 것이 이용자들의 의견이다.

전문가들은 대학 및 기업에서 AI 판독기에 전적으로 의존해 문서를 판단하는 것은 시기상조라고 경고했다.

정태선 아주대 인공지능학과 교수는 “AI도 사람이 작성한 글을 학습해서 글을 쓰기 때문에 AI의 글과 인간의 글을 정확히 구별해내는 시스템은 존재하기 힘들다고 볼 수 있다. 판독 결과를 참고할 순 있지만 100% 신뢰하면 안 된다”며 “판독기를 사용할 시 여러 프로그램에 문서를 입력해본 후 최종 판단은 사람이 하는 방식을 채택할 필요가 있다”고 말했다.

김미지 기자 unknown@kyeonggi.com