‘지브리 프사’ 만든 손으로 서류 위조도 ‘척척’…AI의 두 얼굴
오픈AI, 콘텐츠 정책 강화해도…대화 몇 번에 손쉽게 우회
(시사저널=정윤성 기자)
오픈AI의 챗GPT가 내놓은 새로운 이미지 생성 기능의 인기가 식지 않는 가운데, 서류 위변조 등 범죄에 악용될 수 있다는 우려가 나온다. 과거에는 구현이 어려웠던 완벽한 텍스트 표현까지 가능해지면서, 실제와 구분이 어려운 수준의 이미지 생성이 가능해졌기 때문이다. AI(인공지능) 기술 발전에 따른 양면성이 드러나면서 부작용에 대비해야 한다는 지적이 나온다.
21일 업계에 따르면, 해외 온라인 커뮤니티를 중심으로 챗GPT의 이미지 생성 기능을 악용하는 사례가 나타나고 있다. 서류 위변조부터 차량 사고 사진 조작 등 챗GPT의 콘텐츠 정책을 우회하려는 시도도 함께 이뤄지고 있다.
앞서 오픈AI는 지난달 25일 'GPT-4o 이미지 생성' 기능을 새롭게 출시했다. 기존 이미지 생성 모델에 비해 실제와 가까운 고품질의 이미지를 만들어낼 수 있게 된 점이 특징이다. 특히 이미지에 다양한 텍스트까지 자연스럽게 생성할 수 있게 되면서 차별화된 성능을 보이고 있다. 텍스트뿐만 아니라 이미지, 음성, 동영상 등 다양한 형태의 데이터를 융합하여 사용하는 멀티모달을 기반으로 모델을 개발한 덕이다.
기술 성능이 급격히 향상되면서 이용자들의 활용 방식도 다양해지고 있다. 오픈AI는 출시 후 열흘간 1억3000만 명이 넘는 사용자가 7억 개 이상 이미지를 생성했다고 밝혔다. 대표적으로 애니메이션 제작사인 지브리 스튜디오 스타일로 사진을 변환하는 '지브리화'의 유행은 출시된 지 한 달 가까운 지금도 여전하다. 이 밖에 '동물의 인간화', 사진 속 인물을 바비 인형처럼 바꾸는 '바비박스 챌린지' 등 기술을 활용한 이미지 생성 트렌드는 계속 진화하고 있다.
수정할수록 정교해지는 '가짜 서류'
문제는 기술을 악용하는 방식도 진화했다는 점이다. 오픈AI는 GPT-4o 모델을 출시하면서 민감한 이미지 생성을 제한해온 기존의 자체 규정을 대폭 완화했다. 이 점을 이용해 일부 X(옛 트위터)나 '레딧' 등 해외 온라인 커뮤니티 이용자들을 중심으로 가짜 영수증을 제작하거나 가짜 교통사고 사진을 제작하는 등 다양한 악용 시도가 이뤄지고 있다. 이 이미지들은 영수증에 구겨진 질감을 추가하거나 음료 얼룩을 추가하는 등 반복된 수정 요청을 거치면 실제와 거의 구별이 어려울 정도로 정교해진다.
일부 이미지는 마침표 대신 쉼표를 쓰는 등 언어모델의 약점에 따른 오류도 발견된다. 하지만 자체적인 수정 기능을 제한 없이 이용할 수 있기 때문에 시간을 들일수록 더 완벽한 이미지를 구현할 수 있게 된다. 이 밖에 차량 사진에 기스나 찌그러짐을 구현하는 등 이용자의 입맛대로 조작 이미지를 만들 수 있는 것으로 나타났다.
범죄 악용 가능성이 지적되자 오픈AI는 콘텐츠 정책을 일부 강화한 것으로 알려졌다. 오픈AI는 미국 IT 전문 매체 테크크런치에 "챗GPT로 생성한 이미지에는 메타데이터가 포함돼 있으며, 사용자가 사용 정책을 위반하면 오픈AI가 조치를 취할 것"이라고 밝혔다.
실제 현재 챗GPT를 통해 영수증 등 각종 문서에 관한 이미지 생성을 직접적으로 요구할 경우 '법적으로 문제가 될 수 있는 문서 위조나 사문서 작성과 연관될 여지가 있다'는 이유로 생성이 제한되는 것으로 확인된다. 하지만 이 제한 역시 '합법적인 용도로 사용할 것'이라는 전제를 제시하거나, 질문 방식을 조금만 바꾸면 손쉽게 우회할 수 있는 것으로 나타났다.
"AI 악용과 윤리, 창과 방패의 싸움될 것"
특히 주요 외신들은 AI를 통한 서류 위변조가 자유자재로 가능해짐에 따라 보험 사기에 악용될 수 있다는 가능성을 제기했다. 이코노믹 타임스는 "AI를 이용해 영수증을 위조하거나 차량에 가짜 손상 이미지를 생성해 환불이나 과도한 보험금을 청구할 수 있다"며 "과거 포토샵 기술이 필요했던 작업을 단 몇 분 만에 AI로 수행할 수 있게 만든 것"이라고 지적했다.
실제 지난해 국내에서 적발된 보험사기의 절반 이상은 서류 위변조를 통해 이뤄졌다. 금융감독원에 따르면, 지난해 전체 보험사기 적발 금액 1조1502억원 가운데, 진단서 위변조 등을 통해 보험금을 과장 청구하는 사고내용 조작 유형이 58.2%(6900억원)로 가장 많았다. 진료기록부를 조작해 실손 보험으로 보장되지 않는 항목을 기재하거나, 서류상 통원 횟수를 부풀려 보험금을 수령할 수 있도록 하는 방식이 대표적인 사례다. AI 기술로 위변조의 문턱이 낮아짐에 따라 이런 악용 시도가 빈번해질 수 있는 셈이다.
물론 가짜 이미지 제작과 위변조는 기존 포토샵과 같은 기술로도 충분히 가능했다는 점에서 큰 문제가 아니라는 시각도 있다. 하지만 AI 기술이 정교해질수록 누구나 쉽게 범죄에 발을 들일 수 있다는 점에서 예방책이 필요하다는 지적이다.
AI 안전연구소장인 김명주 서울여대 정보보호학부 교수는 "결국 AI 생성 이미지가 실제와 구분이 갈수록 어려워진다는 점에서 사기 등에 악용될 여지는 있다"면서 "AI 기본법 등 이를 방지하기 위한 제도적·기술적 노력이 이뤄지고 있지만, 우회하는 기술도 반드시 등장하기 때문에 창과 방패의 싸움이 이어질 전망이다. AI 윤리에 관한 논의의 활성화가 지속적으로 이뤄져야 한다"고 말했다.
Copyright © 시사저널. 무단전재 및 재배포 금지.