셰익스피어·디킨슨 등 시보다 AI 시에 “더 좋다”…어떻게 다르길래

곽노필의 미래창
10명 중 8명, 인공지능 시에 더 높은 점수
직관적이고 이해하기 쉬운 특성 때문인 듯
인공지능 구별 확률, 동전 던지기보다 낮아

사람들은 인공지능이 생성한 시와 시인이 쓴 시를 확실하게 구별할 수 없었으며, 오히려 인공지능의 시를 선호할 가능성이 더 높은 것으로 나타났다. 픽사베이

문서나 사진, 영상, 음성 등 시청각 정보를 생성하는 인공지능의 능력이 빠르게 발전하면서 사람이 작성한 것과 구별하기가 갈수록 어려워지고 있다. 때로는 사람보다 뛰어난 결과물을 내놔 화제가 되기도 한다. 이번엔 유명 시인이 쓴 시보다 이들의 시 작법을 학습한 인공지능이 지은 시가 사람들로부터 더 좋은 평가를 받았다.

미국 피츠버그대 연구진은 비전문가 시 독자들을 대상으로 실험한 결과 사람들은 인공지능이 생성한 시와 시인이 쓴 시를 확실하게 구별할 수 없었으며, 오히려 인공지능의 시를 선호할 가능성이 더 높은 것으로 나타났다고 15일 국제학술지 ‘사이언티픽 리포츠’에 발표했다.

연구진은 인공지능 시를 더 긍정적으로 평가하는 이러한 경향은 사람이 쓴 시의 복잡성을 인공지능의 `부조리'를 드러낸 것으로 오해한 데서 비롯되는 것으로 해석했다. 연구진은 “이는 생성형 인공지능에 대한 과소평가에 기인한 것일 수 있다”고 밝혔다.

연구진은 먼저 실험 참가자 1634명에게 사람이 쓴 시와 인공지능이 생성한 시를 무작위로 10개씩 제시했다. 5개는 윌리엄 셰익스피어, 바이런, 에밀리 디킨슨, 월트 휘트먼, TS 엘리엇을 포함한 10명의 유명 시인이 쓴 것이고, 5개는 생성형 인공지능 챗봇 ‘챗지피티3.5’가 이 시인들의 작업을 모방해 생성한 시였다.

참가자들에게 인공지능이 생성한 시와 시인이 쓴 시를 구별하도록 한 결과, 알아맞힌 비율은 46.6%로 동전 던지기 확률보다 낮았다. 특히 사람이 썼을 가능성이 가장 낮다고 여겨지는 5개 시는 모두 진짜 시인이 쓴 것이었다.

실험 참가자들은 유명 시인의 시(오렌지색)보다 인공지능이 생성한 시(파란색)에 더 높은 점수를 줬다. 파란색 세로선은 전체 평균 점수.

그래도 인공지능 시 판별 기준은 있다

연구진은 이어 696명의 다른 참가자들에게 품질, 아름다움, 감정, 리듬, 독창성 등 14가지 특성 면에서 시를 평가하도록 했다.

참가자들을 무작위로 세 그룹으로 나눠 1그룹에는 사람이 쓴 시, 2그룹엔 인공지능이 생성한 시라는 정보를 주고, 3그룹엔 시의 작성자에 대해 아무런 정보도 주지 않았다.

실험 결과 인공지능이 생성한 시라는 말을 들은 참가자들은 사람이 쓴 시라는 말을 들은 참가자들에 비해 13가지 특성에서 낮은 점수를 줬다. 실제로 시 작성자가 사람이든 인공지능이든 차이가 없었다. 저자에 대해 아무런 정보도 듣지 못한 참가자들은 사람이 쓴 시보다 인공지능이 생성한 시를 더 좋게 평가했다. 연구진은 참가자들이 유명 시인들의 작품보다 더 직관적이고 이해하기 쉽다는 점에서 인공지능 시를 선호한 것으로 추정했다. 연구진은 “실험 참가자의 78%가 유명 시인이 쓴 시보다 인공지능이 생성한 시에 평균적으로 더 높은 평가를 내렸다”고 밝혔다.

연구를 이끈 브라이언 포터 박사는 뉴사이언티스트에 “인공지능이 유명 시인들의 작품을 학습했다는 점을 고려하면 실험 결과가 놀라운 것만은 아니다”라고 말했다.

연구진은 겉보기엔 혼란스럽지만 사람이 쓴 것인지 아닌지를 판가름할 수 있는 기준은 있다고 밝혔다. 포터 박사에 따르면 인공지능이 생성한 시는 처음 읽을 때 매우 직관적이고 이해하기 쉬운 주제를 특징으로 한다. 반면 사람이 쓴 시는 종종 분석과 역사적 맥락을 알아야 이해할 수 있다. 또 인공지능이 생성한 시는 기본적인 운율 체계와 연을 가진 전통적 구조를 충실히 따르지만, 시인은 관습을 무시하는 경향이 있다. 포터는 “19세기 미국 시인 에밀리 디킨슨은 때때로 의도적으로 시의 운율을 깨뜨렸지만, 그의 시 작법을 학습한 인공지능이 생성한 시는 한 번도 그런 적이 없다”고 말했다.

*논문 정보

https://doi.org/10.1038/s41598-024-76900-1

AI-generated poetry is indistinguishable from human-written poetry and is rated more favorably.

곽노필 선임기자 nopil@hani.co.kr