AI가 지은 시에 패한 셰익스피어의 시

작자 모르는 조건에서 AI가 지은 시가 더좋은 평가받아

사람들은 유명 시인이 작성한 시와 인공지능(AI)이 유명 시인의 시를 모방한 시를 구별하지 못하는 것으로 나타났다. 게티이미지뱅크

사람들은 유명한 시인의 시와 인공지능(AI)이 이들의 시를 모방해 지은 시를 확실히 구분하지 못했다는 연구 결과가 나왔다. 특히 선호도 평가에서 AI가 지은 시를 더 선호하는 것으로 나타났다.

브라이언 포터 미국 피츠버그대 교수 연구팀은 문학 전문가가 아닌 실험 참가자들을 대상으로 유명 시인 10명이 지은 시와 생성형 AI인 챗GPT3.5가 이들의 시를 모방해 지은 시를 평가하게 한 뒤 이같은 결론을 도출하고 연구 결과를 국제학술지 '사이언티픽 리포트'에 14일(현지시간) 발표했다.

실험에는 14세기부터 현대까지 다양한 시기에 활동한 10명의 유명한 영미권 시인의 시가 사용됐다. 제프리 초서, 윌리엄 셰익스피어, 사무엘 버틀러, 조지 바이런, 월트 휘트먼, 에밀리 디킨슨, 토마스 엘리엇, 앨런 긴즈버그, 실비아 플라스, 도로시아 라스키 등 10명의 시를 AI가 모방해 새로운 시를 지어내도록 했다.

첫번째 실험에선 1634명의 참가자에게 유명한 시인이 지은 시와 AI가 지어낸 시를 구별하도록 했다. 유명 시인의 시 5편과 AI의 시 5편을 무작위로 제시한 결과 AI가 쓴 시를 정확히 짚어낸 경우는 46.6%에 그쳤다. 우연히 맞힐 수 있는 확률에도 미치지 못한 것이다.

두 번째 실험에서는 696명의 참가자에게 유명 시인이 쓴 시와 AI가 작성한 시의 작품성을 평가하도록 했다. 각 시를 제시할 때 '사람이 쓴 시', 'AI가 쓴 시', '작가 정보 미공개' 등의 정보를 임의로 제공하고 시의 아름다움, 리듬, 독창성 등 14가지 항목에 점수를 매기도록 했다.

그 결과 'AI가 쓴 시'라는 정보를 알고 있는 참가자들은 실제 유명 시인이 쓴 시와 AI가 쓴 시에 관계없이 '사람이 쓴 시'라는 정보를 제공받은 참가자들보다 13가지 항목에서 낮은 점수를 줬다. 하지만 작가 정보를 알지 못하는 참가자들은 유명 시인의 시보다 AI가 쓴 시에 높은 점수를 준 것으로 나타났다.

연구팀은 이번 연구 결과에 대해 "비전문가 독자들은 감정, 아이디어, 주제를 직접적이고 이해하기 쉬운 언어로 전달하는 AI의 시를 선호한다"고 분석했다. 이어 "사람들은 또 유명 시인이 쓴 시에서 사용된 복잡한 언어를 AI가 만들어낸 '조리에 맞지 않는 언어'로 착각한다"며 "이는 AI의 생성 능력을 과소평가하고 있기 때문일 수 있다"고 설명했다.

그러면서 "시를 쓰는 것은 생성형 AI가 인간 수준에 도달하지 못한 텍스트 작성 영역 중 하나로 여겨졌지만 이번 연구 결과는 AI의 능력이 시에서도 사람들의 예상을 뛰어넘어 섰음을 보여준다"고 말했다.

<참고 자료>
- doi.org/10.1038/s41598-024-76900-1

[박정연 기자 hesse@donga.com]