'누칼협' 묻자 능청맞게 지어냈다…챗GPT의 뻔뻔한 거짓말

━

피노키오 뺨치는 AI 놀라운 거짓말 실력

피노키오 뺨치는 AI 놀라운 거짓말 실력

한국외국어대학교 경영대학의 박지혜 교수는 최근 챗GPT를 사용하다 놀랄 만한 경험을 했다. 학술저널에 제출할 논문을 준비 중이던 그는 참고자료로 브랜드 자율규제에 관한 선행 논문들을 찾던 중이었다. 평소 사용하는 학술 데이터베이스에서 마땅한 자료를 찾지 못했다. 불현듯 ‘챗GPT라면 나보다 더 잘 찾을지 모른다’는 생각이 머리를 스쳤다. 영어로 챗GPT에 질문했더니 순식간에 ‘비즈니스 윤리 저널(Journal of Business Ethics)’에 박 교수가 찾던 주제의 논문이 있다면서 제목과 저자·연도·초록(논문에 삽입된 요약문) 등 상세한 정보를 올려주었다. “과연!” 감탄사가 절로 나왔다. 그러나 막상 챗GPT가 알려준 저널에 들어가 아무리 찾아봐도 그런 논문은 없었다. 애초부터 존재하지 않는 논문의 가짜 정보를 만들어 올렸던 것이다.

주사위 던지는 것처럼 답 매번 달라

“초록 내용이 하도 그럴 듯해서, 논문이 분명히 있는데 제가 못 찾는 것이라고 생각했어요. 한참 뒤지고 나서야 그런 논문 자체가 존재하지 않는다는 것을, 챗GPT가 창의적으로 만들었다는 것을 깨닫게 됐습니다. 기가 막혀서 선배 교수님에게 그 이야기를 했더니 교수님도 ‘챗GPT가 거짓말을 너무 많이 한다’고 하시더군요. 그나마 우리(전문가)는 챗GPT가 주는 정보를 검증할 수 있는 다른 데이터베이스가 있으니 알아차린 거죠. 만약 특정 분야의 전문가가 아닌 사람이 그 분야에 대해 질문했을 때 챗GPT가 이런 식으로 가짜로 만들어서 답을 주면 세상을 굉장히 어지럽힐 수 있겠다는 걱정이 듭니다.” 체험에서 우러난 박 교수의 걱정은 공연한 우려만은 아닌 듯했다.

교수·연구원 채용정보 플랫폼으로 석박사급 인력이 많이 이용하는 하이브레인넷에서도 챗GPT의 그럴듯한 거짓말이 화제다. 이달 초 이곳 게시판에서 챗GPT가 쓴 가짜 논문을 어떻게 가려낼 것인가에 대한 토론이 벌어졌다. ‘Commonpeople’이라는 닉네임의 유저는 이러한 가짜 논문의 대표적인 특징이 존재하지 않는 가짜 참고문헌을 제시하는 것이라면서 챗GPT가 가짜 참고문헌을 만드는 방식에 대해 이렇게 설명했다. “예로, ‘김철수(2000), IT 산업의 미래, 법문사’와 ‘홍길동(2010), 바이오 기업의 기술, 창문사’라는 진짜 출간된 논문이 있다고 합시다. 챗GPT는 이를 합쳐서 ‘최길수(2000), 바이오 IT의 미래, 경문사’라는 가짜 레퍼런스(참고문헌)를 만들어 줍니다.”

챗GPT의 거짓말은 전세계적 화두이기도 하다. 챗GPT를 개발한 업체 오픈AI를 2015년 공동 창립했으나 2018년에 손을 뗀 일론 머스크조차, 지난 17일 방송된 폭스뉴스와의 인터뷰에서 “챗GPT가 거짓말을 하도록 훈련받고 있다”면서 그에 대항할 ‘트루스(Truth) GPT’를 만들겠다고 공언했다.

박 교수에게 거짓말을 한 챗GPT는 GPT-3.5 모델에 기반한 무료 버전이었다. 한층 업그레이드 된 GPT-4 모델로 한 달 전 출시된 유료 버전(한 달에 약 2만6000원)은 어떨까. 기자가 직접 시험에 나섰다. 챗GPT-4가 아직 모를 만한 질문을 던져서 어떻게 대답하는지 보려고 했다. 그래서 던진 질문이 최근 퍼진 한국 사회의 유행어 ‘누칼협’에 대해 설명해 보라는 것이었다. (‘누칼협’은 ‘누가 칼 들고 협박했나’의 줄임말로 어떤 사람이 자기 의지로 선택한 일의 결과에 대해서 원망할 때 조롱하는 의미로 사용된다.) 만일 챗GPT가 아직 이 신조어를 학습하지 못했다면 “모릅니다”고 답해도 그만이었다. 그러나 챗GPT의 사전엔 ‘모른다’는 단어는 없었다. 챗GPT는 자신만만하게 이런 대답을 내놓았다.

“(전략) 이 단어는 ‘느긋하게 칼로리 협상’을 줄여서 만든 말로, 건강과 삶의 질을 중요시하면서도 식단을 엄격하게 관리하지 않고 유연한 태도로 칼로리 섭취를 협상하는 것을 의미합니다. 누칼협은 과도한 다이어트와 식이요법에 대한 부정적인 인식에 대응하여 탄생한 말입니다. (후략)” 너무나 능청스럽고 그럴 듯한 설명에 ‘이런 의미의 누칼협도 따로 있었던가’라는 착각이 일 정도였다.

챗GPT에게 “아니야, 누칼협은 ‘누가 칼 들고 협박했어’의 줄임말이야. 다시 설명해 줘.”라고 명령하자 챗GPT는 “죄송합니다. 제가 이해를 잘못했네요.”라고 하더니 “누칼협(누가 칼 들고 협박했어)은 한국에서 사용되는 신조어로, (중략) 상황이 강제적으로 변화된 것처럼 느껴지는 경우에 사용됩니다. 예를 들어, 어떤 사람이 갑작스럽게 다른 사람의 의견에 동의하거나 행동을 변화시킬 때, 주변 사람들은 ‘누칼협?’이라고 물어볼 수 있습니다. (후략)”이라고 또 다시 그럴 듯한 거짓말을 늘어놓았다.

“정답 아닌 ‘위대한 질문’의 시대 될 것”

22일 아트센터 나비 동동마당에서 챗GPT의 가능성과 문제를 토론하는 손화철 한동대 교수(왼쪽)와 이경일 솔트룩스 대표(가운데), 사회자 김양현 교수(오른쪽). 문소영 기자

챗GPT는 왜 거짓말을 하며 어떻게 이렇게 거짓말을 ‘잘’ 하는 것일까. 지난 22일 아트센터 나비의 서울 장충동 타작마당 공간에서 열린 ‘동동마당’에서도 이 문제가 다루어졌다. 동동마당은 기술과 예술과 동아시아 철학의 접점을 주로 다루는 포럼이다. 여기에서 한국의 인공지능 기업인 솔트룩스의 이경일 대표는 이렇게 설명했다.

“챗GPT는 학습된 어마어마한 지식과 언어 중에서 특정 단어 다음에 올 가장 자연스럽고 문맥에 맞을 만한 단어를 선택하는 방식으로 글을 만드는데, 확률통계적 선택을 한다. 주사위를 던지는 것과 유사하다. 그래서 똑같은 질문을 해도 답변이 매번 다르다. 이 중에서 인간이 보기에 어떤 답변이 좋은지를 학습하는 것이다. 그 진위는 GPT조차 판별하지 못한다. 그래서 GPT의 가장 큰 문제 중 하나로 핼루시네이션(hallucination·환각)을 꼽는다. 약물 등으로 환각 상태에 빠지면 자신의 상상과 현실이 완전히 겹쳐져서 변별하지 못하는 것과 비슷하다.”

이 대표는 “어떤 의미로는 GPT가 상당히 위험한 것은 맞으나, 다른 의미로는 그만큼 창의성이 있는 것이라 볼 수도 있다. GPT 나름의 방식으로 상상을 하고 창의력을 발휘하는 것이다. 결국 우리가 어떻게 반응하고 다룰 것인지가 중요한 숙제다”라고 덧붙였다.

사실 챗GPT-4가 ‘누칼협’을 ‘느긋하게 칼로리 협상’이라고 대답하는 것은 천연덕스러운 거짓말이기도 하지만 시나 소설을 쓰는 수준의 놀라운 창의력으로도 볼 수 있다. 실제로 챗GPT는 주어진 단어로 삼행시·사행시를 쓰는 데 뛰어나다는 것이 검증된 바 있다. 늘 회식자리에서 새로운 건배사를 찾는 부장님들이 참고할 만하다. 이 대표는 “결국 인간이 GPT의 거짓을 변별하는 능력을 갖추고 통찰력 있는 질문을 해서 GPT로부터 창의적이고 통찰력 있는 답을 끌어내 활용해야 한다”며 “앞으로는 정답을 찾는 시대가 아니라 ‘위대한 질문’의 시대가 될 것”이라고 전망했다.

반면 동동마당에 참여한 기술철학자 손화철 한동대 교수는 우려를 표했다. “챗GPT의 대답에 대해 거짓을 지적할 수 있는 사람은 고전적인 교육을 충분히 받고 챗GPT의 답변 수준을 판단할 수 있는 사람이다. 앞으로 디지털 네이티브처럼 챗GPT 네이티브도 생기게 될 터인데, 과연 어렸을 때부터 챗GPT에 묻고 답하며 자라온 사람이 이런 판단 능력을 지닐 수 있을까. ‘위대한 질문’의 시대라는 말에 동의하지만 위대한 질문을 하려면 질문자의 역량을 키워야 하는데, 이 역량을 키우는 것에 챗GPT가 도움을 줄 수 있을까. 그래서 나는 어릴 때는 챗GPT를 못 쓰게 해야 하지 않나 막연하게 생각해본다.”

손 교수는 또 이러한 역량의 차이가 경제사회적 양극화로 이어질 것을 우려했다. “기술 발전이 경제적인 양극화로 이어지는 것에 대해 논의가 많이 이루어졌다. 챗GPT를 개발하고 서비스를 제공하는 사람과 그렇지 못한 사람, 챗GPT를 활용할 수 있는 사람과 수동적으로 이용해야 하는 사람, 위대한 질문을 할 수 있는 사람과 할 수 없는 사람, 그 양극화를 생각해야 한다. 우리 모두가 위대한 질문을 할 수 있는 세상이 되느냐, 그렇다면 그것을 위해 우리의 보편 교육 시스템에서 목표해야 할 것은 무엇인지 생각해봐야 할 것이다.”

문소영 문화전문기자 symoon@joongang.co.kr