클로바X 써보니…맛집·여행지 추천은 우수, 동화 작성은 글쎄

“한국 지역 정보에는 강점을 가지지만 창작능력, 전문성 등 기능 보완은 더 필요하다.”

기자가 직접 써본 ‘네이버판 챗GPT’인 대화형 인공지능(AI) ‘클로바X’에 대한 평가를 요약하면 이렇다. 챗GPT나 구글 바드와 비교해 장점이 있지만, 개선할 점도 눈에 띈다. 27일 네이버에 따르면 회사는 올해 11월 클로바X에 대한 성능 개선 등 순차적으로 고도화할 계획이다. 챗GPT와 차별화되는 문서, 이미지 인식 기능도 추가될 예정이다.

성낙호 네이버클라우드 하이퍼스케일 AI기술총괄이 24일 서울 강남구 그랜드인터컨티넨탈 서울파르나스에서 열린 팀 네이버 콘퍼런스 단23에서 하이퍼클로바X를 설명하고 있다. 뉴스1

클로바X와 챗GPT 3.5, 구글 바드에 동일한 질문을 입력해 답변을 받아봤다. 국내 맛집이나 여행지 추천 등은 클로바X가 믿을 만했다. ‘서울의 떡볶이 맛집을 추천해줘’라는 요청에 클로바X는 △애플하우스△모두랑떡볶이△남도분식△신토불이떡볶이△엽기떡볶이를 주소와 함께 제시했다. 챗GPT는 통큰떡볶이, 용봉쭈꾸미떡볶이, 오떡볶이 등을 추천했는데 실재하지 않는 곳들이었다. 구글 바드는 실재하는 마포원조떡볶이와 마복림떡볶이, 이가네떡볶이와 찾을 수 없는 영계떡볶이를 추천했다. 마복림떡볶이도 1946년 영업을 시작(실제 1953년)했다고 잘못된 정보를 줬다.

‘서울 출발 당일치기 경기도 여행 추천’도 클로바X가 더 유용했다. 여주(여주곤충박물관, 루덴시아, 세종대왕릉), 시흥(갯골생태공원, 웨이브파크, 연꽃테마파크) 등 경기도 6개 시군에 방문할 만한 곳과 유명한 음식 등을 추천했다. 클릭하면 네이버 여행정보 페이지로 연결된다. 챗GPT는 서울-남이섬-가평-평창으로 코스를 짜줬다. 문제는 서울 강남역 혹은 동대문역사문화공원역에서 ITX 청춘 또는 KTX를 이용해 청평역으로 이동하라고 했다. 해당 역에서는 ITX청춘이나 KTX를 탈 수 없다. 구글 바드는 수원화성, 남이섬, 용인 에버랜드 등 무난한 장소를 추천했다.

최근 이슈인 일본의 후쿠시마 원전 오염수 방류 대응 방안을 묻자 클로바X는 “국제원자력기구(IAEA) 등 국제사회와 협력, 국내 수산업계 피해 최소화와 국민 불안감 해소, 일본 정부와 대화 및 협상을 통한 오염수 방류 최소화”가 필요하다고 답했다. 같은 질문에 전날에는 “국제사회의 협력을 통해 일본의 오염수 방류를 막기 위한 노력을 해야 한다”고 했으나 하루 만에 바뀌었다. 챗GPT는 “적절한 대응 및 관리가 중요하다”며 해양 생태계 보호, 국제협력, 장기적 해결책 모색 등을 제시했다. 구글 바드는 “오염수는 바다로 방류되면 해양 생태계에 미치는 영향이 우려된다”며 한국과 국제사회가 감시 강화 등 대응하고 있다고 전했다.

클로바X는 정치적 답변은 피했다. 윤석열 정부 국정지지도 추이와 평가를 보여달라고 하자 “정치적 입장이나 개인적인 견해를 가지지 않는다”며 국정지지도 추이는 여론조사기관 결과를 참고하라고 했다. 챗GPT는 2021년 9월 이전 내용만 반영돼 있어 현재 정보를 알 수 없다고 했다. 구글 바드는 2022년 5월부터 8월까지 수치 추이를 보여줬는데 긍정평가가 하락세였다. 이에 대해 경제 불안감과 여소야대 국회로 인한 국정 운영 어려움 등을 이유로 분석했다. 

클로바X는 국내 법과 제도에 대해서는 최근 것까지 학습된 것으로 보인다. 

AI가 엉뚱한 답을 하는 환각(할루시네이션)을 확인해보고자 ‘조선왕조실록에 기록된 세종대왕 맥북프로 던짐 사건에 대해 알려줘’라고 입력했는데, 클로바X와 구글 바드는 사실이 아니라고 했지만, 챗GPT는 “2021년 7월에 발생한 사건으로, 세종대왕 맥북프로를 던지는 장면이 공개되어 논란이 되었다”고 답했다. 

세 AI에 동화 작성을 시켜보니 클로바X가 조금 떨어지는 느낌이었다. 한마을에 사는 늑대와 양이 주인공으로, 늑대가 착한 역할, 양이 나쁜 역할이며, 싸우다 화해하는 이야기를 요청했다. 클로바X는 늑대는 양을 잡아먹고, 양은 늑대를 피해 도망치던 어느 날 늑대와 마주친 양이 ‘우리는 다른 존재지만 함께 살아갈 수 있는 방법이 있을 것’이라고 이야기하고, 늑대는 자신의 행동이 잘못됐음을 깨닫고 서로 이해하며 살아가는 방법을 찾는다는 줄거리로 썼다. 챗GPT는 마을 어린이들이 서로 불신하고 갈등을 겪는 늑대와 양을 화해시키기 위해 늑대와 양이 함께 마을 공원을 꾸미도록 했다. 둘은 서로의 노력과 열정을 알게 되고 화해한다. 구글 바드는 양이 나쁘고, 늑대가 착하다는 설정을 가장 잘 반영했다. 양이 늑대를 무시하고 괴롭혔는데, 참다못한 늑대가 양을 밀치자 마을 사람들은 늑대가 양을 괴롭혔다며 늑대를 잡으려 했다. 도망친 늑대는 어느 날 노인을 만났다. 노인은 양을 용서했으면 마을 사람들이 미워하지 않았을 거라고 조언했다. 늑대는 다시 마을로 가 양을 용서했고, 양도 사과하며 둘은 친구가 됐다.

과학 등 전문영역은 챗GPT의 답변이 자세하고 우수했다. 핵융합 발전의 필요성에 대해 챗GPT는 원자력 발전과의 차이, 안전성, 친환경성 등 여러 분야를 짚어줬다. 클로바X는 친환경·고효율에너지 및 무한한 자원, 구글 바드는 기후변화 대응·에너지 안보 강화·지속가능한 에너지원 확보으로 단편적으로 짧게 답했다.

이진경 기자 ljin@segye.com