챗GPT에 물어보니···"삼성은 혁신 가져다주는 브랜드, 애플은 독특한 걸작"

키워드 주면 은유법도 구사하지만
한글로 요청하자 답변 늦고 어색
정보 부족에 '文정권 연임' 오답도

[서울경제]

# 삼성, 혁신을 가져다주는 밝고 진실한 브랜드/ 발전하는 기술과 함께 그들의 제품은 영원히 향상될 것이다.

# 애플, 단순하고 시크한 디자인을 가진 그들의 제품은 독특한 걸작/ 소프트웨어는 부드럽고 하드웨어는 위대하다.

챗GPT가 삼성을 키워드로 작성한 시

오픈AI가 지난해 공개한 대화형 인공지능(AI) 서비스 ‘챗GPT(ChatGPT)’의 능력을 알아보기 위해 수많은 질문을 던졌다. 어떠한 질문이든 막힘 없이 답변을 해내는 챗GPT를 보면서 검색엔진 시장의 판도를 바꿀 ‘게임체인저’라는 전문가들의 분석이 더욱 와닿았다. 하지만 한글은 물론 한국에 대한 정보 부족으로 엉뚱한 답을 하는 등 한계도 드러냈다.

챗GPT가 애플을 키워드로 작성한 시

우선 챗GPT가 시험에 통과할 정도로 완벽하게 논문을 작성할 수 있다는 사례를 듣고 특히 문학적인 질문을 중점적으로 했다. ‘삼성전자’와 ‘애플’을 키워드로 시를 지어보라고 하자 챗GPT는 순식간에 12행의 시를 완성했다. 시의 내용을 보니 삼성전자와 애플에 대한 각각의 특성을 꿰뚫고 있었다. 삼성전자는 ‘기술’과 ‘혁신’을 강조하면서 스마트폰에서부터 TV까지 모든 사람을 만족시킨다는 내용이었다. 애플은 ‘디자인’과 ‘소프트웨어(iOS)의 완성도’를 칭찬했다. 특히 애플의 경우 과일인 사과를 애플과 비유하는 등 시처럼 은유적으로 표현하려 했다. 다만 마지막 연은 단어 몇 개를 제외하고 같은 내용을 그대로 반복하며 아쉬움을 남겼다. 특히 같은 질문을 한글로 하자 영어로 질문했을 때보다 답변이 눈에 띄게 늦어졌다. 여기에 시의 내용 또한 번역기를 사용한 것처럼 어색했다.

챗GPT가 삼성을 키워드로 한글로 작성한 시

챗GPT가 기존 AI챗봇이 키워드 중심으로 표준화된 대답을 하는 데 반해 사용자와 실제 대화를 하듯 답하는 방식이라 금융과 같은 고객을 대하는 업무에서 더 효율적일 수 있다고 보고 관련 질문도 해봤다.

우선 현재 대출을 받아 서울의 아파트를 사는 게 좋을지 묻자 챗GPT는 “지금 서울의 부동산 시장이 과하고 가격이 높아져 있기 때문에 대출해서 아파트를 살 경우 불안정한 경우도 생각해야 한다”며 “전문가와 상의하시고 결정하시는 게 좋다”고 답했다. 한국 주요 은행의 신규 주택담보대출 금리를 묻자 챗GPT는 “특정 은행의 금리 정보를 조회해야 한다”면서 “현재 한국에서 주담대 금리는 평균적으로 2~3%된다”는 오답을 내놓았다.

이와 같이 현 수준에서 챗GPT가 한국 금융시장에 대한 정보가 부족해 틀린 답변을 제공하고 금융시장 전망·판단 등에 관해서는 답변하지 않아 아직까지는 제한적이라는 의견도 나온다.

한국 선거제의 문제점을 지적하는 챗GPT

이번에는 좀 더 민감한 정치와 관련된 질문을 해봤다. 한국 선거제의 문제점을 비판해보라고 주문하자 번호까지 매겨가며 문제점을 나열했다. △낮은 투표율 △선거 자금 문제 △정치 양극화 △대표성 문제 △게리맨더링 등 다소 원론적으로 읽힐 수 있지만 최근 정치 개혁 논의에서도 제기되는 문제점들이 대부분 포함돼 있었다.

챗GPT에 2022년 3월 9일 치러진 20대 대통령 선거에 대한 분석을 요구하니 문재인 전 대통령이 연임에 성공했다고 했다. 문 전 대통령이 오세훈 국민의힘 후보와 유승민 바른정당 후보와의 경쟁 끝에 51%의 지지율로 당선됐다는 내용이다. 코로나19로 인한 경기 침체와 남북 관계 문제가 중요 이슈로 떠올랐다는 제법 그럴싸한 내용도 포함돼 있지만 챗GPT는 자신에게 없는 데이터를 설명하기에 아직은 ‘정알못(정치를 알지 못하다)’ 수준을 넘어서지 못했다.

이같이 챗GPT는 한국의 사정을 잘 알지 못했다. 한국 대통령선거가 단임제라는 사실은 2021년 이전 데이터에도 분명히 있을 텐데 챗GPT는 문 전 대통령이 연임에 도전한다고 답했다. 바른정당 역시 2018년 바른미래당으로 당명을 바꾼 뒤 2020년 자유한국당과 합당해 미래통합당으로 바뀌었음에도 여전히 ‘바른정당 후보 유승민’을 자신의 소설에 등장시켰다.

김태원 한국지능정보사회진흥원(NIA) 수석연구원은 “챗GPT는 영어 데이터가 많기 때문에 한글보다 영어 질의에 대한 정확도가 보다 우수하다”며 “아직 완성도가 미흡해 챗GPT의 답변이 때로 꽤 논리적으로 보이나 잘못된 정보이거나 무의미한 내용일 수 있다”고 지적했다.

노현섭 기자 hit8129@sedaily.com김지영 기자 jikim@sedaily.com주재현 기자 joojh@sedaily.com