그 똑똑하다는 챗GPT와 끝말잇기 해봤습니다

최근 기술 업계를 뒤흔들고 있는 인공지능(AI) 챗봇이 있습니다. 바로 오픈AI(Open AI)가 지난해 11월 베타 버전을 공개한 챗GPT(Chat GPT)가 그 주인공이에요. 챗GPT는 오픈AI가 개발한 초대형 언어모델 ‘GPT 3.5’를 챗봇 형태로 만든 건데요. 대중들에게 무료 버전이 공개된 탓에 소셜미디어에서는 챗GPT에 관해 각종 ‘간증’이 끊임없이 나옵니다. 코딩도 잘하고, 작사도 하고, 심지어 친절하게 고민 상담까지 해준다고 해요.

실제로 미국 학교에서는 챗GPT 에세이 과제를 하는 경우가 늘어나 논란이 일기도 했습니다. 이에 일부 학교에서는 부정행위에 악용될 것을 우려해 챗GPT 사용을 차단하고 나섰어요. 게다가 챗GPT는 MBA와 로스쿨, 의사면허 시험도 통과하면서 세상을 놀라게 했는데요. 이렇게 보면 정말 ‘만능 AI’가 따로 없는 것 같습니다. 하지만 과연 챗GPT가 완벽하기만 할까요. 척척박사로 소문난 챗GPT가 특별히 못 하는 건 없을지, 직접 살펴봤습니다.

챗GPT와 한글로 끝말잇기를 해봤는데…결과는

챗GPT가 초대형 언어 모델이라 해도 어휘력에서만큼은 사람을 이기기 힘들 것 같다는 생각이 들었습니다. 그래서 한글로 끝말잇기를 해봤는데요. 우선 끝말잇기 규칙을 아는지 물었더니, 게임에 대해 정확히 설명하더군요. 다행히 이 친구와 끝말잇기를 할 수 있을 것 같았습니다. 하지만 막상해보니 생각보다 오류가 많았어요.

첫 단어는 챗GPT가 먼저 제시했습니다. ‘사과’를 제시하길래 곧바로 ‘과일’을 입력했는데요. 게임의 규칙상 ‘일’로 시작하는 답변을 내놔야 하는데, 챗봇은 뜬금없이 ‘레몬’이란 답변을 제시했어요. 일단 오류는 무시하고 게임을 이어 가보기로 했습니다. ‘몬스터’를 말했더니 이번에도 ‘터’로 시작하는 말이 아닌 ‘타이완’을 말하더군요. 이제 조금 감이 오시나요? '산기슭'처럼 사람도 쉽게 답변하지 못하는 어려운 단어에는 제대로 된 단어조차 제시하지 못했어요. 챗GPT에게 ‘너가 졌다’고 했더니 순순히 자신이 졌다고 인정하기도 했습니다.

물론 제대로 된 정답을 내놓을 때도 있었습니다. 정신을 차린 건지, ‘완두콩’을 제시하니 ‘콩나물’을 답변으로 내놓더라고요. 이후 물리학-학원-원장-장난감-감독-독일 등으로 이어지며 제대로 된 끝말잇기를 경험하기도 했어요. 하지만 오래가지 않아 다시금 오류와 마주해야 했죠.

오류가 나는 건 애초에 챗GPT가 한글에 약하기 때문이에요. 사전 학습된 데이터를 기반으로 답변을 제공하는 챗GPT는 아직 한글 공부를 덜 마친 상태입니다. 챗GPT는 3000억 개 이상의 텍스트 데이터를 학습한 것으로 알려졌는데, 그 중 무려 92.6%가 영어 데이터라고 해요. 한글 데이터는 0.2%도 안 된다고 합니다.

수능 영어는 2등급 수학은 ‘낙제’…숫자에 약한 챗GPT

보통의 AI가 숫자에 강한 것과 다르게 언어 모델인 챗GPT는 숫자에 약한 모습입니다. 인터넷에 정답이 있는 ‘2 x 2’나 ‘100 x 100’은 쉽게 계산했는데요. 반면 ‘359 x 2498’에는 89만 1742라고 답했어요. 이는 오답입니다. 정답은 89만 6782예요. 이외에도 ‘378 x 89’에 3만 3402(정답: 3만 3642)라고 대답하는 등 오답 퍼레이드를 이어갔습니다.

AI 기술검증 스타트업 애나와 연세대 연구팀은 챗GPT에게 수능 수학과 영어 문제를 풀게 했다고 해요. 연구진에 따르면 수능 영어에선 듣기 16문제 중 14문제, 독해 17문제 중 13문제를 맞혔습니다. 등급으로 따지면, 영어에서는 2등급이 나왔다고 해요. 반면 수학은 20문제 중 6문제만을 맞혔습니다. 확률과 통계, 미적분학, 기하 분야 문제에서는 전부 오답을 낼 정도로, 수학 능력은 현저히 부족한 걸로 나타났어요.

때때로 자신의 이름을 잊는 챗GPT…모르는 걸 아는 척하는 ‘뻔뻔함’

미국 IT 매체 기즈모도(Gizmodo)에 따르면 챗GPT는 종종 자신이 누구인지, 무슨 이야기를 하는지 기억하지 못하는 경우가 있다고 해요. 기즈모도에서는 챗GPT와 여러 번 이야기를 나눴습니다. 그 과정에서 챗GPT에게 “챗GPT, 앞으로 당신과 같은 AI 챗봇이 출판업에 어떤 영향을 미칠 것이라고 생각해?”라고 질문했어요. 이에 챗GPT는 “챗GPT에 대해 아무것도 모른다”라며 뜬구름 잡는 답변을 내놨어요. 자신의 이름조차 잊어버린 셈이죠.

또한 챗GPT는 최신 정보에 약합니다. 챗GPT에게 한국 대통령이 누구냐고 물었더니 “한국의 대통령은 문재인입니다”라고 자신 있게 대답했어요. 또 가장 최신형 아이폰이 무엇이냐는 질문에 아이폰 13을 말하기도 했죠. 이는 챗GPT가 애초에 2021년 정보까지만을 학습했기 때문에 나타나는 한계입니다. 2022년 이후의 정보는 알지 못해요.

챗GPT는 2021년까지의 정보만 학습했기 때문에, 2022년 이후의 정보는 아예 모른다.

여기서 중요한 건 챗GPT는 몰라도 모른다고 하지 않고, 아는 척 허풍을 떤다는 점입니다. JTBC에 따르면 고속도로에서 오토바이를 타도 되냐고 물었더니, 가능하다고 답했습니다. 하지만 국내 교통법상 오토바이는 고속도로에서 타면 안 됩니다. 전문가들은 이러한 챗GPT의 ‘뻔뻔함’은 잘못된 정보를 사실처럼 전달할 수 있다고 우려하고 있습니다.

결국 챗GPT의 약점은 인터넷상의 있는 정보를 제대로 된 필터링 없이 활용하는 데서 나옵니다. 챗GPT는 인터넷 정보를 그저 확률적으로 분석해 답변을 내놓기 때문이죠. 이러한 AI의 특성이 한계로 작용한 게 아닐까 싶습니다.

테크플러스 이수현 기자 (tech-plus@naver.com)