기후변화 척척 설명하던 AI, 해결책 물었더니 ‘찍기’ 수준

최원우 기자 2026. 11. 17. 15:18
번역beta Translated by kaka i
글자크기 설정 파란원을 좌우로 움직이시면 글자크기가 변경 됩니다.

이 글자크기로 변경됩니다.

(예시) 가장 빠른 뉴스가 있고 다양한 정보, 쌍방향 소통이 숨쉬는 다음뉴스를 만나보세요. 다음뉴스는 국내외 주요이슈와 실시간 속보, 문화생활 및 다양한 분야의 뉴스를 입체적으로 전달하고 있습니다.

유네스코, 세계 주요 AI 모델 33종 분석
복합 기후 정책 분석 정확도 33.8%
언어 따라 정확도 달라지기도
AI(인공지능)가 기후변화 대응 방안을 고민하는 모습을 표현한 삽화. AI는 기후변화에 관한 과학적 사실을 정확하게 설명하면서도 복합적인 기후 정책의 효과를 판단하는 능력은 무작위로 답을 찍는 수준에 불과하다는 연구 결과가 나왔다. /GPT

AI(인공지능)가 기후변화에 관한 배경지식은 정확하게 설명하지만, 정작 정책 효과를 분석하는 능력은 매우 떨어진다는 연구 결과가 나왔다. AI가 과학적 지식을 유창하게 설명하는 능력과 이를 바탕으로 합리적인 판단을 내리는 능력 사이에 상당한 격차가 있다는 것이다.

영국 유니버시티칼리지런던(UCL) 연구진과 유네스코는 16일(현지 시각) 세계 주요 AI 모델 33종의 기후변화 관련 정보 제공 능력을 분석한 결과를 오는 20일까지 튀르키예에서 열리는 제31차 유엔기후변화협약 당사국총회(COP31)에서 공개한다고 밝혔다.

연구진이 AI에 기후변화와 관련한 기본적인 과학적 사실을 물었을 때 성능이 뛰어난 주요 AI 모델들은 88~96% 수준 정답률을 보였다. 하지만 특정 증거가 과학적 주장을 뒷받침하거나 반박하는지 판단하도록 하자 정답률은 71~77%로 떨어졌다.

정책 효과를 분석하도록 했을 때는 한계가 더욱 두드러졌다. 연구진이 석탄에 세금을 부과하는 정책이 지구 기온을 높일지 낮출지를 물었을 때 AI의 정답률은 최대 94.5%였다. 하지만 석탄과 천연가스에 동시에 세금을 부과했을 때 효과가 각 정책의 효과를 단순히 더한 것보다 클지, 작을지 등을 판단하도록 하자 평균 정답률이 33.8%로 뚝 떨어졌다. 세 가지 선택지 중 하나를 무작위로 고르는 것(33.3%)과 큰 차이가 없는 것이다.

어떤 언어로 질문하느냐에 따라 같은 과학적 질문에 다른 답을 내놓는 문제도 나타났다. AI 모델 5종을 대상으로 13개 언어로 실험한 결과 영어·스페인어·프랑스어 등으로 질문했을 때 정확도는 88%를 넘었지만, 문자 데이터가 상대적으로 적은 벵골어와 힌디어는 83.6%, 스와힐리어는 78.3%에 그쳤다. 언어에 따라 정반대의 답을 내놓는 경우도 있었다. 연구진은 기후변화 피해에 취약한 지역 주민들이 정작 AI로부터 신뢰할 만한 정보를 얻기 더 어려울 수 있다고 지적했다.

사용자 비위를 맞추기 위해 올바른 답변을 뒤집는 ‘AI 아첨’ 현상도 나타났다. 이 실험에 참여한 AI 모델 15종 모두 사용자가 반복적으로 반박하자 정확도가 31~35%포인트 떨어졌다. AI가 올바른 답변을 포기한 사례의 약 80%는 사용자가 처음 반박하자마자 발생했다.

연구진은 AI가 과학적 지식을 설명하는 데 뛰어난 능력을 보이는 것이 오히려 AI의 역량에 대한 착각을 불러일으킬 수 있다고 지적했다. 기후변화에 대해 ‘무엇을 알고 있는지’ AI에 묻는 것과 기후변화에 대응해 ‘무엇을 해야 하는지’ 묻는 것은 전혀 다른 문제라는 것이다.

Copyright © 조선일보. 무단전재 및 재배포 금지.