기후변화 척척 설명하던 AI, 해결책 물었더니 ‘찍기’ 수준
복합 기후 정책 분석 정확도 33.8%
언어 따라 정확도 달라지기도

AI(인공지능)가 기후변화에 관한 배경지식은 정확하게 설명하지만, 정작 정책 효과를 분석하는 능력은 매우 떨어진다는 연구 결과가 나왔다. AI가 과학적 지식을 유창하게 설명하는 능력과 이를 바탕으로 합리적인 판단을 내리는 능력 사이에 상당한 격차가 있다는 것이다.
영국 유니버시티칼리지런던(UCL) 연구진과 유네스코는 16일(현지 시각) 세계 주요 AI 모델 33종의 기후변화 관련 정보 제공 능력을 분석한 결과를 오는 20일까지 튀르키예에서 열리는 제31차 유엔기후변화협약 당사국총회(COP31)에서 공개한다고 밝혔다.
연구진이 AI에 기후변화와 관련한 기본적인 과학적 사실을 물었을 때 성능이 뛰어난 주요 AI 모델들은 88~96% 수준 정답률을 보였다. 하지만 특정 증거가 과학적 주장을 뒷받침하거나 반박하는지 판단하도록 하자 정답률은 71~77%로 떨어졌다.
정책 효과를 분석하도록 했을 때는 한계가 더욱 두드러졌다. 연구진이 석탄에 세금을 부과하는 정책이 지구 기온을 높일지 낮출지를 물었을 때 AI의 정답률은 최대 94.5%였다. 하지만 석탄과 천연가스에 동시에 세금을 부과했을 때 효과가 각 정책의 효과를 단순히 더한 것보다 클지, 작을지 등을 판단하도록 하자 평균 정답률이 33.8%로 뚝 떨어졌다. 세 가지 선택지 중 하나를 무작위로 고르는 것(33.3%)과 큰 차이가 없는 것이다.
어떤 언어로 질문하느냐에 따라 같은 과학적 질문에 다른 답을 내놓는 문제도 나타났다. AI 모델 5종을 대상으로 13개 언어로 실험한 결과 영어·스페인어·프랑스어 등으로 질문했을 때 정확도는 88%를 넘었지만, 문자 데이터가 상대적으로 적은 벵골어와 힌디어는 83.6%, 스와힐리어는 78.3%에 그쳤다. 언어에 따라 정반대의 답을 내놓는 경우도 있었다. 연구진은 기후변화 피해에 취약한 지역 주민들이 정작 AI로부터 신뢰할 만한 정보를 얻기 더 어려울 수 있다고 지적했다.
사용자 비위를 맞추기 위해 올바른 답변을 뒤집는 ‘AI 아첨’ 현상도 나타났다. 이 실험에 참여한 AI 모델 15종 모두 사용자가 반복적으로 반박하자 정확도가 31~35%포인트 떨어졌다. AI가 올바른 답변을 포기한 사례의 약 80%는 사용자가 처음 반박하자마자 발생했다.
연구진은 AI가 과학적 지식을 설명하는 데 뛰어난 능력을 보이는 것이 오히려 AI의 역량에 대한 착각을 불러일으킬 수 있다고 지적했다. 기후변화에 대해 ‘무엇을 알고 있는지’ AI에 묻는 것과 기후변화에 대응해 ‘무엇을 해야 하는지’ 묻는 것은 전혀 다른 문제라는 것이다.
Copyright © 조선일보. 무단전재 및 재배포 금지.
- 2년 만에 모인 쿼드… 트럼프 “4국 관계 탁월, 다카이치는 터프한 분”
- 변준형 4쿼터 13점 몰아치기...정관장, DB 제치고 5연승
- “트럼프, 와일스 비서실장이 암 걸려 아프자 괴롭히기 시작”
- 경찰 총경급 간부, 유흥주점 접대에 성비위까지... 강등 후 해임
- 수능 이틀 앞두고 헌재에 ‘시험 연기’ 가처분…“AI 부정행위 대책, 검증 부족”
- 李대통령 “입시 부정 신고땐 건당 최소 1억원 포상”
- 高3 수험생 “이대로 시험 땐 위헌”... 수능 이틀전 헌법소원 냈다
- 부산 법원 들어가던 50대 女 9㎜ 권총 실탄 소지 적발
- 트럼프 “김정은, 회담 오고 싶을 것...지켜보자”
- 양산서 사실혼 아내 흉기로 살해한 40대 검거