AI에 ‘답’ 물은 사람 더 자주 포기했다…‘힌트’ 받은 사람은 달랐다

독일 카를스루에의 한 고등학교 학생이 노트북으로 인공지능(AI) 도구를 사용하고 있다. 이 학교는 2023년 독일어 수업에서 AI를 활용해 게오르크 뷔히너의 희곡 ‘보이체크’ 관련 과제를 진행했다. 게티이미지코리아

생성형 인공지능(AI)에 정답을 직접 물어본 사람들은 이후 AI 없이 문제를 풀 때 정답률이 낮고 문제를 건너뛰는 비율은 높은 것으로 나타났다. 반면 AI를 정답 대신 힌트나 설명을 얻는 데 사용한 사람들은 이후 수행 능력이 처음부터 AI 없이 문제를 푼 사람들과 비슷한 수준을 보였다.

UC버클리와 카네기멜런대, 매사추세츠공대(MIT), 옥스퍼드대, UCLA 공동 연구진은 총 1222명을 대상으로 AI가 독립적인 문제 해결 능력과 어려운 문제를 계속 풀려는 끈기에 어떤 영향을 미치는지 무작위 대조실험을 진행했다. 연구 결과는 ‘AI 지원은 끈기를 줄이고 독립 수행 능력을 떨어뜨린다(AI Assistance Reduces Persistence and Hurts Independent Performance)’는 제목으로 동료평가를 거쳐 2026년 언어모델링학회(COLM)에서 발표됐다. 연구진은 10~15분 정도의 짧은 AI 사용 뒤에도 AI를 제거하면 독립 수행 능력이 떨어지는 현상이 나타났다고 밝혔다.

연구에 참여한 브라이언 크리스천 UC버클리 인간호환AI센터 연구원은 “놀라운 결과이지만 한편으로는 많은 사람이 직감적으로 느껴왔던 이야기를 뒷받침한다”며 “나 역시 그런 경험을 한다”고 말했다.

● AI 있을 땐 더 잘 풀었다…없애자 바로 역전

첫 번째 실험은 354명을 대상으로 진행됐다. 연구진은 참가자들에게 기본적인 분수 문제 15개를 풀게 했다. 한 집단은 처음부터 아무런 도움 없이 문제를 풀었고, 다른 집단은 처음 12개 문제를 푸는 동안 GPT-5 기반 AI를 사용할 수 있었다. AI 이용자는 풀이 방법을 묻거나 정답을 직접 요청할 수도 있었다.

AI를 사용할 수 있을 때는 AI 이용군이 도움 없이 문제를 푼 참가자보다 문제를 더 정확하게 풀었고, 문제를 건너뛰는 경우도 적었다.

하지만 12개 문제를 푼 뒤 연구진이 AI를 없애고 마지막 3개 문제를 혼자 풀게 하자 결과가 뒤집혔다. AI를 사용했던 참가자들의 정답률은 평균 57%로, 처음부터 AI 없이 풀었던 대조군의 73%보다 낮았다. 문제를 건너뛴 비율도 AI 이용군이 20%로 대조군 11%보다 높았다.
AI가 있을 때는 더 잘 풀었지만, 도움을 없앤 직후에는 처음부터 혼자 풀었던 사람보다 정답을 덜 맞히고 문제도 더 자주 건너뛴 것이다.

● 정답 직접 받은 사람 65%…힌트 이용자는 76%

연구진은 이어 667명을 대상으로 실험 방식을 보완해 같은 현상이 반복되는지 확인했다. 두 번째 실험에서도 AI 이용군은 도움을 없앤 뒤 대조군보다 낮은 정답률을 보였다.

이번에는 AI를 ‘어떻게’ 사용했는지도 따로 분석했다. AI 이용자 가운데 61%는 주로 정답을 직접 얻는 데 AI를 사용했다고 답했고, 27%는 힌트나 설명을 얻는 데 활용했다.

AI 없이 문제를 풀게 하자 정답을 직접 받아온 참가자들의 정답률은 평균 65%였다. 처음부터 AI 없이 푼 대조군은 77%, AI를 힌트나 설명에 사용한 참가자는 76%였다.

문제를 건너뛴 비율도 정답을 직접 받은 참가자가 13%로, 대조군 7%, 힌트 이용군 5%보다 높았다. 첫 실험에서 확인된 ‘AI 제거 뒤 성적 하락’이 두 번째 실험에서도 반복됐고, 특히 정답을 직접 얻은 사람들에게서 차이가 두드러졌다.

다만 연구진은 ‘정답을 직접 물었기 때문에 끈기가 떨어졌다’고 단정할 수는 없다고 밝혔다. 참가자를 정답 이용군과 힌트 이용군으로 무작위 배정한 것이 아니라 AI 이용자들이 실제로 어떻게 사용했는지를 사후에 나눠 비교한 분석이기 때문이다.

● 분수뿐 아니라 독해에서도…AI 없자 같은 결과

201명을 대상으로 SAT형 독해 문제를 사용한 세 번째 실험에서도 비슷한 결과가 나왔다. AI 지원을 없앤 뒤 AI 이용군의 정답률은 76%, 대조군은 89%였다. 문제를 건너뛴 비율은 각각 8%, 1%였다.

크리스천 연구원은 이에 대해 “이보다 더 명확한 결과를 기대하기 어려울 정도”라고 말했다.
연구진은 AI가 몇 초 안에 답을 내놓는 데 익숙해지면 혼자 해결해야 하는 일이 이전보다 더 오래 걸리고 힘들게 느껴질 수 있다고 봤다. 또 어려운 문제를 스스로 붙잡고 시행착오를 겪는 ‘생산적인 고군분투(productive struggle)’의 기회가 줄어드는 점도 원인으로 제시했다.

연구진은 이런 결과가 현재 AI가 사람을 돕는 방식과도 관련이 있을 수 있다고 봤다. 좋은 멘토는 학습자가 스스로 성장할 수 있도록 때로는 답을 바로 주지 않지만, 현재 AI는 이용자의 요청에 즉각적이고 완성된 답을 제공하는 데 최적화돼 있다는 것이다. 논문은 현재 AI를 장기적인 능력 향상보다 당장의 문제 해결에 초점을 맞춘 ‘단기적 조력자’로 설명했다.

크리스천 연구원은 “우리는 AI 시스템을 도움이 되도록 만들었다”며 “하지만 그 도움이 실제로 우리에게 도움이 되는 방식인지 물어봐야 한다”고 말했다. 이어 “역설적으로 AI가 도움이 되지 않는 방식으로 우리를 돕는 경우가 있다는 것을 보여줬다”고 설명했다.

연구진은 AI가 곧바로 완성된 답을 내놓기보다 교사나 튜터처럼 사용자가 스스로 답을 찾도록 돕는 방식에도 주목했다. 논문은 질문과 힌트를 중심으로 한 ‘소크라테스식 AI’가 AI의 도움을 유지하면서 독립 수행 능력과 끈기 저하를 줄일 수 있는지는 앞으로 확인해야 할 과제라고 밝혔다. 이번 실험에서 힌트나 설명을 이용한 참가자들의 결과가 이런 가능성을 살펴볼 근거가 될 수 있다는 것이다.

크리스천 연구원은 “인간의 능력을 대체하기보다 가능한 한 확장하는 방향으로 나아가야 한다”고 말했다.

다만 이번 연구는 AI 사용 직후의 변화를 측정했다. 이런 영향이 몇 시간이나 며칠 뒤에도 이어지는지, 장기간 AI를 사용할 경우 누적되는지는 확인하지 않았다. 연구진은 AI 사용의 장기 효과와 지속성을 확인하려면 후속 연구가 필요하다고 밝혔다.

크리스천 연구원은 “이것은 분수나 SAT 문제에 관한 이야기만은 아니다”라며 “초등학생부터 세계 최고 수준의 전문가까지 인간의 지식과 전문성 전반에서 벌어지고 있는 일”이라고 말했다.

관련 논문
“AI Assistance Reduces Persistence and Hurts Independent Performance“

최현정 기자 phoebe@donga.com