AI 코딩 툴, 숙련 개발자에겐 오히려 ‘비효율’

METR “작업 시간 평균 19% 증가”
생산성 향상 기대와 달라

AI 코딩 툴, 숙련 개발자에겐 오히려 ‘비효율’ [그림=챗GPT]

인공지능(AI) 코딩 보조 도구가 모든 개발자의 생산성을 높이는 것은 아니라는 연구 결과가 나왔다. 특히 숙련된 개발자에게는 오히려 작업 시간이 늘어나는 역효과가 발생할 수 있다는 지적이다.

AI 안전성 비영리 연구기관 METR은 최근 진행한 무작위 대조 실험에서 깃허브 코파일럿, 커서 프로 등 AI 기반 코딩 도구가 경력 개발자의 속도를 평균 19% 저하하는 것으로 나타났다고 밝혔다. 이번 실험에는 오픈소스 프로젝트에 이바지해온 숙련 개발자 16명이 참가했으며, 총 246개의 실제 과제가 실험 대상이 됐다.

참가자들은 AI 사용 시 작업 시간이 평균 24% 단축될 것이라 예측했다. 그러나 실제 측정된 시간은 정반대였다. AI를 사용한 그룹이 평균적으로 19% 가까이 더 많은 시간을 소요한 것으로 나타났다. METR는 이 결과를 두고 “AI 툴 사용이 속도를 높인다는 일반적인 믿음에 반한다”라고 밝혔다.

METR는 AI 사용이 오히려 속도를 늦춘 원인으로 프롬프트 작성 및 응답 대기 시간 증가, 복잡한 대규모 코드베이스에서 AI의 문맥 이해 한계, AI 기반 코딩 보조 시스템의 일관성 부족 등을 지목했다. 실제로 개발자들은 코딩보다 AI를 쓰기 위한 프롬프트를 작성하고 결과를 검토하는 데 더 많은 시간을 쓴 것으로 나타났다. 숙련된 개발자의 경우 자신이 즐겨 쓰던 코드에 익숙한 만큼 AI가 제안한 코드를 그대로 쓰지 않고 수정하는 과정에서 시간이 더 걸렸을 수 있다.

앞서 진행된 다른 연구에서는 AI 코딩 도구가 평균 21%, 최대 56%까지 속도를 높인다는 결과가 나온 바 있다.

다만 연구진은 이번 결과를 두고 “현재 시점에서의 관찰일 뿐”이라며 “모든 AI 코딩 도구가 생산성을 높이는 것은 아니라는 의미”라고 설명했다.

[실리콘밸리 원호섭 특파원]