똑같이 AI 쓰는데 성과 차이가 나는 이유는?

앤스로픽 ‘경제 지수 보고서: 학습곡선’ 분석
AI 숙련자는 AI 자동화보다 협업 선택

똑같이 인공지능(AI)을 사용해 일을 해도 기존에 얼마나 AI를 사용해왔는지에 따라 성과가 차이를 보이는 것으로 나타났다. 또 오랫동안 AI를 써온 사용자는 그렇지 않은 사람보다 AI 자동화를 더 적게 사용하는 것으로 조사됐다. AI 기업 앤스로픽은 지난 24일 자사 AI인 ‘클로드’ 사용자 기록 100만건을 분석한 ‘경제 지수 보고서: 학습곡선(Economic Index Report:Learning Curves)’을 발간했다.

보고서에 따르면, AI를 많이 사용한 사람의 AI 과제 달성률은 신규 사용자보다 6.4%포인트 높은 것으로 나타났다. 과제 달성률은 사용자가 원하는 과제를 AI가 제대로 수행했는지를 평가한 것이다. 클로드를 6개월 이상 사용한 장기 사용자는 과제 달성률이 73.1%였지만, 사용 기간이 6개월 이하인 초기 사용자의 과제 달성률은 66.7%였다. 클로드를 많이 사용해본 사람은 100건의 과제를 AI에 시키면 73.1건의 만족할 만한 답을 얻지만, 사용 기간이 짧은 사람은 66.7건만 만족스러운 답을 얻는다는 것이다.

이러한 차이는 과제의 종류와 사용자의 국적, 사용하는 클로드 버전 등의 변수를 통제하고도 약 4%포인트 발생했다. 같은 업무를 해도 개인의 AI 친숙도에 따라 결과 차이가 나는 ‘학습 효과(learning-by-doing)’를 보이는 것이다. AI를 많이 사용해본 사람은 AI에 질문을 하거나 업무를 시킬 때 구체적이고 실용적으로 명령한다. 예컨대 반도체 관련 질문을 할 경우, AI에게 “너는 반도체 업계에서 20년간 일한 엔지니어야”라고 페르소나를 지정하고 물으면 더 자세한 답변을 얻을 수 있다.

그래픽=조선디자인랩 정다운

AI를 오래 사용한 사람들은 그렇지 않은 사람에 비해 AI에 더 어려운 질문을 던지고, AI를 개인적 용무보다 업무에 더 많이 활용했다. 장기 사용자가 AI를 업무에 활용하는 비율은 48.9%, 개인 용무에 쓰는 비율은 40.3%였다. 반면 최근 AI 사용을 시작한 사람은 AI를 업무에 사용하는 것(41.6%)보다 개인 용무(44.3%)에 더 많이 썼다. 또 장기 사용자는 AI에 평균 12.3년의 교육을 받은 사람이 풀 정도 난이도의 과업을 시키지만, 초기 사용자는 11.5년 교육 수준의 과업을 시키는 것으로 조사됐다.

AI를 오래 사용한 사람들은 AI에 업무를 전적으로 맡기는 것보다 함께 협업하는 것이 더 좋은 결과를 얻는다는 것을 알고 있었다. 장기 사용자가 AI에 업무를 전적으로 맡기는 자동화 비율(29.4%)은 초기 사용자(38.1%)보다 낮았다. 앤스로픽은 “이 결과는 AI 숙련자일수록 자동화를 더 많이 쓸 것이라는 작년 가설을 뒤집는 것”이라며 “고숙련 장기 AI 활용자가 AI로부터 더 큰 혜택을 얻고, 이 혜택이 자기 강화적으로 축적될 수 있다”고 분석했다. 테크 업계 관계자는 “이 연구는 AI 격차 문제를 기존 접근성 차원에서 숙련도 문제로 확대했다는 의미가 있다”며 “단순히 AI를 많은 사람이 써보게 하는 것을 넘어 더 능숙하게 사용할 수 있도록 하는 ‘숙련 교육’이 필요하다”고 했다.