AI는 '짬밥' 순이 아니잖아요

매경 디지털테크부 기자들, AI 활용 능력 테스트 해보니
국내 AI기업 클라썸 활용 평가
자신감 가득했던 11년차 기자
'결과물 책임감 부족' 뜨며 꼴찌
최고참 기자가 Lv3 달성해 1위
컴공 전공한 '젊은 피'는 2위로
참가자들 "기초부터 돌아볼것"

제미나이 이미지 생성 모델 나노바나나2로 만든 그림.

오랜 세월 밥 먹었다고, 젓가락질을 잘하는 건 아니었다. AI(인공지능)를 많이 쓴다고, AI를 잘 쓰는 것도 아니었다. AI 활용 능력 테스트 결과지를 받고 든 생각이다.

매일경제신문에서 AI를 가장 적극적으로 활용하는 부서는 디지털테크부. AI와 관련된 모든 걸 취재하는 부서다. AI의 세계적 흐름을 취재하고, AI를 선제적으로 활용한다는 자부심으로 똘똘 뭉친 부서였다. 적어도 'AI 리터러시 진단 결과 리포트'를 받기 전까지는 그랬다. 매경 디지털테크부는 앞서 흥미로운 제안을 받았다. AI 담당 기자들의 AI 활용능력을 '객관적'으로 테스트해보자는 것이었다. 국내 AI 회사 클라썸이 개발한 'HR 솔루션 텔타'의 테스트를 활용할 수 있다는 제안이었다. 호기심에 여러 기자가 손을 들었다. 총지원자는 김태성 기자(42), 강영운 기자(38), 정호준 기자(30), 박성배 기자(28). 20대부터 40대까지, 총 네 명이었다. 회사에서 "AI라면 내가 가장 잘 쓴다"고 자부하는 사람들이었다. 그러나 결과는 예상과 다르게 흘러갔다.

매일경제 디지털테크부 AI 담당 기자 4인. 프로필 사진을 기반으로 AI로 재생성한 이미지. 왼쪽부터 김태성, 강영운, 정호준, 박성배 기자.

강영운 기자는 평소 제미나이와 챗GPT를 능수능란하게 쓰는 '이도류'로 자평해왔다. 그러나 테스트를 시작하자마자 높은 난도로 땀구멍이 열리는 걸 느껴야 했다. 시작은 좋았다. 테스트는 AI와 관련된 열여섯 문제를 푸는 'AI 이해' 영역이 있는데, 강 기자는 나름 좋은 점수를 받았다. 기술적 이해, 리스크 인식 분야는 'Pass(통과)' 등급을 받았고, 도구 이해 및 선택에서는 'Excellence(훌륭함)'를 획득했다.

문제는 AI를 직접 시뮬레이션해 보는 'AI 활용(application)'에서 드러났다. 한 기업 IT 직원이라는 상황 속에서 사내 문제를 AI로 활용해 해결해 보는 가상 과제 등이 제시됐다. 강 기자는 나름 분투했으나, 종합 결과가 Lv2.3으로 네 명 중 꼴찌를 기록했다. 이 테스트를 수행한 전체 참가자 중에서도 상위 50~75%(사실상 하위 25%)를 받아 체면을 구겼다. "AI가 수행할 작업을 실무 맞춤형으로 명확히 정의했으나, AI가 수행한 결과물에 대해 후속 조치를 하는 최종 책임감을 보여주지 않았다"는 평가를 들어야 했다. 'AI 이도류'라는 자신감에 근거가 없었던 셈. 강 기자는 "AI 테스트 결과를 그대로 믿고 과제 결과물로 제출한 것이 패착이었다"면서 "당시 컨디션이 좋지 않았던 점이 두고두고 아쉽다"고 해명했다.

테스트에서 가장 두각을 드러낸 건 김태성 기자였다. 매경 참가자 중 가장 고령임에도 불구하고 활용 능력이 Lv 3.0으로 1위를 기록했다 테스트 수행 전체 상대평가에서도 상위 13%에 오르며 존재감을 드러냈다. 김 기자는 AI 이해능력 시험에서는 16문제 중 10문제만 맞혀 다소 아쉬운 성적을 보였는데, 활용 능력은 가장 높은 이변을 연출했다. 테크 활용은 어릴수록 뛰어나다는 편견을 무너뜨렸다. 실전에서 강한 인재였던 셈. 활용 능력 중 '업무 기획' '실행 및 상호작용' '결과 검증 및 의사결정' 전 분야에서 평균보다 높은 점수를 기록했다. 특히 "해당 리포트 초안을 만들 수 있는 프롬프트를 먼저 작성해줘"라며 AI가 지시문을 만들게 하는 메타 프롬프팅을 활용한 점도 높은 평가를 받았다. 1등을 기록한 김 기자는 "프롬프트 작성도 사람보다 AI가 더 잘한다고 생각해 AI를 최대한 활용한 것이 좋은 결과로 이어졌다"며 "평소에 AI에 독설을 날리며 시시콜콜 물어보던 습관이 활용도 평가에서 유리하게 반영된 것 같다"고 말했다.

가장 젊은 피인 박성배 기자는 Lv 2.7로 네 명 중 2위에 올랐다. 전공이 '컴퓨터공학과'인 데다가 참가자 넷 중 가장 어리다는 점에서 주목을 받았으나, '노장' 김 기자의 역량에는 미치지 못했다. 박 기자는 이번 과제에서 결과물에 대해 수정 지침을 세밀하게 지시하는 꼼꼼함 측면에서는 좋은 평가를 받았다. 그러나 박 기자 역시 AI의 결과물을 본인만의 독립적인 판단으로 재해석하지 않는 우(愚)를 범해 점수를 깎아 먹었다. "최종 결정자로서 결과를 책임지고 관리하기 위한 구체적인 후속 조치 계획이 명시되지 않아 보완이 필요하다"는 조언이 따랐다.

디지털테크부 근무 3년 차로, 네 명 중 가장 'AI 전문기자'에 근접하다는 평가를 받은 정호준 기자는 3등에 그치며 따가운 눈초리를 받았다. 'AI 이해' 테스트 16개 중 15개를 맞히면서 기대를 모았으나 실제 활용 능력에서 아쉬운 성적을 받았다. 'AI 활용' 능력이 Lv 2.5에 불과했기 때문이다. 공부는 잘하는데 실전엔 약한 책상형 인재였던 셈.

정 기자는 프롬프트에서 AI에 "너는 15년 차 베테랑 IT 기자야"라고 역할을 부여하는 점에서 좋은 평가를 받았다. 그러나 지시가 포괄적이고 세밀하지 않았다는 점에서 아쉬움을 남겼다. 결과지에는 "데이터 포맷과 분량을 지정해 포괄적이던 기존 작업을 더 세밀하게 쪼개 보세요"라는 조언이 적혀 있었다. 정 기자는 "AI 산업과 제도를 취재하며 나름 기술에 대해 잘 안다고 자신해왔으나 활용 방식은 점검해본 적이 없어 저조한 결과가 나온 것 같다"며 "프롬프트를 작성하는 방법 등 기초부터 다시 공부하겠다"고 말했다.

[강영운 기자]