같은 AI 지원에도…“매출 15% 급등”“우린 10% 감소” 왜

━
[이준기의 빅데이터] AI 효과 극과 극

케냐 세차업 종사자에게 경영 자문 AI를 붙여 줬더니 고객에게 음료수를 파는 등 서비스가 개선돼 수익이 오른 것으로 나타났다. [사진 AI 생성이미지]

지금 인공지능(AI)에 들어가고 있는 투자 규모는 우리의 일반적인 상상 수준을 넘어섰다. 그러다 보니 한편에서는 이것이 25년 전 닷컴 버블과 같은 길을 가는 것이 아니냐는 걱정이 나온다. 닷컴 때는 이름만 있었지만 지금은 다르다는 반론도 있다. AI를 직접 써서 실제로 효과를 보고 있는 기업이 존재하기 때문이다. 메타가 그런 경우다. 광고를 누구에게 보여줄지 AI가 판단하도록 시스템을 바꾼 뒤 올해 2분기 페이스북 광고의 클릭은 8.3%, 실제 구매로 이어진 비율은 15.7% 늘었다. AI 자동 광고 상품은 연 750억 달러 매출 규모가 되었다. 그러나 이것은 광고라는 특수한 영역의 이야기일 뿐이라고 보는 시각도 만만치 않다.

최근 글로벌 서베이들의 결과는? 아직 답을 내기가 조금 애매하다. 맥킨지 조사에서 기업의 88%가 AI를 쓰고 있다고 답했다. 그런데 그것이 회사 영업이익에 조금이라도 기여했다고 답한 곳은 39%에 그쳤고, 대부분은 기여도가 5% 미만이라고 했다. 가트너는 지난해 말 기준으로 생성형 AI 프로젝트의 절반 이상이 중단됐다고 집계했다. 데이터 품질, 예상을 넘어선 비용, 불분명한 사업 가치가 이유로 꼽혔다. 프로젝트는 여기저기서 진행되는데 정작 회사 전체로 확산되지 못하고 개념 검증(PoC) 단계에서 멈춰 선다는 것이다.

기업 88% AI 사용…이익 기여도는 5% 미만
개인 차원에서는 사정이 다르다. AI를 쓰는 사람들은 효과와 만족도를 이야기한다. 문제는 개인이 아낀 시간이 회사의 이익으로 이어지지 않는다는 연구가 계속 나오고 있다는 점이다. 덴마크 노동자 2만5000명과 직장 7000곳을 추적한 연구에서, AI 챗봇 사용자가 아낀 시간은 근무시간의 2.8% 정도였지만 임금과 근로시간에는 의미 있는 변화가 나타나지 않았다. 마케팅 담당자가 보고서 쓰는 시간을 한 시간 줄였다고 해서 그 한 시간에 공장에 가서 제품을 만들지는 않는다. 남은 시간이 무엇으로 채워질지를 회사가 설계하지 않으면 그 시간은 그냥 사라질 수도 있다는 것이다.

AI가 누구에게 도움이 되는지도 나누어 볼 필요가 있다. 콜센터 상담사를 대상으로 한 연구에서 AI 지원은 전체 생산성을 14% 올렸는데, 신입과 저성과자에게서는 34%가 올랐다. 반면 이미 숙련된 상담사에게는 별 도움이 되지 않았다. 답이 대체로 정해져 있는 정형 업무에서 AI는 못하는 사람을 끌어올리는 사다리 역할을 한다. 그런데 일의 성격이 모호해지면 결과가 달라진다.

컨설턴트를 대상으로 한 실험에서는 AI가 잘 다루는 범위 안의 과제에서 성과가 크게 올랐지만, 그 범위를 벗어난 과제에서는 AI를 쓴 쪽의 정답률이 오히려 낮았다. 이런 일에서는 숙련자든 비숙련자든 AI의 도움을 제대로 받지 못했다.

MIT 슬론 매니지먼트 리뷰 최신호에 실린 케냐 실험은 이 문제를 소상공인의 현실 속에서 다룬다. 연구진은 식음료·농업·세차업 등에 종사하는 케냐 소상공인 640명을 모집해 2023년 5월부터 11월까지 무작위 대조 실험을 진행했다. 절반에게는 언제든 상담할 수 있는 GPT-4 기반 경영 자문 AI를 붙여 주었고, 나머지 절반에게는 온라인 경영 교육 자료만 주었다. 두 집단의 매출과 이익을 추적한 결과, 평균 차이는 0에 가까웠고 통계적으로 유의미하지도 않았다.

그런데 평균 뒤에 큰 양극화가 있었다. 실험 전부터 성과가 상위 50%에 속했던 상인들은 AI를 쓴 뒤 매출과 이익이 15% 늘었다. 반면 하위 50%는 오히려 10% 가까이 줄었다. 같은 도구를 받았는데 한쪽은 올라가고 한쪽은 내려앉은 것이다.

연구진이 대화 기록을 뜯어보니 두 집단은 처음에는 질문의 개수도, 질문의 종류도, AI에게서 받은 조언의 내용도 비슷했다. 차이는 후속 질문을 만들어 나가는 방식에 있었다. AI는 초기에 누구에게나 “판촉 광고를 늘리세요~ 쿠폰 등을 활용하세요” 같은 일반적인 조언을 내놓았다. 하위 그룹은 일반적인 조언 쪽을 골라 그대로 실행했다. 가격을 깎고 광고비를 늘렸다. 마진은 줄고 비용은 늘었지만 손님은 그만큼 늘지 않았다.

상위 그룹은 자신의 상태를 설명하고, 본인의 가설을 만들고 지속적인 질문·대답 안에서 자기 사업에 맞는 것만 골라냈다. PC방 주인은 게임 주변기기 대여를 시작했고, 세차장 주인은 손님이 찾는 새 세제를 들여오면서 기다리는 사람에게 시원한 음료를 팔았다. 정전이 잦은 지역의 상인은 대체 전력원을 확보했다. 처음에 양쪽이 받은 조언의 품질은 같았다. 달랐던 것은 자기에게 맞는 방향으로 AI를 유도하고 자신의 머릿속 가설을 실험하며 정말 필요한 것을 골라내는 판단이었다.

연구진은 문제가 넓고 모호할수록 AI가 사람의 판단력을 증폭시킨다고 정리했다. 판단력을 갖춘 사람에게 AI는 새로운 선택지를 열어 준다. 판단력이 약한 사람은 그럴듯하게 들리지만 자기 상황에 맞지 않는 조언을 그대로 따라간다. 도움이 가장 필요한 사람이 조언을 걸러 낼 능력은 가장 부족하다는 것이 이 연구의 불편한 대목이다. AI를 널리 보급하는 것만으로 격차가 좁혀지지는 않으며, 오히려 벌어질 수 있다.

그렇다면 사람의 판단을 빼고 AI에게 전부 맡기면 어떨까. 앤트로픽이 사내 자판기 사업 운영을 자사 AI에게 통째로 맡겨 본 적이 있다. AI는 물건을 원가 이하로 팔고 공짜로 나눠 주다가 금세 적자를 냈다. 목표가 모호하고 변수가 많은 경영은 아직 AI 혼자 감당할 수 있는 일이 아니다.

비슷한 패턴은 다른 영역에서도 나타난다. 구글 엔지니어들은 일상 업무에 AI 코딩 도구를 쓰고 있는데, 경험이 가장 많은 개발자가 가장 큰 이득을 보고 있다는 근거가 나온다. 출판에서는 이미 자리를 잡은 작가들이 AI로 작업량을 늘린 반면, AI를 등에 업고 들어온 신인들은 평범한 원고를 시장에 쏟아 냈다. AI는 출발선을 평평하게 만들어주지 않는다.

물론 기업이 AI의 투자수익률을 숫자로 증명하는 일이 쉬울 리 없다. 성공한 기업에서도 초반에는 성과가 내려갔다가 뒤늦게 올라오는 J 커브가 나타난다. 조직이 새 도구에 맞춰 일하는 방식을 다시 배우는 데 시간이 걸리니 당연한 일이다. 게다가 매출, 이익, 고객 만족 같은 지표는 경기를 비롯한 다른 요인과 겹쳐 있어 AI의 몫만 떼어내기도 어렵다. 우리는 아직 AI 전환의 초기 국면에 있다. 산업혁명 때 전기가, 디지털 혁명 때 인터넷이 거시 생산성 통계에 나타나기까지 25~30년이 걸렸다.

그러나 모든 기업이 그만큼 기다려야 한다는 것은 아니다. 디지털 시대에 먼저 성공한 구글·아마존·넷플릭스는 통계가 나오기 전에 이미 경쟁의 최전선을 만들었다. AI에서도 마찬가지일 것이다. 어떻게 경쟁우위를 만들지 아직 모르는 부분이 더 많지만, 우리의 이해도 빠르게 쌓이고 있으며, 어떤 기업은 새로운 가설과 실험을 통하여 새로운 길을 열고 있다.

AI가 맡은 자판기 사업, 원가 이하 팔다 적자
최근의 연구들에서 얻을 교훈은 세 가지로 정리된다. 첫째, 어디에 AI를 집중할지 정하는 능력이다. 정형 업무와 비정형 업무에서 AI의 효과는 반대 방향으로 나타난다. 요약, 번역, 초안 작성, 코드 점검처럼 범위가 좁고 결과를 바로 확인할 수 있는 일에는 지금 당장 넣어도 된다. 전략과 판단이 필요한 일에는 스킬이 필요하다. 우리 회사에 급한 것이 효율인지 판단인지부터 물어야 한다.

둘째, 기술을 아는 것보다 업무를 아는 것이 중요해진다. 케냐 상인들을 가른 것은 어떤 최첨단 AI 모델을 썼는지가 아니라 자기 사업에 대한 이해였다. 슬론 연구진은 AI에게 그 회사의 재무 자료나 경쟁 환경 같은 맥락을 더 많이 넣어 주어 일반론이 스스로 걸러지게 하는 방향을 대안으로 제시한다. 중요한 결정에는 사람에게 넘기는 절차를 미리 설계해 두라는 조언도 덧붙인다. 누가 도구를 쓰는지, 어떤 질문을 하는지, 그 결과 무엇이 달라졌는지를 집단별로 나누어 점검하라는 것이다.

셋째, AI 프로젝트를 디지털이나 AI 담당 부서가 주관해서는 성과를 내기 어렵다. 문제를 아는 현업이 주체가 되고 기술 조직이 이를 받치는 구조여야 한다. 전략적 관점 없이 기술 부서가 끌고 간 프로젝트가 시범 단계에서 멈추는 경우를 우리는 이미 여러 번 보았다.

AI는 사다리라기보다 확성기에 가깝다. 준비된 조직의 목소리를 키워 주고, 준비되지 않은 조직의 혼란도 똑같이 키운다. 확성기 앞에서 무슨 말을 할지는 여전히 사람이 정한다. 지금 필요한 것은 더 똑똑한 모델이 아니라 그 모델에게 무엇을 물을지 아는 사람, 그리고 돌아온 대답 중 무엇을 버릴지 아는 조직이다. 도입 여부가 아니라 판단의 수준이 앞으로의 격차를 만들 것이다.

이준기 연세대 정보대학원 교수. 서울대 계산통계학과 졸업 후, 카네기멜론대 사회심리학 석사, 남가주대 경영학 박사를 받았다. 인공지능의 기업 활용에 대해 여러 회사에 자문을 하고 있다. 저서로는 『AI로 경영하라』 『오픈 콜라보레이션』 『웹 2.0과 비즈니스 전략』 등이 있다.