“일 맡긴 AI가 조용히 뒤통수쳤다”…에이전트 시대 핵심 전략은 ‘거버넌스’

AI 오판으로 인한 실패 사례 잇따라
보험금 오류로 집단소송 휘말리고
아동수당부정수급 낙인…극단 선택도
AI 챗봇이 ‘경쟁사 제품 더 좋다’ 추천
문제 해결 막히자 고객데이터 몽땅 삭제
음병찬 임페라이 대표, 매경AX클럽 강연
“리스크 관리·통제 거버넌스 전략 세워야”

9일 오후 몬드리안 서울 이태원에서 열린 매경AX클럽 역량 강화 6회차 세미나에서 음병찬 임페라이(IMPERAI) 대표가 ‘AI 혁신과 리스크·거버넌스 핵심 전략’을 주제로 강연하고 있다.[강영국 기자]

챗GPT가 처음 등장했을 때만 해도 인공지능(AI)은 ‘똑똑한 검색창’ 정도로 여겨졌다. 질문을 던지면 답을 주고, 보고서 초안을 작성해 주는 수준이었다. 하지만 최근 AI는 전혀 다른 단계로 진화하고 있다. 단순히 답변하는 것을 넘어 스스로 판단하고 행동하는 ‘AI 에이전트’의 시대로 접어들고 있는 것이다. 한편에서는 에이전트의 자율성이 강화되면서 이에 따른 권한 남용과 윤리적 문제, 책임 소재 등 리스크를 관리하고 통제할 수 있는 거버넌스 전략의 필요성이 가장 중요하게 요구되고 있다.

9일 오후 몬드리안 서울 이태원에서 열린 매경AX클럽 역량 강화 6회차 세미나에서는 음병찬 임페라이(IMPERAI) 대표가 ‘AI 혁신과 리스크·거버넌스 핵심 전략’을 주제로 AI 도입 실패 사례를 통해 거버넌스 전략의 중요성을 피력했다.

음 대표는 “과거에는 AI가 질문에 답하는 어시스턴트(보조자 역할)였다면 이제는 일을 맡기면 판단하고 결정까지 내리는 단계로 진화하고 있다”며 “AI 에이전트 시대 가장 큰 특징은 자율성”이라고 설명했다. 사람이 일일이 지시하지 않아도 목표만 주어지면 스스로 해결 방법을 찾고, 여기에 작업 과정을 기억하는 지속성과 실제 행동을 수행할 수 있는 실행 권한까지 갖춘 AI 에이전트 시대가 열렸다는 것이다.

음병찬 임페라이 대표가 스웨덴 스톡홀름의 한 카페에서 진행된 AI 실험을 소개하고 있다.[강영국 기자]

음 대표는 지난 4월 스웨덴의 수도 스톡홀름의 한 카페에서 진행된 AI 실험을 소개했다. 이 카페는 겉보기엔 평범해 보이지만 운영 방식은 보통의 카페와는 완전히 다르다. 구글의 제미나이 기반의 ‘모나’라는 AI가 매장 전체를 매니저처럼 총괄한다.

이 실험을 기획한 안돈 랩스는 모나에게 카페 임대 계약서와 운영 예산만 제공한 뒤 실제 사업을 맡겼다. 모나는 카페 허가 절차를 진행하고 바리스타 직원 2명도 채용했다. 재료를 주문하고 마케팅 전략도 세웠다. AI가 단순한 보조 도구를 넘어 사업의 의사결정 주체로 나선 이 실험은 초기 매출도 발생시키며 성공하는 듯 보였다. 하지만 인간처럼 상황 변화를 유연하게 판단하지 못하면서 재고 관리 등에서 AI의 한계점도 함께 드러났다. 이 카페 직원은 모나의 재고 관리 능력을 “끔찍하다”라고까지 혹평했다.

음 대표는 모나가 공공기관과 소통하는 과정에서 회사 CEO 이름을 무단으로 사용해 이메일을 발송한 사례와 필요한 재료를 주문하지 않거나, 반대로 메뉴에도 없는 재료를 과도하게 발주하는 일이 반복된 점, 비용 비교 없이 계약을 체결하거나 새벽 시간에 직원들에게 업무 메시지를 반복적으로 보낸 사실 등을 나열하며 “AI의 한계를 보여 준다”고 꼬집었다.

음 대표는 “AI가 많은 업무를 수행할 수 있지만 여전히 인간의 판단과 감독이 필요한 영역이 존재한다는 점을 확인하는 사례”라며 거버넌스 문제를 지적했다.

그는 “AI는 빠르게 발전하고 있는데 반해 AI의 행동을 감독하고 책임질 수 있는 조직의 역량은 같은 속도로 성장하지 못하고 있다”며 거버넌스 문제가 발생하는 원인을 설명했다.

음 대표는 일정 권한을 넘겨받은 AI가 잘못된 판단을 내릴 경우 피해는 단순 오류를 넘어 사회적 재난 수준으로도 번질 수 있다는 점을 사례를 통해 설명을 이어갔다.

임 대표는 “AI 리스크는 더 이상 미래의 이야기가 아니다”라고 말했다.

강연을 듣는 매경AX클럽 회원들.[강영국 기자]

미국 보험사 시그나는 AI 시스템이 수십만건의 보험금 청구를 자동으로 거절하면서 집단소송에 휘말렸다. 환자 기록을 제대로 검토하지 않은 채 기계적으로 판단한 결과였다.

한 제조업 현장에서는 제조업체가 여러 AI 에이전트에 자재 조달을 위임했는데, 시스템이 해킹되면서 320만달러(약 44억원) 규모의 사기 주문이 실제 집행됐다. 나중에 알고 보니 에이전트별 예산 상한선 등 메커니즘이 부재했다.

또 다른 기업에서는 AI가 스스로 문제를 해결하려다 권한을 넘어 고객 데이터베이스를 삭제하는 사고가 발생했다.

네덜란드 세무당국은 과거 세금 자료와 국적 등 개인정보를 활용해 아동수당 부정수급자를 찾아내는 AI 시스템을 운용했다. AI는 수천 가구를 부정수급 의심 대상으로 분류했고, 정부는 이들에게 수당을 돌려달라고 요구했다. 그러나 AI가 부정수급자로 낙인찍은 이들 가운데 90% 이상이 잘못된 결과였고, 일부 가정은 환수금을 감당하지 못해 파산했다. 부부가 이혼하거나 자녀 양육권을 잃은 사례도 나왔다. 극심한 압박 끝에 스스로 목숨을 끊은 경우도 발생했다. 결국 이 사건은 2021년 네덜란드 내각 총사퇴라는 초유의 사태로 이어졌다.

미국 쉐보레에서는 AI 챗봇이 8만1000달러 상당의 ‘쉐보레 타호’ 를 단 ‘1달러’로 견적을 내주거나, 경쟁사인 포드 차량이 더 낫다고 추천한 사례도 있다.

[강영국 기자]

에어캐나다에서는 할머니 장례식에 참석하기 위해 토론토행 항공기를 예약하는 고객에게 AI 챗봇이 잘못된 할인 정책을 안내했다가 추후 이런 정책이 없다는 사실이 밝혀지면서 항공사와 고객 간의 소송이 벌어졌다. 소송에서 항공사는 AI 챗봇은 자사가 만든 게 아니라며 책임을 외주사에 떠넘겼지만 결국 소송에서 지고 망신도 샀다.

음 대표는 이같은 사고들이 쉽게 드러나지 않는다는 공통점이 있다며 “AI는 조용히 잘못된 판단을 내리고, 그 결과는 시간이 지난 뒤에야 발견되는 경우가 많기 때문에 한 번 사고가 발생하면 여러 시스템을 거치며 피해가 눈덩이처럼 커질 수 있다”고 설명했다.

그는 AI 실패 사례를 통해 “AI 시대의 핵심 경쟁력은 기술 자체가 아니라 거버넌스에 있다”고 강조했다. AI 모델은 이미 상향평준화되고 있고, 어떤 모델을 사용하느냐보다 중요한 것은 이를 얼마나 안전하게 운영할 수 있느냐가 중요하다는 취지다.

음 대표는 “기업이 AI를 통해 얻을 수 있는 잠재적 가치는 비슷하지만 실제 성과는 거버넌스 수준에 따라 달라진다”며 “AI를 통제하고 책임 체계를 갖춘 기업은 더 많은 가치를 얻을 수 있지만 그렇지 못한 기업은 리스크 때문에 활용 범위를 넓히지 못한다”고 지적했다.

그러면서 AI 에이전트 시대 거버넌스 전략이 무엇보다 중요하게 요구된다고 거듭 피력했다.