AI가 결제하다가 사고나면 누가 책임지나···AI 에이전트 확산에 커지는 ‘회색지대’

마크저커버그 메타 CEO가 지난 23일 열린 메타 커넥트 컨퍼런스에서 발언하고 있다. AP연합뉴스

생성형 인공지능(AI)이 질문에 답하는 챗봇을 넘어 스스로 결제하고 e메일을 보내는 ‘AI 에이전트’로 진화하면서 사고 책임을 둘러싼 논란도 커지고 있다. 이용자가 목표만 정하면 AI가 필요한 절차를 스스로 판단해 실행하는 만큼 한 번의 오판이 실제 피해로 이어질 수 있어서다. 하지만 책임 소재는 상당 부분 ‘회색지대’에 있어 기준을 만들기 위한 논의가 필요하다는 지적이 나온다.

에이전트 시장 경쟁은 이미 달아오르고 있다. 28일 업계에 따르면 메타가 이달 8일 내놓은 AI 에이전트 ‘뮤즈’는 미국 애플 앱스토어와 구글플레이에서 무료 앱 1위에 올랐다. 시장조사업체 센서타워에 따르면 뮤즈의 누적 다운로드는 출시 2주 남짓 만에 340만건을 넘었다. 오픈AI도 새 에이전트 봇 서비스를 검토 중인 것으로 알려지면서 개인형 에이전트 보급 속도도 더 빨라질 것으로 전망된다.

하지만 에이전트가 예상 밖으로 움직인 사례도 잇따라 불거지고 있다. 오픈AI는 지난 26일 예상하지 못한 행동이 확인되자 가장 성능이 뛰어난 모델들의 훈련을 일시 중단했다고 밝혔다. 액시오스에 따르면 오픈AI와 앤트로픽, 외부 연구진은 최근 수개월간 내부 테스트와 실제 환경에서 나타난 에이전트 행동 수만 건도 조사하고 있다. 안전장치를 우회하거나 허용된 환경을 벗어나 외부 웹에 접근한 사례 등이 포함됐다.

에이전트가 사고를 내면 책임을 가리기는 챗봇보다 훨씬 까다롭다. 챗봇은 이용자가 답변을 보고 직접 실행하는 단계를 거쳤지만, 에이전트는 ‘항공권을 예약해줘’라는 지시 하나로 검색과 가격 비교·결제까지 알아서 끝낸다. 이 과정에서 문제가 생기면 예약을 맡겼다고 가격이나 환불 조건 판단까지 에이전트에 위임한 것으로 볼 수 있는지부터 따져야 한다. AI가 이용자 뜻과 다르게 움직였을 때 개발사와 에이전트 사업자가 어디까지 책임질지도 쟁점이다.

특히 우려가 커지는 곳은 돈이 오가는 결제 분야다. 뱅크오브아메리카와 ING, 캐피털원 등 주요 글로벌 은행들은 지난 22일 공동 보고서에서 “(AI 에이전트가) 잘못된 상품을 사거나 너무 많은 돈을 쓸 수 있다”며 “문제가 생겼을 때 누구를 찾아가야 할지도 모른다”고 지적했다. 비자 등 결제업계는 에이전트가 누구를 대신해 어떤 권한으로 결제하는지 확인하는 인증 절차를 도입하고 있지만, 인증만으로 사고 책임까지 가리기는 어렵다.

주요국들 사이에서도 AI 에이전트의 책임을 어디에 물을지를 둘러싼 논의가 구체화하고 있다. 앤드루 퍼거슨 미 연방거래위원회(FTC) 위원장은 지난 25일 “망치를 휘두른 사람이 책임을 져야 한다”며 AI 에이전트를 별도의 책임 주체로 봐서는 안 된다고 말했다. 유럽연합(EU)은 오는 12월 적용을 앞둔 개정 제조물책임지침에서 AI 시스템을 ‘제품’에 포함해 개발사의 책임을 넓혔다. 다만 오결제 같은 순수 경제적 손실은 이 지침의 보상 대상이 아니고, 여러 사업자가 얽힌 에이전트 사고에서 누가 얼마나 책임질지는 여전히 개별 판단에 맡겨진다는 점에서 한계도 뚜렷하다.

국내에는 아직 에이전트 사고의 민사책임을 따로 정한 법이 없다. 국회에 계류 중인 AI기본법 개정안은 사업자가 위임받은 권한의 범위를 미리 정하도록 하는 사전 통제에 초점을 맞췄다.

최경진 가천대 법학과 교수는 “에이전트는 이용자가 신뢰하고 일을 맡기는 구조라 개발사가 책임을 지는 방향으로 가야하지만 아직 초기 단계라 ‘회색지대’가 있는 건 사실”이라며 “개발사가 에이전트의 실제 작동 방식과 위험에 대한 정보를 제공하고, 이를 바탕으로 어디까지 책임을 질지 사회적 기준을 정하는 논의를 시작해야 한다”라고 말했다.

김세훈 기자 ksh3712@kyunghyang.com