챗봇이 자살 방조 때 책임은?…AI 속도 못 따라잡는 ‘사회적 룰’

갈수록 커지는 ‘AI 거버넌스’ 요구

10년 전 알파고의 ‘한 수’ 한 시민이 29일 서울 웨스틴 조선호텔에서 열린 ‘구글 포 코리아 2026’에 참석해 2016년 알파고가 뒀던 2국 37수를 재현한 ‘알파고 모먼트’ 장면을 촬영하고 있다. 연합뉴스

AI 도입에 사활 건 국내외 기업들
보안·안전 등 ‘리스크 관리’ 숙제
국가 차원 안전장치 마련도 시급
이 정부는 ‘AI 기본사회’ 개념 제시
“사후 대응식 보호 체계 만들면 늦어
선제적·탄력적으로 대책 강구해야”

“범용인공지능(AGI·인간 수준의 AI) 시대가 5년 내 도래해 산업혁명보다 10배 더 크고 빠른 파급력을 가질 것이다.”

데미스 허사비스 구글 딥마인드 최고경영자(CEO)는 지난 27일 서울에서 열린 과학기술정보통신부와의 양해각서(MOU) 체결식에서 이같이 말했다. 10년 전 이세돌 9단과 세기의 대국을 벌인 인공지능(AI) ‘알파고’를 개발하고 지난해 노벨 화학상까지 수상한 그는 AI가 산업혁명을 훨씬 뛰어넘는 변화를 몰고 올 것이라고 강조해왔다.

기술은 늘 규범보다 빨랐다. 하지만 AI는 그 간극을 유례없는 속도로 벌리고 있다. AI가 일의 효율성을 높이고 있지만, 이를 검증하고 통제할 체계는 기술 발전 속도만큼 빠르게 정비되지 못하고 있다. ‘책임 있는 AI’와 이를 실현하기 위한 거버넌스가 중요해지는 까닭이다.

속도전보다 중요한 것

29일 산업계에 따르면 국내외 기업들은 경쟁적으로 AI 도입에 나서고 있다. 기업들에 AI는 이제 선택이 아니라 생존 전략으로 받아들여진다. 문제는 속도전에 치우친 기술 도입이 윤리적 문제와 책임 공백으로 이어질 수 있다는 점이다.

AI 거버넌스는 이러한 위험을 관리하기 위한 체계다. AI 기술의 개발과 활용 전반에서 안전성·윤리성·공정성을 확보하기 위한 정책, 규정, 절차, 운영 관행 등을 포괄한다. 정부를 포함한 공적 영역만의 문제가 아니라 AI 기술을 활용하는 기업의 문제이기도 하다.

김성준 국민대 겸임교수는 “AI는 이해관계자가 매우 많은 기술이어서 각자의 목적과 기준이 충돌할 수밖에 없다”며 “이를 조율하기 위한 체계가 AI 거버넌스”라고 말했다.

김 교수는 오픈AI의 ‘성인 모드’ 도입 검토를 예로 들었다. “윤리나 ESG(환경·사회·지배구조) 관점에서는 쉽지 않은 결정이지만, 수익이나 이용자 확대를 고려하는 경영진 입장에서는 외면하기 어려운 선택”이라며 “AI를 어디까지 개발하고 어떻게 활용할지에 대한 기준이 명확하지 않으면 혼선이 커진다”고 했다.

경제협력개발기구(OECD)가 2019년 수립하고 2024년 개정한 ‘OECD AI 원칙’은 기업과 국가를 포함한 글로벌 AI 거버넌스 논의에서 토대 역할을 한다. OECD가 제시하는 5가지 일반 원칙은 포용적 성장과 지속 가능한 개발 및 웰빙, 공정성과 프라이버시를 포함한 인권 및 민주적 가치, 투명성 및 설명 가능성, 견고성·보안성 및 안전성, 책임성이다.

미국 정부와 AI 윤리를 둘러싸고 대립하는 앤트로픽의 경우 자사 클로드가 어떻게 판단하고 행동해야 하는지를 규정한 ‘클로드 헌법’과 핵심 안전 정책인 ‘책임 있는 확장 정책(RSP)’을 두고 있다.

국내에서도 AI 개발사 등 정보기술(IT) 기업을 중심으로 AI 거버넌스가 구체화되고 있다.

SK텔레콤은 2024년 AI 거버넌스 원칙 ‘T.H.E AI’를 공개하고 AI 헌장 및 행동규범을 수립했다. 지난해에는 AI 서비스의 위험을 평가·관리하기 위한 사내 시스템인 ‘AI 거버넌스 포털’을 구축했다. SK텔레콤 관계자는 “통제를 벗어난 자율적 작동을 차단하기 위한 중단 조치 방안과 책임 체계가 마련됐는가 등 AI의 오류·환각 위험을 관리하기 위한 진단 항목들이 포함돼 있다”고 설명했다.

카카오도 AI 개발과 운영 과정에서의 위험을 사전에 식별·관리하는 체계인 ‘카카오 AI 세이프티 이니셔티브’를 운영하고 있다. 카카오 관계자는 “거시적 차원의 AI 리스크 대응은 정부 또는 국제사회에서 규제·표준 수립을 통해 이뤄지고 있지만, 현장의 속도를 따라가지 못하고 있다”며 기업이 스스로 내부 통제와 책임 체계를 정비하는 것이 필요하다고 봤다.

내부 구성원이 AI를 업무에 어떻게 활용하고, 책임지는가 하는 문제도 기업들의 주요 과제로 떠올랐다. 기업들은 AI가 생성한 결과물을 업무에 활용하기 전 사실관계와 인용자료의 오류, 출처 등을 사용자가 직접 검수하도록 하는 가이드라인을 마련했거나 추진하고 있다.

국내외 법조계에서 AI가 만들어낸 ‘가짜 판례’를 그대로 인용하는 사례가 속출하면서 대응책 마련에 나선 것도 같은 맥락이다.

김 교수는 “AI가 의사결정을 보조하더라도 최종 판단은 인간이 내려야 한다는 ‘휴먼 인 더 루프’(Human in the loop) 원칙이 중요하다”고 말했다. 그는 AI 거버넌스가 문서에 그치지 않고 실제로 작동하려면 “구성원과 경영진이 그 기준에 맞춰 실제로 일하고 의사결정을 내리는 것이 중요하다”고 했다.

새로운 ‘사회 설계’로

AI가 기존 제도와 규범만으로는 감당하기 어려운 변화를 일으키면서 각국도 새로운 체계 마련에 나서고 있다. 한국은 올해 1월 ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법’(AI 기본법)을 시행하며 국가 차원의 거버넌스 확립을 추진 중이다. 이재명 정부는 모두가 AI의 혜택을 누리는 ‘AI 기본사회’라는 개념도 제시했다. 다만 산업 육성에 치우쳤다는 평가와 함께 안전·인권 보호 장치가 촘촘히 마련돼야 한다는 지적이 나온다.

박성필 카이스트 문술미래전략대학원장은 ‘예견적 거버넌스’와 ‘미래 세대의 기본권’을 중심으로 한 정책 설계가 중요하다고 봤다. 예견적 거버넌스는 기존의 사후 대응식 거버넌스에서 벗어나 미래를 내다보고 선제적·탄력적으로 대비하는 체계를 말한다. 박 원장은 “AI 기술 발전 속도가 너무 빠른 만큼 어떤 일들이 일어나는지 충분히 지켜본 뒤 대응하는 방식으로는 늦다”고 말했다. 그는 정부뿐 아니라 기업, 시민 등 다양한 이해당사자가 참여해 숙의를 하면서도 속도를 높이는 게 중요하다고 짚었다.

박 원장은 “AI 거버넌스는 우리가 일을 하고 소득을 얻으며 살아가는 사회의 틀을 정하는 문제”라며 “지금 룰을 제대로 만들어놓지 않으면 후대에게 큰 영향을 미칠 수 있다”고 했다. 환경이나 자원처럼 AI로 형성되는 사회 구조 역시 미래 세대에게 물려줄 유산이라는 의미다.

자율주행차 사고처럼 AI가 개입된 상황에서 ‘누가 법적 책임을 져야 하는가’는 점차 현실의 문제가 되고 있다. 미국과 유럽에서는 AI 챗봇이 자살을 방조했다며 책임을 묻는 소송도 제기되고 있다.

노도현·최민지·김유진 기자 hyunee@kyunghyang.com