산업혁명 뛰어넘는 AI, ‘일하고 사는 틀을 바꾸는 문제’라는데···AI 거버넌스 어디까지

신진서 9단(오른쪽)이 29일 서울 중구 웨스틴조선호텔에서 열린 ‘알파고 10년 : 위대한 동행’ 행사에서 데미스 허사비스 구글 딥마인드 CEO와 기념촬영을 하고 있다. 한국기원 제공

“범용인공지능(AGI·인간 수준의 AI) 시대가 5년 내 도래해 산업혁명보다 10배 더 크고 빠른 파급력을 가질 것이다.”

데미스 허사비스 구글 딥마인드 최고경영자(CEO)는 지난 27일 서울에서 열린 과학기술정보통신부와의 양해각서(MOU) 체결식에서 이같이 말했다. 10년 전 이세돌 9단과 세기의 대국을 벌인 인공지능(AI) ‘알파고’를 개발하고 지난해 노벨화학상까지 수상한 그는 AI가 산업혁명을 훨씬 뛰어넘는 변화를 몰고 올 것이라고 강조해 왔다.

기술은 늘 규범보다 빨랐다. 하지만 AI는 그 간극을 유례없는 속도로 벌리고 있다. AI가 일의 효율성을 높이고 있지만, 이를 검증하고 통제할 체계는 기술 발전 속도만큼 빠르게 정비되지 못하고 있다. 안전성과 신뢰를 핵심 가치로 한 ‘책임 있는 AI’와 이를 실현하기 위한 거버넌스가 중요해지는 까닭이다.

■속도전보다 중요한 것

29일 산업계에 따르면 국내외 기업들은 경쟁적으로 AI 도입에 나서고 있다. 기업들에게 AI는 이제 선택이 아니라 생존 전략으로 받아들여진다. 문제는 속도전에 치우친 기술 도입이 윤리적 문제와 책임 공백으로 이어질 수 있다는 점이다.

AI 거버넌스는 이러한 위험을 관리하기 위한 체계다. AI 기술의 개발과 활용 전반에서 안전성·윤리성·공정성을 확보하기 위한 정책, 규정, 절차, 운영 관행 등을 포괄한다. 정부를 포함한 공적영역만의 문제가 아니라 인공지능 기술을 활용하는 기업의 문제이기도 하다.

인적자원과 조직문화를 연구하는 김성준 국민대 겸임교수는 “AI는 이해관계자가 매우 많은 기술이어서 각자의 목적과 기준이 충돌할 수밖에 없다”며 “이를 조율하기 위한 체계가 AI 거버넌스”라고 말했다.

김 교수는 오픈AI의 ‘성인 모드’ 도입 검토를 예로 들었다. 김 교수는 “윤리나 ESG(환경·사회·지배구조) 관점에서는 쉽지 않은 결정이지만, 수익이나 이용자 확대를 고려하는 경영진 입장에서는 외면하기 어려운 선택”이라며 “AI를 어디까지 개발하고 어떻게 활용할지에 대한 기준이 명확하지 않으면 혼선이 커진다”고 말했다.

경제협력개발기구(OECD)가 2019년 수립하고 2024년 개정한 ‘OECD AI 원칙’은 기업과 국가를 포함한 글로벌 AI 거버넌스 논의에서 토대 역할을 한다. OECD가 제시하는 5가지 일반 원칙은 포용적 성장, 지속가능한 개발 및 웰빙, 공정성과 프라이버시를 포함한 인권 및 민주적 가치, 투명성 및 설명 가능성, 견고성·보안성 및 안전성, 책임성이다.

미국 정부와 AI 윤리를 둘러싸고 대립하는 앤트로픽의 경우 자사 AI 모델 클로드가 어떻게 판단하고 행동해야 하는지를 규정한 ‘클로드 헌법’과 핵심 안전 정책인 ‘책임 있는 확장 정책(RSP)’을 두고 있다.

국내에서도 AI 개발사 등 정보기술(IT) 기업을 중심으로 AI 거버넌스가 구체화되고 있다.

SK텔레콤은 2024년 AI 거버넌스 원칙 ‘T.H.E AI’를 공개하고 AI 헌장 및 행동규범을 수립했다. 지난해에는 AI 서비스의 위험을 평가·관리하기 위한 사내 시스템인 ‘AI 거버넌스 포털’을 구축했다. SK텔레콤 관계자는 “통제를 벗어난 자율적 작동을 차단하기 위한 중단 조치 방안과 책임 체계가 마련됐는가 등 AI의 오류·환각 위험을 관리하기 위한 진단 항목들이 포함돼 있다”고 설명했다.

카카오도 AI 개발과 운영 과정에서의 위험을 사전에 식별·관리하는 체계인 ‘카카오 AI 세이프티 이니셔티브’를 운영하고 있다. 카카오 관계자는 “거시적 차원의 AI 리스크 대응은 정부 또는 국제사회에서 규제·표준 수립을 통해 이뤄지고 있지만, 현장의 속도를 따라가지 못하고 있다”며 기업이 스스로 내부 통제와 책임 체계를 정비하는 것이 필요하다고 봤다.

내부 구성원이 AI를 업무에 어떻게 활용하고, 그 결과에 책임지는가 하는 문제도 기업들의 주요 과제로 떠올랐다. 기업들은 AI가 생성한 결과물을 업무에 활용하기 전 사실관계와 인용자료의 오류, 출처 등을 사용자가 직접 검수하도록 하는 가이드라인을 마련했거나 도입을 추진하고 있다.

최근 아마존의 사례는 ‘AI를 사용하되 100% 신뢰하진 말라’는 경고를 보여준다. 파이낸셜타임스에 따르면 최근 아마존은 자사 쇼핑 사이트가 6시간 동안 오류를 일으키는 등 잇따라 대형 장애가 발생하자 원인 중 하나로 ‘생성형 AI을 활용한 변경’을 지목했다. 이후 주니어·중급 엔지니어가 AI로 생성한 코드를 배포하기 전 반드시 시니어 엔지니어의 승인을 거치도록 했다.

국내외 법조계에서 AI가 만들어낸 ‘가짜 판례’를 그대로 인용하는 사례가 속출하면서 대응책 마련에 나선 것도 같은 맥락이다.

김 교수는 “AI가 의사결정을 보조하더라도 최종 판단은 인간이 내려야 한다는 ‘휴먼 인더 루프’(Human in the loop) 원칙이 중요하다”고 말했다. 그는 AI 거버넌스가 문서에 그치지 않고 실제로 작동하려면 “구성원과 경영진이 그 기준에 맞춰 실제로 일하고 의사결정을 내리는 것이 중요하다”고 했다. 이어 “한 번 제정됐다고 끝나는 게 아니라 딜레마 상황에서 어떻게 할지 계속 논의하는 과정이 필요하다”고 강조했다.

대다수 기업들은 아직 AI 거버넌스보다는 AI 기술 도입 자체에 무게를 두고 있는 것으로 보인다. 한 제조기업 직원은 “보안 등급을 나누듯이 직무 포지션과 업무에 따라 활용할 수 있는 AI 도구와 업무 영역 정도를 안내할 뿐 조직의 전반적인 원칙은 없는 상황”이라고 말했다.

향후 제조 현장에 로봇으로 대표되는 ‘피지컬 AI’가 도입되면서 이를 둘러싼 노사 갈등이 본격화할 것으로 전문가들은 전망한다. 현대자동차 노조가 노사 합의 없이는 휴머노이드 로봇 ‘아틀라스’ 도입을 받아들일 수 없다며 반발한 사례가 대표적이다. 이는 AI 거버넌스가 단순한 기업 차원의 문제를 넘어 노동과 산업 구조 전반을 아우르는 사회적 설계 문제로 확장되고 있음을 보여준다.

■새로운 ‘사회 설계’로

AI가 기존 제도와 규범만으로는 감당하기 어려운 변화를 일으키면서 각국도 새로운 체계 마련에 나서고 있다. 한국은 올해 1월 ‘인공지능 발전과 신뢰기반조성 등에 관한 기본법’(AI 기본법)을 시행하며 국가 차원의 거버넌스 확립을 추진 중이다. 이재명 정부는 모두가 AI의 혜택을 누리는 ‘AI 기본사회’라는 개념도 제시했다. 다만 정부 정책이 산업 육성에 치우쳤다는 평가와 함께 안전·인권 보호 장치가 보다 촘촘히 마련돼야 한다는 지적이 나온다.

박성필 카이스트 문술미래전략대학원장은 ‘예견적 거버넌스’와 ‘미래 세대의 기본권’을 중심으로 한 정책 설계가 중요하다고 봤다. 예견적 거버넌스는 기존의 사후 대응식 거버넌스에서 벗어나 미래를 내다보고 선제적·탄력적으로 대비하는 체계를 말한다. 박 원장은 “AI 기술 발전 속도가 너무 빠른 만큼 어떤 일들이 일어나는지 충분히 지켜본 뒤 대응하는 방식으로는 늦다”고 말했다. 그는 정부뿐 아니라 기업, 시민 등 다양한 이해당사자가 참여해 숙의를 하면서도 속도를 높이는 게 중요하다고 짚었다.

박 원장은 “AI 거버넌스는 우리가 일을 하고 소득을 얻으며 살아가는 사회의 틀을 정하는 문제”라며 “지금 룰을 제대로 만들어놓지 않으면 후대에 큰 영향을 미칠 수 있다”고 했다. 환경이나 자원처럼 AI로 형성되는 사회 구조 역시 미래 세대에 물려줄 유산이라는 의미다.

자율주행차 사고처럼 AI가 개입된 상황에서 ‘누가 법적 책임을 져야 하는가’는 점차 현실의 문제가 되고 있다. 미국과 유럽에서는 AI 챗봇이 자살을 방조했다며 책임을 묻는 소송도 제기되고 있다. 박 원장은 “AI에 대한 책임 규범은 아직 구체적으로 마련되지 않은 상태”라며 “기존의 인간 중심 책임 체계를 AI에 맞게 재설계할 수밖에 없다”고 말했다.

노도현 기자 hyunee@kyunghyang.com, 최민지 기자 ming@kyunghyang.com, 김유진 기자 yjkim@kyunghyang.com