“AI 악용, 개발자에 책임”…캘리포니아 규제법, 실리콘밸리 넘을까

게티이미지뱅크

개빈 뉴섬 캘리포니아 주지사의 결심만 남았다. 인공지능(AI) 혁신의 본산인 미국 캘리포니아 주가 역대급 인공지능 규체책 정식 발효를 위한 9부 능선에 섰다. 기존 규제책이 ‘인공지능 모델을 악용한 자’를 처벌한다면 이 법안은 ‘악용될 모델을 개발한 자’를 제재한다. 일 터진 뒤 사후처벌로 막기엔 잠재적 위험이 너무 크기 때문에 개발자가 미래의 위험을 개발 단계에서부터 없애도록 최선을 다하라는 취지가 담겨 있다. 캘리포니아에 본사를 둔 오픈에이아이(AI)·메타·구글·앤트로픽 등 전세계 인공지능 혁신을 주도하는 기업들이 직접 영향을 받는다. 올해 2월 발의 직후부터 뜨거운 논란 속에 수정을 거듭해 온 이 법안은 지난달 말 민주당이 다수인 주 상·하원을 압도적 찬성으로 통과했다. 같은 당 소속인 뉴섬 주지사는 ‘인공지능 산업 경쟁력을 약화할 수 있다’며 거부권 행사를 시사하고 있다. 법안이 끝내 폐기된다 해도 향후 인공지능 규제 논의에서 중요한 역할을 할 것으로 보인다.

AI 악용되면 개발자가 책임져라

주 법안인 ‘안전하고 신뢰할 수 있는 최첨단 인공지능 모델을 위한 혁신법(SB1047)’이 전세계적 관심을 끈 이유는 ‘캘리포니아’라는 특수성 때문이다. 인공지능 혁신을 주도하는 대부분의 회사들이 캘리포니아 실리콘밸리에 있다. 캘리포니아에 본사를 둔 기업뿐 아니라 캘리포니아에서 사업하는 모든 회사에 적용되지만, 아무래도 캘리포니아 소재 회사들에 더 큰 압박이 될 수밖에 없다.

SB1047의 차별점은 ‘개발자(developer)’에게 인공지능 모델의 개발·배포·파생 등 전 단계에서의 위험을 방지할 책임을 부여한다는 데 있다. 법안은 ‘인공지능 모델 전생애주기 동안 발생할 위험을 관리할 안전 및 보안 프로토콜을 서면으로 마련해 시행하고, 이 프로토콜을 공개’하라고 규정한다. 영업비밀 보호를 위해 프로토콜 사본을 편집해 공개할 순 있지만 주 법무장관은 원본에 접근할 수 있어야 한다.

프로토콜엔 ‘치명적 피해’를 방지하기 위한 합리적인 주의(reasonable care)가 담겨야 한다. 그럼에도 치명적 피해(critical harm)가 발생하면 주 법무장관은 개발자에게 민사소송을 제기하거나 벌금을 부과할 수 있다. 치명적 피해란 최소 5억 달러(6636억원)의 피해를 야기하거나 대규모 사상자를 초래하는 사이버 공격 등을 뜻한다.

개발자에게는 배포한 모델뿐 아니라 배포한 모델에서 파생된 모델이 치명적 피해를 야기하지 않도록 주의해야 할 의무도 부여됐는데, 인공지능 모델이 위험한 행동을 할 경우 이를 강제 종료할 수 있는 ‘풀셧다운 기능’을 의무화한 조항이 대표적이다. ‘킬체인’ 조항으로 불린다.

많은 책임이 부여된만큼 적용 대상 모델의 범위는 좁혔다. 법안은 특정 연산량 이상을 사용해 훈련된 모델이면서 연산 비용이 1억 달러(1327억원)를 초과하는 인공지능 모델(및 그 파생 모델)의 개발자만 법 적용 대상으로 삼았다. ‘1억 달러’는 오픈에이아이(AI)의 지피티(GPT)-4 훈련 비용으로 추정된다.

게티이미지뱅크

‘인공지능의 어머니’는 “반대”…“허구적 위험”

업계는 당연히 반발했다. 대표 주자는 오픈에이아이다. ‘규제는 필요하지만 연방이 나서야 한다’는 논리다. 오픈에이아이는 지난달 21일 법안 발의자인 스콧 위너 주 상원의원에게 보낸 공개 편지에서 “A인공지능이 미국의 경쟁력과 국가안보에 미치는 광범위하고 중대한 영향을 고려할 때 주별로 조각조각 규제를 시행하기보다는 연방 차원에서 규제책을 논의하고 시행해야 한다”고 주장했다.

‘인공지능의 어머니’로 불리는 인공지능 분야 세계적 권위자 페이페이 리 교수도 대표적인 반대론자다. 그는 “개발한 모델이 어떻게 사용될지 원 개발자가 예측하는 건 현재 기술상 불가능하다. 그런데도 인공지능 모델 오용 책임을 해당 모델 원 개발자에게 지운다”며 “이 법안은 개발자들을 방어적으로 만들 것”이라고 우려했다. 프로토콜에 담겨야 할 요소로 법안이 요구한 ‘합리적 주의’가 무엇인지 불명확한 점도 문제라고 지적했다.

인공지능 발전에 필수인 오픈소스 생태계가 붕괴할 수 있다는 우려도 있다. 벤처캐피탈 회사 안드레센 호로위츠의 파트너 안지니 미다는 “대형 모델 개발자들이 자신의 모델을 대중에게 공개하는 것을 주저하게 될 것”이라며 “이런 개방성에 의존하는 스타트업 생태계를 붕괴시킬 것”이라고 말했다. 구글의 딥러닝 연구팀 공동 설립자인 스탠퍼드 대학교 컴퓨터 공학 교수 앤드류 응도 “솔직히 인공지능 개발자로서 어떻게 해야 할지 전혀 모르겠는 조항들이 있다”고 말했다.

반대론자들은 ‘인공지능 기술=잠재적으로 위험’이라는 주장을 인정하지 않는다. 경쟁기업연구소의 수석 연구원인 제임스 브라우겔은 포브스에 “SB1047은 ‘사전 예방 원칙'을 수용한 법안이다. 사전 예방 원칙은 안전하다는 것이 입증될 때까지 잠재적으로 해로울 수 있는 기술을 제재하자는 것”이라고 설명했다.

캘리포니아 대학교 7개 캠퍼스에서 인공지능 연구를 하고 있는 학생과 교수들은 최근 공개편지를 통해 SB1047 법안에 깔린 인공지능 위험론이 허구라고 주장했다. 이들은 “언어 모델 등 첨단 인공지능 모델이 대중에게 위협이 될 수 있는지, 만약 위협이 된다면 어떤 방식으로 가능한지에 대한 과학계의 합의가 없다”며 “언어 모델이 구글 같은 검색 엔진보다 더 악의적인 정보를 제공할 수 있는지 의문이다. 구글 검색을 통해 생화학 무기 정보를 더 쉽게 찾을 수 있다”고 지적했다. 그러면서 “심각한 경제적·지적 피해를 초래할 법안이 이렇게 불확실한 기반 위에 세워졌다는 점이 매우 우려된다”며 “이 법안에 언급된 인공지능 위험은 규제를 정당화할 만큼 실제적이지 않다. 이것이 문제의 핵심”이라고 지적했다. SB1047은 인공지능에 대한 공상 과학적 공포에 기반한 법안이라는 주장이다.

게티이미지뱅크

‘인공지능의 아버지’, “SB1047로 모자라…더 규제해야”

‘업계는 반대, 시민단체는 찬성’이라는 규제책을 둘러싼 일반적 모습과 달리 SB1047은 업계에서도 광범위한 지지를 받고 있다는 점이 특이하다. 대체로 ‘반’오픈에이아이 진영에 속한 업체들이다.

오픈에이아이 출신들이 설립했고, 챗지피티와 경쟁 관계인 챗봇 ‘클로드’를 개발한 앤트로픽은 법안 발의 초기엔 반대했지만, 적극적으로 수정 의견을 낸 뒤 마지막엔 ‘찬성’으로 입장을 바꿨다. 앤트로픽은 “ 안전 및 보안 프로토콜을 채택하고 시행하면 인공지능 오용 위험을 줄일 수 있다. 이 법안은 개발 회사들에게 치명적 위험을 방지할 수 있는 효과적인 프로토콜을 만들도록 한다. 이런 태도를 업계 전반에 장려하고 체계화하는 것은 매우 중요하다”며 “이런 프로토콜을 대중에 공개하도록 한 것은 큰 개선이며 법안에 단점이 거의 없다”고 밝혔다. 일론머스크 테슬라 최고경영자(CEO)도 “이것은 어려운 결정이고 일부 사람들을 화나게 하겠지만, SB1047 법안을 통과시켜야 한다고 생각한다. 공공에 잠재적인 위험이 되는 모든 제품과 기술을 규제하는 것과 마찬가지로 인공지능도 규제가 필요하다”고 말했다.

오픈에이아이 내부고발자들도 공개 편지를 통해 법안을 지지했다. 이들은 “SB1047의 요구 사항은 오픈에이아이 등 인공지능 개발사들이 이미 스스로 지키겠다고 발표한 것들이다. 유일한 차이는 SB1047이 약속 이행을 강제하며, 이행하지 않을 경우 책임을 묻는다는 것이다”라고 지적했다. 그러면서 “오픈에이아이가 ‘연방 차원의 규제엔 찬성한다’고 하는 이유는 연방에 제안된 법안들의 규제 수준이 낮기 때문”이라며 “오픈에이아이는 공포를 조장하고 변명만 하고 있다”고 비판했다.

현재 생성형 인공지능 붐의 기반이 되는 기술을 개발해 ‘인공지능의 아버지’로 불리는 제프리 힌튼과 컴퓨터 과학 분야의 노벨상으로 불리는 튜링상을 수상한 요슈아 벤지오도 해당 법안의 대표적인 지지자다. 이들은 법안 지지 서한에서 “직면한 위험의 규모에 비해 놀라울 정도로 가벼운 규제 법안”이라며 “SB1047이 없는 것보다 낫지만, 우리를 안전하게 지키기에는 충분하지 않다”고 지적했다. 그러면서 “이 시스템을 잘 이해하는 전문가로서 실제 이런 위험이 발생할 가능성이 크고, 안전 프로토콜과 상식적인 예방 조치가 필요할 만큼 충분히 위험이 중대하다고 확신한다. 시장 점유율 경쟁과 이윤 극대화에 갇힌 기술 기업들이 중대한 위험을 스스로 해결하지 못할까 우려된다”며 “법안의 기본 조치를 삭제하는 것은 역사적인 실수가 될 것이다”라고 지적했다. 제프리 힌튼은 지난해 구글을 떠나면서도 공개적으로 인공지능 위험성을 경고했다. 이 서한에는 인공지능 분야 세계적 권위자인 스튜어트 러셀 캘리포니아 버클리 대학 교수 등도 이름을 올렸다.

법안을 발의한 위너 의원은 반대론자들이 법안을 오해하고 있다는 입장이다. 그는 자신의 홈페이지에 올린 글에서 “대형 인공지능 모델만 규제대상이기 때문에 스타트업을 규제한다는 우려는 과장됐다. 개발자들이 져야 할 책임 범위에 대해서도 ‘악의적인 사용자가 기술을 악용하면 개발자가 감옥에 간다’는 식의 잘못된 소문이 많다”며 “기술기업들이 자발적으로 채택한 안전 프로토콜을 법률화 한 것에 불과하다”고 말했다. 뉴섬 주지사의 거부권 행사 시한은 이달 말까지다.

김원철 기자 wonchul@hani.co.kr