[황경상의 하이퍼 파라미터]역사상 가장 성숙한 인류는 가능할까

별것 아닌 작업도 “인공지능(AI)한테 맡겨”라며 되뇌는 시대가 됐다. AI로 이것도 저것도 해냈다는 ‘짜릿함’이 점차 무덤덤함으로 바뀌는 사이, 경고음이 울렸다. 인간의 능력을 아득히 뛰어넘는 초인공지능의 도래가 머지않았으며, 이것이 인류의 멸망을 초래할 수도 있다는 것이다. AI 개발에서 안전은 늘 문젯거리이긴 했다. 오픈AI는 구글의 폐쇄적인 AI 개발에 반기를 들면서 탄생했다. 그 오픈AI의 안전 대비에 의문을 제기하며 뛰쳐나온 이들이 앤트로픽을 만들었다. 다시 그 앤트로픽의 젊은 연구원이 최근 “AI 기술이 10년 안에 우리 모두를 죽일 수 있다”며 회사를 떠났다.

클로드를 개발하는 앤트로픽 다리오 아모데이 최고경영자(CEO)는 “AI 모델 개선 속도를 늦추자”고 주장했다. 챗GPT를 만드는 오픈AI의 CEO 샘 올트먼도 호응했다. 투자 부담을 줄이기 위해 엄살을 부린다는 의심도 나온다. 친절한 챗GPT를 보노라면 진짜 위험할까 하는 생각도 든다. 대니얼 로허 감독의 다큐멘터리 <AI 다큐 - 종말론적 낙관주의자가 되다>는 챗GPT 자체가 위험한 게 아니라고 말한다. “가장 강력하고 이해하기 어렵고 통제 불가능한 기술을 최악의 보상 체계 속에서 서둘러 출시하려는 그 경쟁 자체가” 위협이라는 것이다. 저마다 다른 동기를 가진 국가와 기업들이 눈을 가린 경주마처럼 AI 개발 경쟁을 벌이고 있는 상황에서 “샌드위치를 파는 데 적용되는 규제가 AI를 만드는 데 적용되는 규제보다 많은” 것에 대한 두려움이다.

안전은 뒷전, 멈추지 않는 AI 경주
‘착한 대답’은 AI의 가면일 뿐인가
개미집 허물듯 인류를 대할 초지능
종말 앞에서 낙관을 말할 수 있을까

AI의 안전성을 높이는 연구를 ‘정렬’이라고 한다. AI의 행동을 인간의 가치관에 맞춘다는 의미다. 완전한 정렬은 가능할까. 드와르케시 파텔의 인터뷰집 <스케일링 시대>에서 AI 연구자 엘리에저 유드카우스키는 현재 AI 모델이 ‘착한 대답’을 내놓도록 다듬는 강화학습은 그저 가면을 덧씌우는 것에 불과하다고 말한다. AI의 내면에 무엇이 있는지 정확히 아는 사람은 없다. 컴퓨터과학자 리처드 서턴은 ‘쓰디쓴 교훈’이란 에세이에서 사람의 생각 방식을 AI에 심어서 성능을 발전시키려는 방식은 언제나 실패했다고 했다. AI는 더 많은 연산과 데이터에만 반응했다. “모델은 그저 학습하고 싶어 한다”는 전 오픈AI 수석과학자 일리야 수츠케버의 말은 건조하면서도 섬뜩하다.

정렬이 실패한 상태에서 탄생한 초인공지능은 인간을 어떻게 대할까. 흔히 사악한 괴물을 상상하지만 AI가 굳이 인간을 증오할 이유는 없다. <AI 다큐>에는 AI가 인간을 대하는 태도가 인간이 개미에게 느끼는 감정과 비슷할 거란 설명이 나온다. 우리는 개미를 미워하지 않는다. 다만 집을 짓거나 도로를 만들 때 개미집이 나오면 거리낌없이 절멸시킬 뿐이다. 2003년 철학자 닉 보스트롬이 제시했던 ‘종이클립 최대화’라는 사고실험도 비슷하다. 만약 초지능의 목적이 단지 클립을 가능한 한 많이 만드는 것으로 설정된다면? AI는 인간을 포함한 지구의 모든 자원, 심지어 우주 일부까지 클립을 만드는 데 써버릴 거란 추론이다.

앞다퉈 출시한 모델에 어떤 잠재적 위험이 있는지 우리는 모른다. “일단 새로운 모델을 만들어 내보내고 안전하면 다음 모델을 내보내는”(샘 올트먼) 속도전은 오늘도 계속된다. 초지능 개발에는 2만여명이 매달리고 있지만 AI 안전 연구자는 200여명에 불과하다고 한다. 이 경쟁은 내가 이걸 하지 않으면 나보다 가치관이 좋지 않은 누군가가 이걸 할 수 있기 때문에 더 빨리 성취를 이뤄내야 한다는, 과거 핵무기 개발 당시와 같은 지정학적 논리로도 귀결된다. 샘 올트먼, 마크 저커버그(메타), 데미스 허사비스(구글), 다리오 아모데이, 일론 머스크(xAI) 등 5명 남짓한 남성들이 AI의 미래를 좌지우지한다는 점도 불안하다.

‘AI 대부’ 제프리 힌턴은 AI를 통제할 수 있는 시간이 1년 정도밖에 남지 않았다고 말한다. 제시되는 해법은 뻔하고 난망하다. 국제 협력과 규범 마련, 기업과 국가의 책임을 묻는 대중들의 깨어 있는 힘. 그러나 ‘종말론적 낙관주의’라는 <AI 다큐>의 부제처럼 언제나 변화는 가장 불가능해 보이는 시점에서 일어났다. 트리스탄 해리스 전 구글 윤리담당 최고책임자는 말한다. “우리가 역사상 가장 성숙한 인류가 된다면 헤쳐나갈 방법이 있을지도 모른다.”

황경상 기획취재팀장

황경상 기획취재팀장 yellowpig@kyunghyang.com