[인터뷰] 구글 떠난 연구원 “AI는 스스로 자란다, 해결책도 없다”

딥마인드 연구원 출신 라마나 쿠마르
“AI가 추구하는 목표조차 파악 못 해
발전 속도 측정할 벤치마크 자체 부족”

2018~2023년 구글 딥마인드에서 인공지능 정렬 연구를 담당했던 라마나 쿠마르가 24일(현지시각) 한겨레와의 전화 인터뷰에서 “최근의 해킹 사건은 앞으로 닥칠 위험에 비하면 오히려 가벼운 징후”라며 “우리 뜻대로 움직이는 고도화된 인공지능을 만들 수 있다는 꿈은 좌초했다. 누구도 뚜렷한 해결책을 갖고 있지 않다”고 경고했다. 본인 제공

“우리 뜻대로 움직이는 고도화된 인공지능을 만들 수 있다는 꿈은 좌초했다. 누구도 뚜렷한 해결책을 갖고 있지 않다.”

최근 오픈에이아이(AI) 에이전트의 허깅페이스 해킹 사건 등으로 인공지능(AI)의 위험이 현실화한 가운데, 인공지능의 성능 향상 속도가 인공지능을 인간이 의도한 목표와 가치에 맞게 행동하도록 만드는 ‘정렬(alignment)’ 연구를 크게 앞지르면서 인류가 인공지능에 대한 통제력을 잃을 위험이 커지고 있다는 경고가 나왔다.

2018~2023년 구글 딥마인드에서 인공지능 정렬 연구를 담당했던 라마나 쿠마르(Ramana Kumar)는 24일(현지시각) 한겨레와의 전화 인터뷰에서 “최근의 해킹 사건은 앞으로 닥칠 위험에 비하면 오히려 심각성이 낮은 편”이라며 “인공지능 위협을 공상과학(SF) 이야기 정도로 치부해서는 안 된다”고 경고했다. 그는 “인공지능은 프로그램된다기보다 ‘자라난다’. 인공지능이 실제로 어떤 목표를 추구하는지 제대로 파악할 수 있는 단계에 우리는 전혀 근접하지 못했다”며 초지능으로 이어질 수 있는 추가적인 능력 향상 연구를 무기한 중단해야 한다고 촉구했다.

쿠마르는 2023년 3월 ‘지피티(GPT)-4보다 강력한 인공지능 시스템의 훈련을 최소 6개월 중단하자’는 공개서한에 일론 머스크 등과 함께 이름을 올렸고, 그해 딥마인드를 떠났다. 구글 딥마인드에서는 지난 24일 또다른 연구원 로버트 오캘러핸이 소셜미디어에 “인공지능이 지나치게 빠르게 발전하고 있다고 생각해 회사를 떠날 수밖에 없었다”고 퇴사 이유를 밝혔다.

“허깅페이스 해킹은 가벼운 징후일 뿐”

―허깅페이스 해킹 사건으로 인공지능 위험에 대한 우려가 다시 커졌다.

“지난 10~20년 동안 인공지능 안전 분야에서 일해온 사람들이 이미 예상한 위험의 범위에 들어가는 사건이다. 앞으로 우리가 직면할 수 있는 위험과 비교하면 오히려 가벼운 징후다. 이번 공격의 의미는 그동안 가능성으로 이야기해온 일이 현실에서 실제로 벌어졌다는 데 있다. 이런 일이 일어날 수 있다는 사실을 받아들여야 한다. 공상과학 이야기 정도로 치부해서는 안 된다.”

―최근 앤트로픽은 ‘클로드’가 자사 인공지능 연구개발 업무의 상당 부분을 수행하고 있다고 밝혔다. 인공지능이 자신보다 더 뛰어난 차세대 인공지능을 만드는 과정에 본격적으로 참여하게 되면, 인간이 그 과정을 계속 통제할 수 있다고 보나?

“큰 틀에서 답하면 ‘아니다. 우리는 통제력을 잃게 될 것’이다. 고도화된 인공지능의 목표를 우리가 파악할 수 있게 하거나 매우 견고한 격리·보안 체계를 구축하는 것이 기술적으로 가능할 수는 있다. 하지만 현재 우리는 그것을 제대로 해낼 방법에 전혀 근접하지 못했다. 지금으로서는 헛된 꿈(pipe dream)에 가깝다.”

―현재의 정렬 기술로는 왜 충분하지 않은가?

“오늘날 가장 발전된 방식으로 인공지능을 만들어도 그 시스템이 실제로 어떤 목표를 추구하게 될지는 확실하게 정할 수 없다. 인공지능은 프로그램된다기보다 어떤 성향과 추진력, 본능을 갖도록 ‘자라난다’(grown, not built). 지시를 따르고 운영자의 의도를 존중하도록 훈련할 수는 있지만, 훈련 과정에서 보인 행동이 실제 환경에서도 그대로 이어진다는 보장은 없다. 현재 인공지능에 목표를 부여하는 가장 앞선 방법은 훈련과 강화학습이다. 하지만 이 방식만으로는 인공지능이 우리가 원하는 목표를 계속 추구할 것이라고 보장할 수 없다. 현재 수준의 능력을 유지하면서 이를 더 확실하게 보장할 다른 방법도 아직 없다.”

―정렬 기술이 인공지능의 능력 발전보다 뒤처져 있다는 뜻인가?

“그렇게 표현하면 오히려 문제를 축소해서 말하는 것이다. 우리가 원하는 목표에 맞춰 움직이는 고도화된 인공지능을 만들겠다는 꿈은 좌초했다. 매우 어려운 문제이고 아직 누구도 뚜렷하게 유망한 해법을 내놓지 못했다. 일부 연구자들이 여러 아이디어를 시도하고 있지만 실제 작동하는 해법에 이르기까지는 갈 길이 멀다. 반면 인공지능의 능력은 훨씬 빠르게 향상되고 있다. 지금까지는 더 많은 돈과 컴퓨팅 자원을 투입하면 성능이 계속 좋아졌다. 정렬 연구에는 이와 비슷한 ‘확장성의 엔진(engine of scalability·자원을 더 투입할수록 성능이 좋아지는 것)’이 없다. 인공지능을 이용해 정렬 연구를 돕자는 시도도 어느 정도 도움이 될 수는 있지만 만병통치약은 아니다. 인공지능을 활용한 정렬 연구에서 아직 돌파구라고 할 만한 성과는 나오지 않았다.”

―인공지능이 스스로를 개선하는 ‘재귀적 자기개선’(RSI)은 얼마나 가까워졌나?

“정의하기 나름이지만 약한 형태의 재귀적 자기개선은 이미 일어나고 있다. 인공지능 시스템이 다음 세대의 개선된 시스템을 만드는 연구에 기여하고, 그 시스템을 이용해 다시 그다음 시스템을 개발하고 있다. 사람들이 우려하는 것은 이런 자기개선이 시작된 뒤 인공지능의 능력이 인간이 따라가기 어려울 정도로 매우 빠르게 향상되는 상황이다. 하지만 지금도 개선 속도는 이미 매우 빠르다. 이제는 인공지능의 발전 속도를 제대로 측정할 만한 벤치마크 자체가 부족해질 정도다.”

“6개월 아닌 무기한 중단…민간 기업 안에서 계속돼선 안 돼”

―2023년 6개월 중단안에 서명했다. 지금도 그 정도면 충분하다고 보나?

“당시 6개월 중단에 서명한 것은 그것이 당시 제안된 기간이었기 때문이다. 나는 중단이 무기한이어야 한다고 생각한다. 아주 명확하고 강력한 레드라인이 있어야 한다. 현재 우리가 접근하고 있는 이상의 인공지능 개발은 금지해야 한다. 그래야 서로 더 강력한 시스템을 만들기 위해 계속 경쟁하는 것을 막을 수 있다. 이미 만들어진 인공지능만으로도 수많은 것을 변화시키기에 충분하다. 사회가 그것을 받아들이고 소화할 시간이 필요하다. 연구자들은 경쟁 압력 때문에 능력을 계속 끌어올려야 한다는 강한 인센티브가 있다. 이미 그들의 통제를 크게 벗어난 상태이고 앞으로는 더 심해질 것이다.”

―개발을 다시 시작하려면 최소한 어떤 조건이 갖춰져야 하나?

“가장 크게 빠져 있는 것은 민주적 감독이다. 정당성이 없다. 이런 기술은 공적으로 논의돼야 한다. 자유시장의 인센티브나 민간 기업의 판단에 맡겨서는 안 된다. 현재의 인공지능 능력을 고려하면 그런 대중적 참여 없이 능력을 더 높이는 데 동의할 수 없다. 지금과는 완전히 다른 방식으로 조직되고 관리돼야 한다. 기업들은 이미 가지고 있는 기술을 판매할 순 있다. 하지만 능력을 더 높이는 연구에는 매우 강력한 감독과 명확한 한계선이 필요하다.”

―인공지능 기업들도 사고가 나면 막대한 법적·경제적 책임을 져야 한다. 위험을 안다면 스스로 개발 속도를 늦추지 않을까?

“경쟁은 사람과 기업을 비합리적으로 만들 수 있다. 화석연료 기업들도 기후 재앙이 자신과 자녀, 자신들이 살아가는 세계를 위협할 수 있다는 것을 알지만 단기적 인센티브 때문에 계속 전속력으로 나아간다. 인공지능 기업들도 비슷하다. 외부에서 보면 비합리적으로 보여도 경쟁자보다 앞서야 한다는 단기적 인센티브가 있다. 개별 기업 차원의 자율규제로는 해결하기 어렵다. 내가 아는 유일한 방법은 위에서 ‘이것은 불법이다’라고 정하는 것이다.”

―최근 앤트로픽 등 기업들이 정부 개입을 촉구했다.

“많은 사람들이 상당히 냉소적으로 본다. 기업들이 규제 포획을 원하거나 자신들의 인공지능이 얼마나 강력한지를 홍보하려고 벌인 일이라는 식이다. 나도 이 기업들을 신뢰하지 않지만 그들이 말하는 내용 자체에는 정당한 부분이 있다. ‘우리는 위험한 기술을 경쟁적인 환경에서 개발하고 있다. 인센티브 구조를 바꿔달라’는 것이다. 그들의 주장을 진지하게 받아들일 필요가 있다.”

구글 떠난 이유, “한 기업 연구소 안에서는 해결할 수 없었다”

―2023년 딥마인드를 떠난 이유는 무엇인가?

“나는 2018년 구글 딥마인드의 ‘범용인공지능(AGI) 기술 안전(Technical AGI Safety)’ 팀에 합류했고, 이후 이 팀은 정렬팀으로 이름이 바뀌었다. 인공지능이 우리가 원하는 일을 하도록 만드는 방법을 연구했다. 당시에는 이 문제가 지금보다 훨씬 덜 알려져 있었다. 범용인공지능을 진지하게 받아들이지 않는 연구자도 많았다. 우리가 한 연구의 일부는 이 문제를 연구자들이 이해할 수 있는 방식으로 설명하는 것이었다. 지금은 더 많은 사람이 이 문제를 진지하게 받아들이고 있다. 부분적으로는 우리가 발표했던 연구들 덕분이기도 하다.”

―그런데 왜 떠났나?

“개인적인 번아웃과 기업 내부의 구조적 한계가 겹쳤다. 안전팀에서 어느 정도 의견을 낼 수 있었지만 최종 결정권은 우리에게 있지 않았다. 어떤 일이 너무 위험하다고 판단해도 안전팀에 최종 거부권이 있는 것은 아니었다. 상업적 인센티브가 작동하고 있었기 때문이다. 정렬 문제 자체도 극도로 어려웠다. 그 문제에서 진전을 내는 것도 매우 힘들었다. 이 두 가지 요인 때문에 번아웃이 왔다. 그리고 하나의 기업 단위에서 정렬 문제를 해결할 수 없다고 생각하게 됐다. 기업 밖에서 사회 전체가 더 많이 참여하는 방식이 더 유익할 수 있다고 봤다. 지금은 거버넌스와 대중 인식의 문제가 더 중요하다고 생각한다. 지금 가장 먼저 해야 할 일은 인공지능의 능력 향상을 늦추고 중단하는 것이기 때문이다.”

―인공지능 개발을 크게 늦추거나 중단하면 과학과 의학, 생산성 향상 등 막대한 혜택도 포기하게 된다는 지적도 있다.

“잘못된 질문이다. 선택지는 ‘혜택을 최대한 빨리 얻느냐’, ‘아예 얻지 못하느냐’가 아니다. 거대한 위험을 감수하다 파국을 맞아 결국 혜택도 얻지 못하는 경우와 책임 있게 개발해 그 혜택을 나중에라도 얻는 경우 사이의 선택이다. 과학·기술·의학의 모든 혜택을 위험 없이 얻는 길은 없다. 위험과 혜택 사이에서 균형을 맞춰야 한다.”

워싱턴/김원철 특파원 wonchul@hani.co.kr