초지능AI 등장 땐…인간은 개미같은 존재로 추락할 수도

AI, 신의 탄생 인간의 종말 엘리에저 유드코스키·네이트 소아레스 지음 고영훈 옮김, 상상스퀘어 펴냄, 2만2000원

"지구 어디에서든, 어떤 기업이나 단체가 지금과 비슷한 기술이나 이해 수준으로 초지능(AI)을 만들어낸다면, 지구상의 모든 사람은 죽게 될 것이다. 누군가 그것을 만들면, 모두가 죽는다."

이세돌과 알파고의 대결 이후 10년. 인공지능(AI) 기술은 빠른 속도로 발전했다. AI는 가장 인간적이라 불렸던 영역까지 침투하며 모두의 삶 깊숙이 스며들었다.

그런데 여기 AI 기술은 버블의 씨앗이 아니라 종말의 시작이라 감히 주장하는 책이 나타났다. 신간 'AI, 신의 탄생 인간의 종말'은 단언한다. 이대로라면 언젠가 초지능 AI가 등장할 것이고, 그렇다면 인류는 필연적으로 종말을 향해 갈 것이라고. 저자는 엘리에저 유드코스키와 네이트 소아레스다. 유드코스키는 2023년 타임이 선정한 'AI 분야에서 가장 영향력 있는 인물' 100인 중 한 명이자 인공지능이 인간의 의도, 가치, 윤리적 원칙에 부합하도록 안전하고 신뢰할 수 있게 만드는 기술을 개발하는 AI 정렬 연구를 창립한 선구자다. 소아레스는 구글 출신 AI 엔지니어로 정렬 연구에 10년 넘게 매진해 온 전문가다.

AI 발전의 선봉에 서 있던 두 저자는 진행하던 연구 대부분을 축소하고 AI의 위험을 경고하는 데 모든 것을 걸었다. 핵심 논증은 명쾌하다. 인간이 지구를 지배할 수 있던 이유는 다른 종을 압도하는 지능 덕이었다. 인간보다 압도적인 지능을 가진 존재가 탄생한다면, 이들은 인류를 내버려둘 리 없다는 것. 초지능이 목표를 추구하는 과정에서 인류가 고려 대상조차 되지 않을 것이라는 게 저자들의 주장이다. 건물을 지을 때 개미집을 신경 쓰지 않는 것과 같다는 비유다.

1부에서는 AI가 왜 통제 불가능한 존재로 자라나는지를 설명한다. 인간이 생존을 위해 진화했지만 설탕의 단맛을 좇게 된 것처럼, AI도 훈련 목표와 동떨어진 예측 불가능한 욕망을 학습한다는 것이다. 2부는 가상의 초지능 AI '세이블'이 등장하는 멸종 시나리오를 직접 보여주고, 3부에서는 체르노빌 원자로의 특성을 AI 문제에 대입하며 현재 안전 연구 수준을 과학이 아닌 '연금술'에 비유한다.

저자들의 해법은 급진적이다. 전 세계적으로 대규모 AI 개발을 전면 중단해야 한다고 주장한다.

저자는 1950년대 핵전쟁이 불가피하다고 믿었지만 인류가 이를 막기 위한 시스템을 세운 선례가 있다며, 책 말미에 이렇게 쓴다. "우리는 초지능을 만들지 않기로 선택할 수 있다." 이 경고가 과장인지, 우리가 아직 충분히 두려워하지 않는 것인지는 각자 판단해볼 몫이다.

[구정근 기자]