비인간 지능의 위협… 우리의 생존 전략은?

AI 혁명으로 새 정보 네트워크 등장
진실·질서 유지 두 축에 막대한 영향
정보 많아질 수록 위험 요소도 증가
왜곡 땐 통제력 상실 등 직면 불가피
“정보의 무오류성 환상서 벗어나야”

넥서스/ 유발 하라리/ 김명주 옮김/ 김영사/ 2만7800원

2016∼2017년 미얀마에서 로힝야족에 대한 민족청소로 비무장 민간인 7000∼2만5000명이 숨졌다. 로힝야족을 향한 극심한 증오를 조장한 선전들은 대부분 페이스북을 통해 퍼졌다. 미얀마인들의 페이스북에는 로힝야족 이슬람 조직의 잔악행위, 테러 계획에 대한 ‘가짜뉴스’가 넘쳤다.

역사학자 유발 하라리는 “반로힝야족 메시지들은 인간 극단주의자들이 만들었지만 어떤 게시글을 추천할지 결정한 것은 페이스북 알고리즘이었다”며 “알고리즘은 자비심에 관한 법문이나 요리 교실을 추천할 수도 있었지만 증오로 가득한 음모론을 퍼뜨리기로 결정했다”고 전한다.

유발 하라리의 신간 ‘넥서스’는 인류가 성공한 비결을 이야기와 관료제에 기반한 정보 네트워크로 분석하면서 인공지능(AI)의 발전으로 완전히 새로운 네트워크가 나타나 인류에게 위협이 되고 있다고 경고한다. 세계일보 자료사진

알고리즘이 분노를 추천한 이유는 페이스북이 ‘사용자 참여 늘리기’를 최우선 목표로 부여했기 때문이다. 수백만 명을 지켜본 알고리즘은 분노가 참여도를 높인다고 학습하고 목표 달성에 나섰다. 하라리는 “이 사건은 비인간 지능이 내린 결정 때문에 일어난 사상 최초의 민족청소”라고 규정했다.

하라리의 신간 ‘넥서스’는 이처럼 인공지능(AI)이 정보 네트워크의 한 축이 됐을 때 닥쳐올 위험을 경고한다. 그는 로힝야족 사례에서 보듯 인류가 미래에 대한 통제력을 잃을 위험에 놓여 있다고 진단한다. AI 혁명으로 새로운 정보 네트워크가 등장했기 때문이다.

하라리가 AI의 위험을 경고하는 이유를 알려면 정보에 대한 그의 통찰부터 이해해야 한다. 그는 정보를 “별개의 것들을 하나로 묶어서 새로운 현실을 만들어내는 것”, 즉 연결로 본다. 선전 방송은 유권자를 정치적으로 연결하고, 군가는 병사들을 군사 대형으로 묶는다. 사실·진실의 재현과는 다르다. 일례로 성경에는 오류가 많지만, 수십억 명의 인간을 종교 네트워크로 묶었기에 역사상 가장 영향력 있는 텍스트가 됐다.

하라리는 호모 사피엔스가 정보를 활용해 많은 개인을 연결하는 일에 탁월한 재능이 있었기에 세계를 정복했다고 본다. 정보가 정확한 현실을 반영해서가 아니라는 것. 사피엔스 무리 사이 협력이 가능해진 것은 허구적 이야기를 믿고 나서부터였다. 가톨릭 교회는 14억명의 신도, 중국은 14억 인구의 협력을 가능하게 하고, 세계 무역망은 80억명을 연결한다. 이는 성경, 민족, 공산주의, 화폐, 기업이라는 정보, 즉 이야기가 있었기에 가능했다. “예수는 소규모 추종자를 모은 전형적인 유대인 설교자였지만, 사후에 역사상 가장 인상적인 브랜딩 작업의 대상이 됐고 우주를 창조한 신의 화신으로” 거듭났다고 하라리는 말한다.

정보 네트워크에는 진실과 질서 유지라는 두 축이 있다. 원자폭탄을 만들려면 핵물리학을 알아야 하지만 동시에 우라늄 채굴부터 원자로 건설까지 수백만 명의 협력이라는 ‘질서’를 만들어야 한다. 사람들을 결속시키는 데는 허구가 진실보다 유리하다. 허구는 간단하고 지어내기 나름인 반면, 진실은 구구절절 설명해야 하고 불편하기 때문이다. 인간 정보 네트워크의 역사는 진실과 질서 사이에서 균형을 맞추는 아슬아슬한 줄타기였다.

이 때문에 정보 네트워크가 커진다 해서 지혜가 함께 커지지 않는다. 인간이 수많은 정보를 축적했음에도 이토록 자기파괴적인 이유다. 정보가 많아지면 자연스레 진실도 드러난다는 건 순진한 관점이다. 하라리는 “이 책의 핵심 논지는 인간은 대규모 협력 네트워크를 구축함으로써 막대한 힘을 얻지만, 바로 네트워크를 구축하는 그 방식 때문에 애초에 힘을 지혜롭게 사용하기 쉽지 않다는 것”이라고 밝힌다.

대규모 사회를 떠받치는 두 개의 기둥으로는 이야기(신화)와 함께 관료제가 있다. 이야기는 한계가 있다. 꿈, 노래만으로 민족국가가 돌아가지 않는다. 세금을 걷고 군대를 무장해야 한다. 복잡한 조세·행정시스템을 제대로 작동하게 해주는 비유기적 정보기술이 바로 문서다. 문서를 작성함으로써 인간은 뇌 용량을 넘어서는 상호주관적 현실을 만들어냈다.

문서로 기록하게 되자, 방대한 문서를 검색하는 문제가 대두했고 이를 해결한 것이 관료제다. 관료제는 세상과 사람에 꼬리표를 붙여 어떤 서랍에 넣을지 나눔으로써 세상에 인위적 질서를 도입했다. 관료 절차는 사회에서 정보가 흐르고 권력이 작동하는 방식을 바꿨다. 그 결과 권력에 대해 이해하기 훨씬 어려워졌다. 하라리는 “관료 조직이 당신에게 특정 꼬리표를 붙이면 당신의 운명을 결정할 수 있다”며 “관료가 살아 숨 쉬는 인간 전문가든, 아니면 유기체가 아닌 AI든 마찬가지”라고 말한다.

유발 하라리/ 김명주 옮김/ 김영사/ 2만7800원

하라리는 사피엔스의 힘이 정보 네트워크라는 통찰을 AI혁명에 대입한다. 역사상 모든 정보 네트워크는 인간 신화 제작자와 인간 관료에 의존했다. 누구를 마녀로 화형에 처할지, 누구를 노예로 만들지 결정한 건 인간이었다. 반면 AI의 등장은 역사상 처음으로 힘이 인간에게서 다른 데로 이동하고 있음을 뜻한다.

문제는 컴퓨터 네트워크가 사람들을 항상 감시하는 데다 오류 가능성이 있다는 점이다. 하라리는 “정보는 진실이 아니다. 완전한 감시 시스템은 세상과 인간 존재에 대한 대단히 왜곡된 이해를 형성할 수 있다”고 본다. 그는 “(컴퓨터로만 연결된) 컴퓨터 네트워크가 강력한 상호 컴퓨터 신화를 만들어 우리에게 강요함으로써 근대 초기 유럽의 마녀사냥이나 스탈린의 농업 집단화를 능가하는 역사적 재앙을 초래할 가능성이 충분히 있다”고 분석한다.

하라리는 컴퓨터가 자신의 오류 가능성을 인식하도록 훈련시키는 것을 한 가지 안전장치로 제시한다. “우리가 지혜로운 네트워크를 구축하기 위해서는 정보에 대한 무오류성이라는 환상에서 벗어나 강력한 자정장치를 갖춘 제도를 구축하는 힘들고 다소 재미없는 일에 전념해야 한다”고 그는 강조한다.

송은아 기자 sea@segye.com