[시론] 유발 하라리의 '넥서스'로 본 인공지능

▲ 김성우 정치칼럼니스트·대동평화연구원 연구원

최근 중동 전장에서 목격되는 비극은 인공지능 시대에 우리가 직면할 가장 끔찍한 디스토피아를 예고한다. 이스라엘과 미국이 이란 공격 과정에서 인공지능을 활용해 표적을 선정하고 타격하는 방식은 효율성의 극치를 보여준다. 하지만 그 이면에는 무고한 아이들과 표적의 가족들까지 몰살당하는 참혹한 전쟁 범죄가 도사리고 있다.

유발 하라리는 <넥서스>에서 인공지능을 지능은 탁월하지만 의식은 없는 비유기적 주체로 정의한다. 여기서 지능은 목표를 향해 질주하는 엔진이며, 의식은 타인의 고통에 공감하고 성찰하며 폭주를 제어하는 브레이크에 비유할 수 있다. 현재 전쟁터에 투입된 살상 알고리즘은 사악한 권력이 조종하는 브레이크 없는 엔진에 불과하다. 이 시스템은 표적 제거라는 목적 함수를 달성하기 위해 민간인의 희생을 부수적 피해라는 이름의 데이터 수치로 환원해버린다. 권력은 인공지능이라는 도구에 도덕적 책임을 전가한 채, 차가운 숫자로 살상을 정당화하고 있다.

인공지능의 근본적인 위험성은 그 작동 원리에 있다. 인공지능은 스스로 무한 반복의 자기 개선을 수행하지만, 이는 어디까지나 주어진 목표의 최적화를 향해 달려갈 뿐이다. 이러한 재귀적 개선 과정은 효율성을 극대화할 수는 있어도, 스스로 행위의 옳고 그름을 판단하는 도덕적 '자정 능력'을 갖추지 못한다. 즉, 살상 효율을 높이는 법은 스스로 학습할 수 있어도 그 살상이 정당한지를 묻는 비판적 성찰은 불가능하다는 뜻이다. <넥서스>가 지적한 의식 없는 인공지능의 위험성은 이처럼 자정 능력 없는 기술이 권력의 사악한 의도와 결합할 때 인류를 위협하는 현실이 된다.

하라리의 경고는 인류 도덕성의 심오한 근원을 간과하고 있다는 점에서 한계를 지닌다. 그는 인간을 계산하는 지능과 공감하는 의식으로 이분화했으나, 이는 공동선을 열망하는 이성적 주체 집단지성의 역할을 놓친 결과다. 집단지성은 칸트와 헤겔이 강조한 보편 이성과 사람을 하늘처럼 귀하게 여기는 동학의 인내천 정신과 궤를 같이한다. 보편 이성은 생물학적 반응에 머물지 않고, 무엇이 진정으로 옳은가를 묻고 보편적 가치를 향해 도덕적 결단을 내리는 능력이다. 이러한 결단은 현대 사회에서 파편화된 개인을 넘어 공공성을 지향하는 집단지성으로 승화되어야 한다. 이는 모든 대립을 하나로 아우르는 원효 대사의 한마음(일심) 사상과도 맞닿아 있다. 사악한 권력이 인공지능을 살육 기계로 전락시킬 때, 인류는 만물을 하나로 품는 마음과 인간 존엄을 지키려는 집단적 의지로 이에 항거해야 한다.

하라리가 해결책으로 제안한 선의나 분권화 같은 원칙 역시 사악한 권력과 자본의 논리 앞에서는 공허한 구호로 남을 가능성이 크다. 빅테크 기업들이 인공지능에 대한 무분별한 개발을 멈추지 못하는 이유는 자본의 생존 논리 때문이다. 이들이 내세우는 윤리 원칙은 민간 감시나 전쟁 범죄를 은폐하는 윤리 세척(Ethics-washing) 수단으로 전락하기 쉽다.

따라서 공공의 이익과 존엄성을 보호할 강력한 민주주의적 제어 장치를 마련해야 한다. 기술적 억제책은 반드시 시민 사회의 감시와 민주적 합의라는 제도적 틀 안에서 공동선을 향해 작동하도록 제도화되어야만 한다.

결국 인공지능 전쟁 범죄를 막는 길은 자정 능력이 있는 인류의 주체적 결단에 있다. 디지털 제네바 협약과 같은 국제법을 제정하고, 빅테크의 알고리즘에 의해 편집당하는 수동적 존재에서 벗어나 기술의 향방을 결정하는 능동적 편집자로서 시민 권력을 회복해야 한다. 잃어버린 보편 이성을 회복하고, 원효의 한마음과 동학의 상생 정신을 현대적 집단지성으로 결집하여 브레이크 없는 살육의 폭주 기관차가 될 인공지능 기술을 민주적 통제 아래 두어야 한다.

/김성우 정치칼럼니스트·대동평화연구원 연구원