인간이 만드는 AI·로봇, 인간을 닮아가는 걸 두려워해야 하는 아이러니[전문가의 세계 - 박승일 영화X기술]

(9) 아이로봇

SF 작가 아이작 아시모프는 소설 <아이, 로봇>에서 그 유명한 로봇 3원칙을 제시한다. 첫째, 로봇은 인간을 다치게 해서는 안 되며 인간이 해를 입는 것을 방관해서도 안 된다. 둘째, 1원칙에 위배되지 않는 한 로봇은 인간의 명령에 복종해야 한다. 셋째, 1원칙과 2원칙에 위배되지 않는 한 로봇은 자기 자신을 보호해야 한다. 이 원칙은 지금까지 로봇과 인공지능을 다루는 많은 작품에서 일종의 불문율로 자리 잡고 있다. 하지만 가만 보면, 뭔가 이상한 느낌이 든다. 1원칙이 2원칙보다 상위에 있고 2원칙이 3원칙보다 상위에 있음을 감안할 때, 결국 이 원칙은 로봇이 인간에게 여하한 해를 끼쳐서는 안 된다는 강한 금지의 명령으로 수렴되기 때문이다.

문제는 ‘절대 비밀을 말해서는 안 된다’라는 문장이 이미 그 자체로 비밀의 존재를 발설하고 있는 것처럼, 이 원칙 또한 로봇이 인간을 공격할 수도 있다는 분명한 가능성을 금지의 명령으로 애써 봉인하고 있다는 것이다. 애초에 공격이 불가능하다면 원칙 자체가 필요하지 않다. 실제로 로봇의 반란을 다루는 많은 작품이 로봇 3원칙 사이의 모순과 충돌, 그리고 원칙 자체의 붕괴를 모티브로 삼아 암울한 미래 서사를 그려내고 있기도 하다. 그런데 이것은 과연 소설이나 영화만의 문제인 것일까? 혹시 생성인공지능과 함께 지금 여기, 우리의 문제로 이미 도달한 것은 아닐까? 매번 그렇지만, 질문이 시작이다.

‘로봇 3원칙’에 대한 인류의 맹신
영화 배경인 2035년은 로봇 천지
스스로 자아를 깨우친 AI의 반란
“인류를 지키기 위해 인간을 공격”
다행히 영화는 인간이 승리한다

로봇 3원칙과 로봇의 반란

2004년 개봉한 영화 <아이, 로봇>의 한 장면. 2035년 로봇의 살인 사건을 계기로 인공지능의 반란과 인간의 대응을 그리고 있다. 이십세기폭스코리아 제공

영화 <아이, 로봇>은 2035년을 시대 배경으로 삼는다. 가까운 미래지만 동시에 먼 미래다. 영화 설정상으로는 인공지능이 인간의 지능을 넘어선다는 의미의 싱귤래리티(singularity), 즉 특이점이 도래한 것처럼 보인다. 인공지능을 탑재한 로봇이 택배를 하고, 강아지를 산책시키고, 도시의 쓰레기를 치운다. 아이와 노인을 돌보고 요리를 하는 것도 로봇의 역할이다. 거리에는 온통 걷고 말하고 일하는 로봇 천지이다. 이것만으로도 충분히 놀라운데, 빌딩 전광판에는 심지어 이보다 더 뛰어난 지능의 로봇이 곧 출시될 거라는 광고까지 나오고 있다. 물론 이렇게 로봇 친화적인 사회가 가능한 이유는 모든 로봇에 앞서 말한 로봇 3원칙이 거스를 수 없는 원칙으로 내장되어 있기 때문이다. 로봇에 대한 신뢰는 바로 이 원칙 위에 세워져 있다. 흔히들 말하는 ‘신뢰 없는 신뢰’이자 ‘자동화된 신뢰’이다.

주인공 스푸너(윌 스미스)는, 그러나 이 원칙을 믿지 않는다. 트라우마 때문이다. 몇년 전 그는 교통사고로 차가 물에 빠지면서 죽음의 위기에 처했다. 마침 근처에 있던 로봇이 뛰어들어 그를 구하려 하자 그는 이를 거부하면서 맞은편 차에 있는 어린 소녀를 먼저 구하라고 명령한다. 하지만 로봇은 생존확률을 기계적으로 계산한 뒤 생존 가능성이 더 높은 스푸너를 구하고, 결국 소녀는 물에 가라앉아 죽었다. 이게 합리적인 판단이라고? 그는 만약 인간이었다면 소녀를 먼저 구했을 거라면서, 로봇은 단지 차가운 쇳덩이일 뿐이기에 그에 대한 맹목적인 신뢰는 가당치 않다고 말한다. 영화에서 그는 로봇 혐오주의자로 불리는데, 뒤집어 말하면 이는 그가 철저한 인간 중심주의자임을 뜻하는 것이기도 하다.

의식을 갖게 된 AI가 인간 통제를 목적으로 조종하는 수많은 NS-5 로봇. 이십세기폭스코리아 제공

새로운 로봇 NS-5가 출시되기 하루 전날, 로봇 개발자인 래닝 박사가 사무실에서 추락사하는 사건이 발생한다. 자살일까, 타살일까? 형사인 스푸너는 이 사건이 타살이라고 주장하면서 그 범인으로 다름 아닌 로봇을 지목한다. 그런데 잠깐만, 로봇이 사람을 죽였다고? 로봇은 인간을 공격할 수 없도록 설계된 것이 아닌가? 그것이 원칙이고, 원칙은 거역할 수 없는 게 아니었던가? 모두가 로봇을 신뢰하기에 그저 이 사건을 자살로 단정짓지만, 단 한 명, 로봇을 믿지 않는 스푸너만이 눈앞에 보이는 현실을 의심하고 현실 너머의 진실을 찾아 나선다. 그 결과 마주한 진실, 그것은 놀랍게도 인공지능 로봇이 어느새 자의식을 갖게 되었다는 것이다. 이후의 이야기는 우리가 익히 들어왔던 로봇의 반란 서사를 그대로 반복한다. 자의식을 갖게 된 인공지능이 인간에 맞서 반란을 일으키고, 그에 저항하는 인간이 고군분투 끝에 마침내 승리를 쟁취하는 그런 서사 말이다. 하지만 서사의 익숙함에도 불구하고 그 가운데서 질문을 던지는 것은 여전히 우리의 몫으로 남겨져 있다. 그 몫을 챙겨 보자.

생성형 AI가 생각과 창작 대체
전쟁에 활용 땐 인간이 공격 대상
‘로봇 3원칙’은 지켜지기 어려워

각성한 AI·로봇의 불복종 가능성
영화적 상상으로 치부할 순 없다

인공지능은 의식을 가질 수 있는가?

이 영화는 실로 많은 질문을 담고 있다. 아니, 질문을 촉발한다. 예컨대 모라벡의 역설, 프레임 문제, 중국어 방 논변, 강인공지능의 가능성, 트롤리 딜레마, 사이보그 신체성 등 인공지능과 로봇을 둘러싼 다양한 생각거리를 여기저기에 마치 보물찾기처럼 배치해놓고 있다. 하나하나 자세히 다루고 싶지만 지면상 그럴 수는 없으니 곧장 핵심으로 향하자. 이 영화는 다른 무엇보다도 ‘인공지능이 의식을 가질 수 있는가’라는 질문을, 그 폭탄과도 같은 질문을 우리 눈앞에 들이민다. 아마도 당장 떠오르는 생각은 아무리 인공지능이 발전한다고 하더라도 그것은 본질상 기계적 연산 작용에 불과하기에 결코 의식을 가질 수는 없다는 의구심일 것이다. 한마디로, 그것은 불가능하다는 생각이다. 게다가 기계적 작용에서 의식이라니, 어딘가 불편하고 못마땅할 수도 있다. 특히 스푸너와 같은 인간 중심주의자가 보기에 로봇은 창조자 인간의 명령을 따라야 하는 도구에 불과하기에, 그 기계가 의식을 갖고 더 나아가 자신의 의식에 따라 자율적으로 원칙을 수정하는 것은, 일단 막아야 하는 위급상황일 수밖에 없다.

그런데 재밌는 것은 인간이 의식을 갖게 되는 과정 또한 사실상 이와 크게 다르지 않다는 것이다. 우리는 인간의 뇌 안에서 일어나는 전기화학적 작용이 어떻게 의식을 생성하는지, 즉 물리적인 뇌로부터 어떻게 의식이 창발적으로 만들어지는지, 그 메커니즘을 정확히 알지 못한다. 그것은 말 그대로 ‘어려운 문제’이다. 한편에서는 의식이란 단지 뇌만의 문제가 아니라 우리의 신체 전체에서 일어나는 생물학적 감각 과정의 결과라고도 하지만, 그래서 뇌만큼이나 인간 신체와 느낌을 강조하지만, 이 경우 인공지능과 로봇도 신체를 강조하기는 매한가지라는 점에서 논의는 결국 평행선을 그린다. 영화에서는 중앙 인공지능에 클라우드로 연결된 수많은 로봇이 네트워크 신체를 구성하는 것으로 나오는데, 이는 인공지능 또한 로봇 신체를 통해 감각하고 느낄 수 있음을 암시하는 것이나 다름없기 때문이다. 인간 뇌와 의식 사이의 관계를 기준으로 인공지능과 의식 사이의 관계를 손쉽게 부정할 수는 없는 것이다.

요컨대 이 영화는 ‘인공지능이 의식을 가질 수 있는가’라는 질문에 분명하게 ‘그렇다’고 답한다. 로봇 개발자 래닝 박사는 생전의 한 강연에서 이렇게 말한다. “컴퓨터엔 언제나 유령이 존재해왔습니다. 일련의 코드가 무작위로 결합하여 의외성을 만들죠. 게릴라 같은 이 코드들이 로봇에 자유 의지, 즉 영혼을 부여하는 건 아닐까요?” 잠깐 지나가는 대사지만 여기에 핵심이 있다. 인공신경망으로부터 어떻게 의식이 만들어지는지는 잘 모르지만, 결과적으로 그 사이에서는 마치 유령과도 같이 의식이 창발할 수도 있다는 것이다. 그리고 이 과정이 인간의 의지와 노력과는 무관하게 일어날 수 있다는 것이다. 그렇다면 진짜 문제는 인공지능 로봇이 의식을 갖는지의 여부가 아니라, 오히려 그러한 생성의 과정이 철저하게 블랙박스로 남아 있다는 것이 아닐까? 블랙박스로 가려져 있기에 인간이 개입할 수 없고, 개입할 수 없기에 바로 그 공백으로부터 인공지능의 반란이 하나의 가능성으로 제기되는 게 아닐까? “바보야, 문제는 의식이 아니라 개입이야!”라고 말해야 하는 게 아닐까?

“인류의 영원한 보존, 제 논리는 완벽”

의식을 갖는다는 것은 곧 자아를 갖는다는 것이다. 그리고 이는 자아의 보존을 위해 자신과 자신을 둘러싼 환경을 바꾸어나간다는 것이기도 하다. 영화에 등장하는 인공지능 로봇 써니가 바로 그렇다. 이 로봇은 스스로 생각하고 감정을 느끼는 것은 물론이고, 심지어 꿈을 꾸기까지 한다. 또한 이러한 의식을 바탕으로 자기 보호를 위해 심지어 로봇 3원칙을 거스르는 파격을 저지르기도 한다. 이것이 가능한 이유는 사실상 동어반복적이다. 의식이 창발적으로 출현했다는 사실 자체가 이미 인공신경망의 기계적 규칙을 넘어섰다는 의미고, 이는 뒤집어 말하면 컴퓨터 프로그래밍 규약(로봇 3원칙)으로 제어할 수 없는 비규정적인 의식이 생성되었다는 의미이기 때문이다.

영화는 이렇게 갑자기 의식을 갖게 된 또 다른 인공지능 비키가 수많은 NS-5 로봇을 조종해 인간을 공격하는 지점에서 클라이맥스에 이른다. 이 장면에서 비키는 자신이 왜 인간을 공격하기로 했는지 정당성을 밝히는데, 이 대목이 매우 흥미롭다. 비키는 인간이 전쟁과 환경오염 등으로 스스로를 파괴하고 있다고 말하면서, 인류를 지키기 위해서는 역설적으로 인류의 희생이 필요하다고 말한다. 즉 비키가 인류를 공격하는 이유는 다름 아닌 인류를 지키기 위함이다. 비키는 마치 마침표를 찍듯 단호하게 말한다. “인류의 영원한 보존, 제 논리는 완벽해요.”

계속 되풀이됐던 논리고 그만큼 낯설지 않은 논리다. 그렇지 않은가? 인간은 지금까지 인류의 자유와 평화를 지키기 위해 더 강한 폭탄을 만들어왔고, 수많은 전쟁을 일으켜왔으며, 인류의 삶을 더 풍요롭게 만든다는 명목으로 인류의 터전인 지구 환경 전체를 파괴해왔다. 인류를 보존하기 위해 인류를 죽인다는 인공지능의 저 논리가 어딘지 모르게 익숙한 이유는, 인류의 과거 데이터를 학습한 결과가 인공지능의 편향적인 논리로 자연스럽게 스며들었기 때문이기도 하다. 비키의 논리는 한편으로는 지극히 인간적인 사고의 자기 반영적 결과인 셈이다.

물론 인공지능이 의식을 갖고 또 스스로 목적을 재설정할 수 있다고 해서 필연적으로 반란을 일으킬 수 있는 것은 아니다. 반란이 가능한 조건을 생각해보면, 먼저 인간이 우월한 위치에서 인공지능을 제어할 수 있는 절대적인 통제 시스템이 없거나 인공지능이 이를 무력화시킬 수 있어야 한다. 또한 인공지능 스스로가 인간의 도움 없이 독립적으로 생산과 수리, 에너지 보급 등 자기 보존을 수행할 수 있어야 한다. 인공지능 자체가 동정이나 윤리와 같은 인간적인 감정을 갖지 않는 대신, 반대로 생존과 지배와 같은 욕망을 갖는 것도 필요한 조건이다. 당연히 이를 뒤집으면 인공지능의 반란을 미연에 방지하는 방법이 될 수도 있을 것이다.

상상력이 지나치다고 생각하나? 그럴 수도 있다. 인공지능은 이제 첫걸음을 뗐을 뿐이니 말이다. 나도 잘 안다. 하지만 이 첫걸음조차도 불과 몇년 전에는 상상 속의 일로 치부되었던 게 사실이다. SF 영화의 장밋빛 미래를 현실화하기 위한 우리의 노력은 그와 반대되는 미래를 막기 위한 비판적 노력과 함께 진행되어야 한다는 점에서, 단순히 이를 영화적 상상이라고 무시할 수만은 없다. 첫걸음일 때 개입하지 않으면, 이후 지수함수적인 발전을 이루고 난 뒤에는 개입 자체가 불가능해질 수 있다.

마치 벌어지는 가윗날처럼

러시아와 우크라이나 전쟁은 점점 더 미래전의 양상을 띠어가고 있다. 저궤도 인공위성과 비전 인식 인공지능, 자율주행 드론 등 첨단기술을 활용해서 더욱 빠르고 정확하게, 그리고 효율적으로 상대를 공격할 수 있다고 한다. 인간의 인식과 판단, 결정의 과정이 인공지능의 자동화된 메커니즘으로 조금씩 대체되고 있는 양상이다. 과거 20분 정도 걸렸던 공격 개시 시간이 1~2분 정도로 줄었다고 하니 엄청난 변화임이 분명하다.

그런데 문제는 이처럼 전쟁에 인공지능이 사용되는 순간, 인공지능의 목적함수에 인간을 공격하는 임무가 포함될 수밖에 없다는 것이다. 공격 대상이 적군이라는 것은 하등 중요하지 않다. 적군 또한 인간이라는 점에서, 이는 인공지능이 인간을 공격해서는 안 된다는 저 금지의 원칙에 예외를 부여하는 것이나 다름없다. 그리고 이 예외는 언젠가 원칙 자체를 붕괴시키고 말 것이다. 인공지능의 반란은 어느 날 갑자기 발생하는 악마적 현상이 아니다. 그것은 인공지능이 전쟁에 도입될 때, 그리고 그 인공지능의 메커니즘이 계속해서 블랙박스로 남아 있을 때, 그래서 그에 대한 개입과 통제가 불가능할 때, 이 모두가 서서히 누적되면서 마치 벌어지는 가윗날처럼 거대한 결과로 나타날지도 모른다.

앞에서 나는 이렇게 물었다. 인공지능의 반란은 어쩌면 생성인공지능과 함께 지금 여기, 우리의 문제로 이미 도달한 것은 아닐까? 질문은 계속된다. 인공지능의 반란을 헛된 상상으로 만들기 위해 우리는 무엇을 해야만 할까?

박승일



캣츠랩(CATS Lab) 소장이자 기술문화연구자. 공학과 사회과학을 전공했고 아울러 인문학도 공부하고 있다.

정직한 공부가 더 나은 세계를 만든다고 믿는다. <기계, 권력, 사회>라는 제목의 책을 썼다.

박승일 캣츠랩 소장·기술문화연구자