유발 하라리가 받은 충격... 인공지능이 위험한 3가지 이유 [소셜 코리아]

[소셜 코리아] 허위정보·편견으로 민주주의 위협... 빅테크에 거대 권력 맡길 수 없어

한국의 공론장은 다이내믹합니다. 매체도 많고, 의제도 다양하며 논의가 이뤄지는 속도도 빠릅니다. 하지만 많은 논의가 대안 모색 없이 종결됩니다. 소셜 코리아(https://socialkorea.org)는 이런 상황을 바꿔 '대안 담론'을 주류화하고자 합니다. 구체적으로는 ▲근거에 기반한 문제 지적과 분석 ▲문제를 다루는 현 정책에 대한 날카로운 비판을 거쳐 ▲실현 가능한 정의로운 대안을 제시하고자 합니다. 소셜 코리아는 재단법인 공공상생연대기금이 상생과 연대의 담론을 확산하고자 학계, 시민사회, 노동계를 비롯해 각계각층의 시민들과 함께 만들어가는 열린 플랫폼입니다. 기사에 대한 의견 또는 기고 제안은 social.corea@gmail.com으로 보내주시기 바랍니다. <기자말>

[구본권]

오픈AI가 2022년 11월 30일 공개한 대화형 인공지능 챗GPT(ChatGPT)를 두고 경탄과 불안이 교차하고 있다. 사람 수준의 언어 구사, 사고능력을 보여주는 거대 언어모델(Large Language Model) 기반의 생성형 인공지능(Generative AI)은 컴퓨터, 인터넷, 모바일에 이은 또 한 번의 거대한 사회변화를 가져올 기술로 전망된다.

마이크로소프트(MS) 공동 창업자인 빌 게이츠는 지난 2월 "인공지능 시대가 열렸다"는 글을 올려 챗GPT가 그래픽 사용자 환경(GUI)만큼 혁명적인 기술이라고 주장했다. 그래픽 사용자 환경은 그 이전까지 소수 전문가들이 프로그램 명령어를 통해 조작하던 컴퓨터를 만인의 도구로 만든 혁신기술이다.

빌 게이츠의 발언은 마이크로소프트가 오픈AI를 실질적으로 소유한 기업이라는 배경을 고려해야 하지만, 챗GPT와 같은 인공지능 보편화가 가져올 충격은 기존의 기술과 차원이 다르리라는 것은 널리 동의되는 견해다. 직관적 사용법의 그래픽 사용자 환경이 실질적으로 정보화 시대를 연 것처럼, 챗GPT는 누구나 인공지능을 자유롭게 다양한 용도로 활용하는 시대를 불러올 것이라는 얘기다.

누구나 스마트폰과 앱을 조작하듯 자유롭게 인공지능을 사용하는 환경은 산업과 일자리, 교육, 예술 창작 등 사회 전 분야에 충격적 변화를 예고한다. 생성 인공지능을 활용해 생산성을 높이고 업무를 자동화하려는 다양한 시도는 이미 시작됐다. 일자리가 없어지고 교육에서 엉터리 인용과 표절이 일반화할 것이라는 불안과 우려도 높다.

그렇지만 사람보다 뛰어난 인공지능의 등장은 무엇보다 공동체의 구성원리인 민주주의 체계를 근본적으로 위협하는 요인으로 작용할 가능성이 크다. 왜냐하면 공동체에서 가장 강력하고 합법적인 권력을 만들어내는 구조이자, 강한 권력집단을 견제하도록 설계되어 있는 민주주의 시스템은 현재처럼 인공지능이 사회의 기본적 환경이 되는 상황을 전혀 고려하지 않고 만들어졌고 운영되어 왔기 때문이다.

권력 창출·견제 체계 무력화하는 AI
 

▲ 오픈AI가 2022년 11월 30일 대화형 인공지능 챗GPT를 공개한 이후 경탄과 불안이 교차하고 있다. 챗GPT 웹사이트 화면 캡처 ⓒ 오픈AI

 
대의 민주주의는 언론과 표현의 자유를 통해 형성되는 여론 기반의 민의 수렴장치를 필요로 하는데, 인공지능으로 인해 구조적 변화가 발생하고 있다. 소셜미디어와 인공지능이 등장하기 전까지 정보와 여론은 사람이 만들었지만 인공지능으로 인해 근본적 변화가 생겨났다. 앞으로는 사람이 만들어내는 정보와 여론보다 인공지능과 같은 기술에 의해 자동 생성되는 분량이 훨씬 많아지고 개인과 사회에 큰 영향력을 끼칠 가능성이 있다.

계몽주의와 시민혁명을 겪으며 형성된 근대 민주주의는 인식과 판단의 주체로 독립된 인간을 상정한다. 그런데 글쓰기와 논리구성, 판단 등 인간만이 수행하던 지적 활동 영역에서 평균적 인간보다 뛰어난 능력의 인공지능이 등장한 것이다.

민주주의는 공동체가 최악을 피하고 차악을 선택할 수 있게 해주는, 불완전하지만 현실적인 정치권력 창출 방법으로 합의된 사회계약이다. 민주주의는 오랜 기간에 걸쳐 사상과 현실의 영역에서 사회 각 집단이 갈등 조정과 투쟁, 혁명을 거치고 토론과 합의를 통해 만들어낸 결과다.

인공지능은 인간만을 인식과 사회적 행동의 주체로 여겨온 민주주의라는 사회적 시스템의 전제를 흔들며 새로운 관점을 요청하고 있다. 인공지능처럼 의식은 없지만 인간과 유사한 지적 능력을 수행하는 존재가 등장해 개인과 사회에 영향을 끼치고 있는 상황이기 때문이다.

<사피엔스>의 저자 유발 하라리는 의식 없는 지능, 즉 인공지능의 발명이 인류 역사에 전면적 변화를 불가피하게 만드는 결정적 요소라고 말한다. 인공지능으로 인한 변화 중에서도 모든 사람에게 장기적이고 포괄적인 영향을 끼칠 영역은 사회가 가장 거대한 권력을 다루는 방식, 즉 정치체제다. 민주주의에 생성형 인공지능이 끼칠 영향은 세 가지 차원에서 살펴볼 수 있다.

첫째, 탈진실 현상을 심화시킨다.
 

▲ 인공지능은 민주주의라는 사회적 시스템의 전제를 흔들며 새로운 관점을 요청하고 있다. ⓒ 셔터스톡

 
챗GPT의 주요 특징은 거대 언어모델 학습을 통해 문답이 이뤄지는 상황과 대화의 맥락을 이해하고, 특정 단어 뒤에 배치될 확률이 높은 단어를 예측해 제기하는 기능이다. 다음에 이어질 단어를 예측하는 기술이라는 점에서 검색어나 문자메시지 자동완성과 유사하지만, 놀라운 정확도로 이용자들을 놀라게 하고 있다.

하지만 이는 언어철학자 존 설이 '중국어 방' 논증을 통해 주장한 것처럼, 인공지능이 정확하고 뛰어난 답변을 하는 것처럼 보여도 실제로는 아무것도 모르는 상태에서 단어를 높은 확률로 구성하는 것일 뿐이다. 챗GPT는 그럴듯한 문장을 제시하지만 그 의미를 전혀 이해하지 못하고 있을 뿐만 아니라 사실이 아닌 황당한 이야기를 자연스러운 문장과 줄거리로 만들어낸다. 챗GPT의 주요 기술적 특징 중 하나는 허위 정보를 진짜처럼 묘사하는 '환각(Hallucination)' 현상이다.

인공지능을 활용한 이미지 조작에 활용되는 딥페이크 기술과 이용자들을 현혹하는 정보를 무차별적으로 유통하는 소셜미디어가 일상화하면서 정보 생태계에서 사실과 가짜의 구분이 점점 어려워지고 있다. 탈진실 현상을 부추기는 세력들에게는 생성형 인공지능이 인화력 높은 새로운 도구로 쓰일 수 있다.

2016년 영국의 브렉시트 국민투표와 미국의 대통령 선거에서 허위정보가 범람하고 그것이 여론과 정치적 판단에 큰 영향을 끼치는 현상이 나타났다. 그해 말 영국 <옥스퍼드 사전>은 '탈진실(Post Truth)'을 올해의 단어로 선정했다.

탈진실 현상은 2016년에만 두드러진 현상이 아니고 정보사회에서 갈수록 일상화하고 있다. 민주주의를 위협하는 기술적 환경이다. 현실 정치에서 유력 정치인들은 자신의 생각과 다른 사실이나 뉴스에 대해 공공연히 '가짜뉴스'라고 주장하며 지지자들을 선동하고 있다.

미국의 IT 컨설팅업체 가트너가 2017년 10월 '미래 전망 보고서'를 통해 "2022년이 되면 선진국 대부분의 시민들은 진짜 정보보다 거짓 정보를 더 많이 이용하게 될 것"이라고 예측했는데, 현실이 된 셈이다. 사실에 기반한 인식과 여론 형성을 어렵게 만드는 기술이 등장하고 사람들이 진짜 정보보다 가짜 정보를 더 많이 만나고 이용하게 될 것이라는 점은 민주주의의 지반을 흔드는 문제다.

둘째, 기계에 의한 편견과 차별이 고착화할 수 있다.

업무 자동화 도구인 인공지능은 사회 각 영역에 침투해 비효율을 개선하고 편의성을 높이지만, 기존의 기술과 달리 판단의 근거와 이유를 설명하지 않는다. 지금까지 대부분의 도구는 인간이 설계한 방식대로 작동했고 조작자는 그 원리를 이해하고 조작했다. 그런데 이세돌-알파고 대국에서 알파고는 왜 그 자리에 돌을 놓았는지를 설명할 수 없다. 알파고 설계자나 조작자도 설명할 수 없다. 어떤 연산과정을 통해 결과가 도출됐는지 알지 못하지만 결과가 효과적이기 때문에 사람들은 적극적으로 채택한다.

인공지능 기계학습은 뇌 구조를 모방한 신경망 형태의 은닉층(hidden layer)에서 딥러닝을 통해 진행된다. 인공지능의 심화신경망은 서로 복잡하게 연결된 수백 개의 계층에서 수백만 개의 매개변수들이 상호작용하는 구조여서 사람이 인지하는 게 불가능하다. 인공지능의 결과와 효율성은 탁월해졌지만 알고리즘은 더 불투명해지고 인간의 인지 영역을 넘어섰다. 인공지능은 그 처리과정을 알 수 없는 블랙박스 기술이다.
 

▲ 2016년 영국의 브렉시트 국민투표와 미국의 대통령 선거에서는 허위정보가 범람했다. 2016년 11월 9일(현지 시각) 뉴욕에서 대통령 수락 연설을 하고 있는 도널드 트럼프. ⓒ EPA=연합뉴스

 
인공지능은 미국에서 채용, 직원 평가, 법원 판결 등에 널리 활용되고 있지만 유색인종과 여성 등 기존 사회에서 불이익을 받아온 집단을 구조적으로 차별하는 문제를 일으켰다. 사람에 의한 차별이나 편견과 달리 기계에 의해 자동으로 이뤄지고 설명되지 않는다는 점에서 인공지능은 사회 문제를 개선하기보다 악화시키고 고착화할 우려가 높다.

판단의 근거와 논리를 알지 못하면 개선할 방법이 요원하다. 인공지능의 알고리즘 의사결정에 대한 투명성과 접근성, 설명 가능성을 요구하기 위한 기술적·법적 시도가 있지만, 이는 현재의 심화신경망 방식 딥러닝 기술 구조에서는 근본적으로 불가능한 요구일 따름이다.

셋째, 위임받지 않는 집단이 거대 권력을 행사한다.

민주주의는 법률을 통해 주권자들이 자신들을 다스릴 최고의 권력을 스스로 만들어내는 구조이다. 이는 임기제 대통령과 국회의원처럼 동의 절차를 거친 일시적 위임의 형태로 구성돼 있다. 그런데 오늘날 사람들에게 가장 큰 영향력을 끼치는 거대 권력은 민주적인 제도로 선출된 세력이 아니라 정보기술과 거대 플랫폼을 설계하고 소유한 빅테크와 그 설계자들이 행사하고 있다. 페이스북이나 트위터와 같은 소셜미디어 플랫폼에 이어 인공지능이 그 역할을 하고 있다.

일론 머스크, 유발 하라리 등 세계적인 인공지능 전문가와 저명인사 등은 지난 3월 "앞으로 6개월간 인공지능 시스템 개발을 중단하자"는 내용의 공개 서한에 서명하며, 인공지능이 사회에 끼칠 잠재적 위험성을 경고했다. 미국 비영리단체 삶의미래연구소(FLI) 명의로 발표된 이 공개 서한에는 1천 명이 넘는 인사들이 서명했다. 이들은 "지적으로 우월한 비인간 지성(nonhuman minds)이 인간을 대체하도록 개발돼야 할지" 여부를 "위임받지 않은 기술 지도자들에게 위임해서는 안 된다"고 주장했다. 

블랙박스와 같은 인공지능은 인간이 통제할 수 없는 기술에 과의존하는 현상에 대한 우려를 낳고 있다. 전기나 화학 등 필수적이고 보편적인 기술이라 해도 대개 기술은 인간의 통제 아래 있었다. 그런데 디지털 인공지능 기술은 다르다. 인간이 도구에 대한 창조자로서 우위를 지닌 상태에서 통제 가능한 관계를 맺는 게 아니라, 그 관계가 역전될 가능성이 커지고 있다. 인간이 도구에 더 많은 일상을 의존하게 되었지만 알지 못한 채 도구에 조종당할 거라는 우려다. 그 인공지능은 소수의 기술 전문가와 빅테크에 의해 통제된다.

변화하는 기술 환경과 '인지적 구두쇠'  
 

▲ 2022년 3월 22일(현지시간) 일론 머스크 테슬라 최고경영자(CEO)가 독일 그륀하이데에서 열린 새로운 테슬라 전기자동차 기가팩토리 개소식에 참석하고 있다. ⓒ 연합뉴스

 
인공지능이 민주주의에 대해 가져올 이러한 위협을 막고 대처하는 일은 인공지능 개발보다 시급한 공동체의 과제다. 기술과 법을 활용해 완벽한 대책을 마련하려는 시도는 무엇보다 위험하다. 기술과 법에 의존하려는 태도는 오히려 다양한 우회로와 부작용을 만들어낼 뿐, 문제의 근본적 해결에 도움이 되지 않는다.

인공지능 시대에 민주주의가 위협받는 현상에는 인간의 인지적 속성도 있다. 인간의 인지 능력은 기술과 달리 거의 진화하지 않는다. 사람은 성장기 때 교육과 학습을 통해 형성한 인지 방식과 사고 구조를 변화한 환경에 맞게 업그레이드하기를 꺼리는 '인지적 구두쇠'다. 심리학자 애덤 그랜트는 저서 <싱크 어게인>에서 "대상이 물건일 때 사람들은 열정을 다해 업데이트하지만 대상이 지식이나 견해일 때는 기존의 것을 고집하는 경향이 있다"고 말한다.

민주주의가 설계된 당시의 환경은 오늘날 인공지능이 민주주의를 위협하는 환경과 완전히 다르다. 이제 민주주의는 시대와 환경에 맞게 재발명되고 새롭게 모색되어야 하는 상황이 됐다. 이는 기술자들과 입법가들의 과제가 아니라, 자신이 위임하지 않은 기술 권력에 과다하게 의존하고 통제당하고 있는 시민들 모두의 각성과 토론에서 출발해야 하는 문제다.

위임받지 않는 거대 권력을 행사하는 인공지능 기술에 대한 시민적 통제를 도입해, 공동체 모두를 위한 도구로 만들어내기 위한 시도를 하기 위해서는 시민들의 자각이 무엇보다 필요하다. 이를 인공지능 시대에 새로운 시민적 과제로 요구되는 '디지털 시민성'이라고 부르고, 이를 도입하고 논의하기 위한 구체적 방법을 고민할 때다.  
 

▲ 구본권 / 한겨레 사람과디지털연구소장 ⓒ 구본권

필자 소개 : 이 글을 쓴 구본권은 디지털 기술이 펼쳐낼 세상과 그 속에서 살아갈 인간의 미래를 탐구하며 글 쓰고 강의하는 디지털 인문학자, IT 전문 저널리스트다. 〈한겨레〉 기자로 일하고 있으며 사람과디지털연구소 소장을 맡고 있다. <로봇 시대, 인간의 일> 외에 다수의 저서가 있다.

저작권자(c) 오마이뉴스(시민기자), 무단 전재 및 재배포 금지

덧붙이는 글 | 이 글은 <소셜 코리아>(https://socialkorea.org)에도 게재됐습니다. <소셜 코리아> 연재글과 다양한 소식을 매주 받아보시려면 뉴스레터를 신청해주세요. 구독신청 : https://socialkorea.stibee.com/subscribe