AI 규제, 별도 기관 필요할까

‘AI는 친구가 아니다. AI는 사람이 아니다. AI는 늘 실수할 수 있다. AI는 인간의 도구일 뿐이다’라는 메시지를 잘 표현하는 친숙한 그림을 그려 달라고 업스테이지의 인공지능 서비스 ASKUP에 부탁해 나온 그림 / 이경전 교수 제공

인공지능(Artificial Intelligence·AI)은 기술, 학문의 이름이지 어떤 개체가 아니다. 인공지능은 (인간으로부터 주어진) 목표를 달성하기 위해 적절히 행동하는 기계를 만드는 방법론으로 정의된다. 생각하는 기계를 만드는 것이 아니며, 사람 같은 기계를 만드는 것도 아니다. 의식 있는 기계를 만드는 것도 아니다. 예를 들어 오픈AI가 개발·발표한 GPT-4는 다음에 나올 단어를 잘 맞추면서 동시에 특정 주제를 회피해 대답하라는, 인간이 준 목표를 잘 달성하도록 만들어진 것이다.

인공지능이 목표를 달성한다는 것은 수학적으로는 최적화 문제를 푸는 것이다. 요즘 인공지능의 대표적 방법론인 딥러닝은 아주 복잡한 비선형 최적화 문제를 푸는 것인데, 이론적으로는 의미 있는 시간 내에 최적해를 구할 방법이 없다는 것이 증명돼 국지적 최적화해(Local Optimal Solution)에 만족할 수밖에 없다. 이렇게 인공지능시스템은 결국 수학적으로는 매우 복잡한 최적화 문제를 푸는 것인데, 최적해를 보장하는 방법론이 없으므로, 인공지능은 영원히 실수할 수밖에 없다. 또한 학습을 최적으로 했다 해도 학습할 때 푼 최적화 문제가 실행 시 푼 문제와 달라져 실수를 한다. 그래서 1도 믿으면 안 된다. 믿고 했다가 문제가 생기면 사람 책임이 된다. 그래서 문제가 생겼을 때 비용이 큰 분야에는 적용이 어렵다. 위험이 큰 분야에서 AI가 실수하면 큰 피해를 주므로, 위험이 큰 분야에서는 느리게 적용될 수밖에 없다. 완전자율주행차가 아직 잘 안 되는 이유가 여기에 있다. 물론 이 위험에도 눈에 보이는 위험과 눈에 보이지 않는 미세한 위험이 모두 존재한다. 이러한 문제를 미리 체크할 주체는 오직 사람과 인간으로 구성된 조직이다. 이를 담당하는 개인과 조직은 지식과 경험이 풍부해야 한다. 이 주체 역시 AI를 도구로 활용해야 한다. 이른바 ‘인간-AI 루프(Loop)’가 필요하다. 창의적이고 비판적인 사고를 하고, 많은 지식을 가진 인간 주도 조직이 필요하다는 얘기다.

AI의 자의식에 대한 두려움은 과장 인류의 생존을 위협하는 인공지능이 출현할까봐 걱정하는 사람들은 인공지능이 의식이 있는, 스스로 독립된 개체가 될 것이고, 스스로 목표를 만들어서 행동할 것이라 예측하나, 아직은 과학적 근거가 부족하다. AI가 자의식을 가질 수 있다는 설득력 있는 과학적 증거가 없는 상황에서 이 같은 두려움에는 과장된 측면이 있다. AI는 자의식 없이 단순히 인간의 말을 따라하고 조합하는 것일 뿐이라는 설명이 더 과학적인 설명이다. 그러므로 AI 자체를 적으로 두고 싸우는 것은 반지성적 태도다. 과학적 근거가 부족한 주장에 기반을 둬 정책이나 제도, 기구를 만드는 것은 현명한 방법이 아니다.

미국 잡지 ‘The Atlantic’(2023년 5월 16일자)에 실린 다니엘 데닛의 글 삽화 / 해당 홈페이지 갈무리

더 중요한 정책적 이슈는 인공지능이 인류의 생존을 위협한다는 인공지능 대 인간종족의 대결 관점에 있는 것이 아니라 인공지능을 악의적으로 사용하는 사람들과 기업, 집단을 어떻게 막을 것인가와 알게 모르게 인공지능이 줄 수 있는 피해를 어떻게 예방할 것인가 등이다.

또한 컴퓨터나 인공지능이 보여주는 인간다운 행위에 인간들은 무의식적으로 인격을 부여하는 습성이 있다. 이를 의인화라고 하는데, 현재 인공지능 규제와 정책에 있어 핵심적인 어젠다는 이 ‘의인화를 어떻게 다룰 것인가’이다. 이 의인화와 관련해 모든 인공지능 기반 대화 서비스에 다음과 같은 규제를 해야 한다.

인공지능 의인화와 맹신 방지해야 첫째, 의인화 방지다. “이것은 사람이 아닙니다”라는 표식을 모든 인공지능 대화 서비스가 가져야 한다. 세계 각국이 어떤 공통된 아이콘을 만들어 ‘이것은 사람이 아니’라는 것을 표시하도록 해야 한다. 그리고 인공지능은 대화 중간중간에 “나는 사람이 아닙니다. 인공지능입니다”라는 ‘부인(否認) 양식’을 주기적으로 표시해야 한다. 이렇게 함으로써 인간이 인공지능을 사람으로 착각하는 의인화 습성에 빠져 오해나 탐닉, 집착하지 않도록 할 필요가 있다.

둘째, 인공지능 맹신 방지다. “제 대답은 진실이 아닐 수 있고, 틀릴 수 있고, 오류가 있을 수 있다”는 표식을 모든 인공지능 대화 서비스가 표시해야 한다. 또, 인공지능이 대화 중간중간에 “나의 이 대답은 틀릴 수 있고, 기계에 의해 생성된 잘못된 정보, 의견, 감정, 표현을 포함할 수 있다”는 ‘오류 단서’를 주기적으로 표시해야 한다. 이는 인간이 인공지능을 맹신할지 모르는 위험, 인간이 인공지능의 잘못된 대답을 가지고 잘못된 행동을 할 가능성을 피하기 위한 중요한 규제가 될 것이다.

미국의 인지철학자 대니얼 데닛(Daniel C. Dennett)은 가짜 인간이 판치는 세계에서 살 수는 없다고 역설한다. 위조 화폐가 사회에 대한 큰 위협이 돼왔고, 그래서 위조 화폐를 만들고 유통하는 자가 사형과 사지가 찢기는 형벌을 받아온 것처럼 실제 인간이 아닌데, 위조 인간을 만들어, 다른 인간들이 착각하게 만드는 것은 위조 화폐를 만드는 것에 못지않게 심각하게 처벌해야 한다고 주장한다. 데닛은 위조 인간(counterfeit people)은 고통을 느끼지 않는 등 처벌할 방법이 없으므로 비도덕적 행위자가 쉽게 될 수 있다고 설명한다. 형이상학적 이유가 아니라 단순하고 물리적인 이유라는 것이다. 위조 인간은 일종의 불멸이기 때문에 위조 인간을 만드는 기술 개발자에 대한 엄격한 책임이 필요하다고 설명한다. 사실 불법을 저지르지 않는 위조 인간을 만드는 것은 필요할 수 있다. 하지만 그 위조 인간이 사람들을 속이는 것, 의인화를 조장하는 것은 금지해야 한다. 따라서 대니얼 대닛은 의인화에 대한 새로운 태도, 새로운 법 제정 및 확산이 필요하다고 강조한다.

2022년 사우디아라비아의 수도 리야드에서 열린 ‘글로벌 인공지능 서밋 2022’에서 로렌스 드비어(Laurence Devillers) 프랑스 소르본대 교수는 가짜 인간을 만들어 사람들을 속이는 ‘조작(Manipulation)’의 전형적 사례로, 한국의 방송국 MBC가 방영한 가상현실 다큐멘터리 <너를 만났다>를 들고, 이를 비판했다. 고인이 된 딸, 엄마, 아내, 아들을 남은 유가족이 가상현실 기술로 만나 대화하는 모습을 애틋하게 보여줘 시청자들의 눈물샘을 자극했다. 마치 생전의 그와 정말 대화했다는 느낌을 갖게 하지만, 이는 엄연히 착각이다. 한 번 정도 그런 경험을 하고 싶은 유가족의 마음에는 동감하나, 여러 번 한다면 이는 착각에 빠져 허우적대는 모양새가 된다. 생전의 고인과 대화하는 게 아니라 시뮬레이션 서비스를 경험하는 것뿐이다. 또 다른 방송에서는 김현식, 김광석 그리고 음악 그룹 거북이의 리더였던 터틀맨의 목소리를 인공지능으로 재현해 시청자들에게 감동을 주었다. 모두 고인이 된 이 가수들은 자신들의 사망 이후에 발표된 다른 가수들의 노래를 자신의 목소리로 재현했다. 당사자 김현식과 김광석은 그러나 자신의 목소리를 사후에 이렇게 재현해도 좋다는 부분을 허락하지 않았다. 고 김현식은 저승에서 이렇게 말하고 있을지도 모른다. “이건 내 목소리가 아니야. 그런 것 하지마.”

가상현실 다큐멘터리 를 비판하고 있는 로렌스 드비어 교수 / ‘글로벌 인공지능 서밋 2022’ 홈페이지 영상 화면 갈무리

지금까지는 이러한 시도와 실험을 사회가 어느 정도 용인해 주었지만, 이제부터는 이와 관련한 제도와 정책을 잘 마련해야 한다. 우선 인공지능의 활용이 착각을 유도하고 조장해 사람의 심리를 조작할 위험을 예방하는 입법이 필요하다. 인공지능으로 생성된 대화에는 이것은 사람이 아니라 인공지능이 생성한 대화라는 표시가 필요하다는 뜻이다. 마치 우리가 먹는 음식을 누가 만들었는지 표시하는 제도와 유사하다. 대화, 텍스트, 이미지, 동영상 모두에 이렇게 인공지능이 만든 것인지 아닌지를 표시하는 행위를 의무화하는 입법이 필요하다.

진흥기구 환영하지만, ‘인증’은 시기상조 인공지능의 규제와 진흥과 관련된 이러저러한 내용 못지않게 정부 차원에서 어떤 조직을 만들어야 할지를 두고도 말이 많은 듯하다. 먼저 진흥의 관점에서 인공지능을 활성화할 진흥원을 만들고 싶다면, 15년 이상 된 각종 진흥원을 우선 폐지하기를 권고한다. 진흥원들이 초기에는 역할을 하지만 시간이 많이 지나면, 민간이 해야 할 일에 개입해 활력과 품질을 오히려 떨어뜨리기 때문이다. 시효가 다한 진흥원들을 폐지해야 한다. 그런 다음, 새롭게 인공지능의 관점에서 정부가 진흥 기구를 만든다면 강력히 찬성한다. 그렇다고 인공지능 기업 인증 업무까지 정부가 도맡겠다는 발상엔 동의할 수 없다. 발전하고 있는 인공지능에 숟가락을 올리겠다는 일부 기업과 공공 부문 사람들의 술책일 수 있다는 점에서 온 국민이 나서 경계해야 하는 부분이다. 정부의 역할은 진흥에 머물러야 한다. 아직 인공지능 인증을 논할 단계가 아니다.

그러면 AI 규제는 누가 할 것인가. 앞서 의인화 방지 제도, 인공지능에 대한 맹신을 방지하는 제도 등을 잘 다듬어 이용자들에게 제시할 필요가 있다고 설명했다. 다만 이를 별도의 전담 규제 기관에 맡겨야 하는지에 대해서는 의문이 있다. 규제 기관이 만들어지면, 그때부터는 그 기관을 위한 규제가 만들어질 수 있어서다. 규제 기관보다는 AI와 비AI 분야의 전문성을 가진 민간 위원들이 중심이 되는 민간 위원회가 AI의 진흥과 규제에 대한 제도와 정책을 잘 다듬어서 사회에 제시하는 형태가 가장 바람직할 것으로 생각된다.

AI는 친구 같지만, 친구가 아니다. 친구가 될 수 없다. AI는 사람처럼 말하지만, 사람이 아니다. 사람이 될 수 없다. AI에서 사람과 같은 목소리가 나지만, 사람은 아니다. AI는 그저 인간의 도구일 뿐이다. 틀리지 않을 것 같지만, 자주 틀린다. 그래서 인간에겐 비판적 사고와 지식이 계속 필요하다. 문제는 AI가 결코 지치지 않는다는 점이다. AI에게 창의적으로 질문하고 명령하는 능력을 인간이 지속적으로 꾸준히 키워야 하는 까닭이다. AI를 선한 일에 사용하고, AI에게 좋은 목표를 부여하는 사람들에게 인센티브를 줄 정책과 제도가 필요한 시점이다.

이경전 경희대 경영학과·빅데이터응용학과·첨단기술비즈니스학과 교수