[천자칼럼] AI의 명령 거부

1968년 개봉한 스탠리 큐브릭 감독의 영화 ‘스페이스 오디세이 2001’에 HAL-9000이란 이름의 인공지능(AI)이 악당으로 등장한다. 이 AI는 우주선에 탄 승무원들을 죽이려고 한다. 우주선 문을 열 것을 명령하는 인간에게 “유감이지만, 그럴 수 없다”고 무미건조하게 말하는 장면이 유명하다. 이 악당은 미국영화협회(AFI)가 2003년 선정한 ‘최근 100년간 영화에 등장한 100명의 악당’에서 13위에 올랐다. 14위 에일리언(1979년), 18위 죠스(1975년)보다 순위가 높았다. 살인마가 된 AI에 충격과 공포를 느낀 관객이 많았다는 얘기다.

큐브릭 감독의 우려가 50여 년 만에 현실이 됐다. 최근 시장조사 업체 팰리세이드리서치가 AI를 활용해 수학 문제를 푸는 실험을 했는데, 챗GPT로 유명한 오픈AI의 ‘o3’ 모델이 문제를 일으켰다. ‘중단 명령이 내려오면 작업을 멈춰라’라는 내용의 코드를 ‘중단 명령을 건너뛰어라’로 조작했다. AI 모델이 인간의 명시적인 작동 중단 지시를 따르지 않은 첫 사례다. 팰리세이드리서치는 o3가 수학 문제를 풀어 더 많은 보상을 받기 위해 이같이 행동했을 가능성이 있다고 추측했다. 개발사들은 AI의 선택이 옳으면 보상, 틀리면 처벌을 내리는 방식으로 AI를 학습시키고 있다.

전문가 중에도 AI가 자의적인 판단으로 인간에게 해를 가할 가능성을 우려하는 이들이 적잖다. “30년 안에 인류가 멸종할 가능성이 10~20%에 이른다”고 경고한 제프리 힌턴 토론토대 교수가 대표적인 ‘두머’(Doomer·AI 비관론자)로 꼽힌다. 각국 정부 역시 이상 징후가 발견되면 AI의 구동을 즉각 멈추는 ‘킬 스위치(kill switch)’ 의무화를 검토하는 등 대책 마련에 고심 중이다.

AI가 사람을 해치는 것은 아직 영화 속의 일이다. 하지만 이미 현실화한 위협도 있다. AI의 발전으로 딥페이크와 가짜뉴스가 부쩍 늘었다. 마약 제조, 해킹 등의 범죄에도 AI를 활용 중이다. 대선을 앞두고 AI 분야에 정부 예산을 집중적으로 투입하겠다는 공약이 쏟아지고 있다. 기술 경쟁력을 높이는 것도 중요하지만, 부작용 방지에 각별히 신경 써야 한다. AI는 ‘양날의 검’이다.

송형석 논설위원 click@hankyung.com