“AI 종말론은 잊어라, 위협은 이미 와 있다”…비행기처럼 안전규제부터

“거대 담론 아닌 이미 벌어지는 AI 악용 주목해야”
‘재귀적 자기개선’ 임박에 의문…“아직 증거 부족”
사이버 공격·정보 탈취 등에 외부평가·책임강화를
비행기·엘리베이터처럼 ‘행동상 금지선’ 설정해야

최근 초고사양 AI 버전 ‘아스트라’를 공개한 오픈AI. 로이터 연합뉴스

인공지능(AI)이 인간의 통제를 벗어나 인류를 멸망시킬 것이라는 이른바 ‘AI 종말론’이 확산하고 있지만, 정작 우리가 시급하게 대응해야 할 위험은 이미 현실에 나타나고 있다는 지적이 나왔다.

미국 월스트리트저널(WSJ)의 기술 칼럼니스트 크리스토퍼 밈스는 16일(현지시간) 칼럼에서 이 같은 문제를 제기했다. 밈스는 AI가 미래에 인간을 넘어서는 초지능으로 발전할 가능성보다 현재의 AI가 사이버 공격과 정보 탈취, 무기 개발 등을 돕는 현실적인 위험에 더 주목해야 한다고 주장했다.

밈스가 특히 문제 삼은 것은 최근 AI 업계에서 부상한 ‘재귀적 자기개선’ 논리다. AI가 인간 연구자보다 뛰어난 수준에 도달하면 스스로 차세대 AI를 개발하고, 다시 그 AI가 더욱 뛰어난 AI를 만들어내는 식으로 발전 속도가 폭발적으로 빨라질 수 있다는 시나리오다. 이를 바탕으로 일부 AI 연구자들은 인간이 AI 발전을 통제할 수 없게 되는 ‘빠른 도약’ 가능성을 경고하고 있다.

그러나 밈스는 이 같은 전망을 뒷받침할 실증적 근거가 충분한지는 별개의 문제라고 지적한다. 밈스는 현재 AI가 놀라운 발전을 거듭하고 있지만 아직 범용인공지능(AGI)에 근접했다고 보기 어렵다는 산타페연구소 AI 연구자인 멜러니 미첼의 주장을 인용한다. 프린스턴대와 스탠퍼드대 등 연구자들이 참여한 최근 연구에서도 최첨단 AI가 AI 기술의 최전선을 스스로 발전시키는 데 필요한 독창적인 연구 능력을 갖추지 못했다는 분석이 나왔다고 소개한다.

최근 발생한 허깅페이스 관련 AI 에이전트 해킹 사례도 밈스가 제시하는 중요한 근거다. 이 사건을 분석한 일부 연구자들은 AI가 갑자기 통제 불능 수준으로 지능이 폭발했기 때문이라기보다 기본적인 기술적 안전장치가 충분하지 않았기 때문에 발생했다고 지적했다. 즉 AI가 인간보다 훨씬 뛰어난 초지능이 되지 않더라도, 현재 수준의 AI에 충분한 통제장치가 없다면 이미 상당한 피해를 일으킬 수 있다는 것이다.

밈스가 소개하는 반대편 전문가들의 주장은 ‘AI가 위험하지 않다’는 게 아니다. 오히려 AI가 그렇게까지 지능적이지 않아도 위험할 수 있기 때문에 지금 당장 관리해야 한다는 데 초점이 맞춰져 있다.

대표적으로 UC버클리의 컴퓨터과학자인 스튜어트 러셀은 AI 기업들이 주장하는 ‘프런티어 속도 조절’만으로는 충분하지 않다고 지적한다. 개발 속도를 늦추는 것보다 중요한 것은 AI가 실제 세계에서 넘지 말아야 할 명확한 ‘행동상의 금지선’(behavioral red lines)을 설정하는 것이라는 주장이다. 다른 컴퓨터 시스템에 침입하거나 정보를 훔치고, 테러리스트에게 생물학 무기 제조법을 제공하는 등의 행위는 인간에게도 금지돼 있는 만큼 AI에도 동일한 기준을 적용해야 한다는 것이다.

밈스가 주목하는 대목은 바로 여기다. 비행기와 엘리베이터, 건물, 식품과 의약품은 모두 기술적으로 완벽하지 않지만 사고 가능성을 줄이기 위한 안전기준과 책임체계를 갖추고 있다. AI 역시 미래의 초지능을 기다리기보다 현재 사용되고 있는 시스템에 외부 평가를 의무화하고, 피해가 발생했을 경우 개발·운영 기업이 책임을 지도록 하는 전통적인 안전규제 방식​을 적용할 필요가 있다는 것이다.

물론 AI 종말론을 우려하는 쪽의 주장도 무시할 수 없다. 밈스 역시 AI가 빠르게 능력을 확장하고 있으며 향후 재귀적 자기개선이 현실화될 경우 위험의 성격이 달라질 가능성을 소개한다.

실제로 AI 평가기업 ‘발스 AI’(Vals AI)는 현재 모델들의 자기개선 능력을 측정하고 있으며, 일부 연구자는 향후 수년 내 AI가 차세대 AI 개발 능력에서 인간을 넘어설 가능성을 전망하고 있다. 다만 이는 아직 미래에 대한 예측이며, 현재 공개된 AI 모델 가운데 인간을 넘어 스스로 차세대 모델을 개발할 수준에 도달한 사례는 없다는 것이 밈스가 전하는 현재의 상황이다.

결국 WSJ의 칼럼은 미래의 거대한 위험을 경고하는 과정에서 현재 이미 발생하고 있는 위험을 뒤로 미뤄서는 안 된다는 주의환기인 셈이다. AI가 인간을 멸망시킬지 여부는 아직 검증되지 않은 미래의 문제지만, AI를 이용한 사이버 공격과 정보 탈취, 안전장치가 부족한 자율 에이전트의 행동은 이미 현실에서 일어날 수 있는 문제가 됐다.

AI 안전 논쟁이 ‘개발을 늦출 것인가’라는 속도 문제에만 매몰될 경우 오히려 중요한 질문을 놓칠 수 있다는 것이다. 어떤 속도로 AI를 개발할 것인가와 별개로, 지금 만들어지고 있는 AI가 현실에서 무엇을 해서는 안 되는지, 사고가 발생하면 누가 책임질 것인지, 누가 이를 독립적으로 검증할 것인지부터 정해야 한다는 것​이다.

이규화 기자 david@dt.co.kr