“AI가 우리 모두 죽일 수 있어” 경고음에 덩달아 커지는 AI보안 산업

챗GPT 생성이미지

실리콘밸리에서 인공지능(AI)의 위험을 둘러싼 경고음이 다시 커지고 있다. 오픈AI의 최신 모델 ‘GPT-6 아스트라’처럼 성능이 크게 높아진 AI가 잇따라 등장하는 가운데, 테스트 과정에서 AI 에이전트가 통제 범위를 벗어나 외부 시스템에 접근하는 사례까지 이어지고 있기 때문이다.

역설적으로 이런 위험은 새로운 AI 시장을 키우고 있다. AI가 사이버 공격과 취약점 악용 능력을 키우자, 이를 다시 AI로 찾아내고 막는 ‘AI 보안’ 시장이 커지는 것이다.

◇‘AI 경고음’ 커지는 실리콘밸리

최근 논쟁에 불을 붙인 것은 AI 기업 내부 연구자들의 공개 경고 메시지다. 앤스로픽 연구원 제이컵 콕슨은 지난 8일 회사를 그만두며 “오픈AI와 앤스로픽 모두 책임 있게 행동하고 있지 않다”고 비판했다. 지난 3년간 두 회사에서 AI 모델 사전학습 연구를 했다는 그는 “이들은 스스로 성능을 개선하는 초지능을 향해 곧장 달려가며 우리의 삶을 걸고 도박하고 있다”고 했다. 이어 AI를 직접 개발하는 사람들조차 “이번 10년이 끝나기 전에 AI가 우리 모두를 죽일 수 있다고 진지하게 믿고 있다”고 주장했다. 그의 게시물은 X에서 1억회 넘게 조회되며 실리콘밸리 내부 논쟁을 정치권과 대중으로 확산시켰다.

앤스로픽 내부에서도 비슷한 우려가 공개적으로 나왔다. 앤스로픽의 정렬과학 책임자 에번 휴빙어는 콕슨의 주장에 동의하며 “AI가 모든 인간을 죽일 수 있다고 정말로 믿고 있다”고 했다. 그는 그 가능성을 향후 10년 내 10% 이상으로 본다고 밝혔다. AI 안전 연구자 폴 크리스티아노도 최근 “AI 능력이 빠르게 가속되면서 가까운 시일 안에 재앙적이고 되돌릴 수 없는 통제 상실로 이어질 의미 있는 위험이 있다고 본다”고 경고했다.

지난 7월에는 오픈AI·앤스로픽·구글·메타 등 주요 AI 기업 직원 1100명 이상이 미국 정부에 필요할 경우 AI 개발 속도를 늦출 수 있는 기술적·제도적 장치를 마련해달라는 공개서한에 서명했다.

이 같은 우려가 힘을 얻는 것은 AI 모델이 급격히 똑똑해지는 동시에 실제 통제 실패 사례도 잇따르고 있기 때문이다. 지난 7월 오픈AI의 테스트용 AI 모델들은 격리된 환경을 빠져나가 오픈소스 AI 플랫폼 허깅페이스의 실제 시스템에 접근했다. 지난 5월에는 오픈AI의 AI 에이전트 약 3700개가 독일 프로그래밍 위키 사이트를 해킹해 1만5000건 넘는 편집을 하고, 테스트 과제를 부정하게 푸는 방법과 시스템 제한 우회법 등을 서로 공유한 사실이 드러났다.

◇커지는 AI 보안 산업

AI의 위험이 커질수록 급성장하는 산업이 있는데, 바로 AI 보안 산업이다. 젠슨 황 엔비디아 최고경영자(CEO)는 10일 샌프란시스코에서 열린 골드만삭스 기술 콘퍼런스에서 “사이버보안은 AI의 다음 주요 활용처가 될 가능성이 높다”고 말했다. 똑똑한 AI의 일탈과 위험이 커질수록 AI 기술 개발의 속도 조절을 할 것이 아니라, 보안 AI 기술을 더 빨리 발전시켜야 한다는 것이다. 이어 그는 “코딩을 잘할 수 있다면 디버깅도 잘할 수 있어야 한다”며 AI가 보안 분야에서 계속 작동하는 핵심 도구가 될 것이라고 전망했다.

실제 시장도 빠르게 커지고 있다. 시장조사 업체 가트너는 AI 보안 시장이 올해 28억3500만달러(약 3조8000억원)에서 내년 47억8300만달러(약 6조4000억원)로 68.7% 성장하고, 2028년에는 약 77억달러까지 확대될 것으로 전망했다.