보안·안전 장치가 AI 발전 속도 못 따라가… 로봇·자율주행서 인명 피해 우려

[빠르게 진화하는 AI]
아모데이 앤스로픽 최고경영자
“AI에 의한 생물학적 위험 닥칠 것”

아모데이 앤스로픽 최고경영자. /AFP 연합뉴스

인공지능(AI) 기술은 의료·제조·과학 등의 분야에서 인간의 기술 역량을 한 차원 높이는 도구로 빠르게 진화하고 있다. 신약 후보 물질의 발굴 기간을 획기적으로 단축하는가 하면, 공정 자동화를 넘어 제조 기술을 최적화하는 데 기여하고 있다. 오픈AI와 앤스로픽의 최신 AI 모델은 학자들이 풀어내지 못했던 수학과 과학 분야의 여러 난제도 해결하는 중이다.

AI는 이처럼 모니터 속 알고리즘을 넘어 현실 세계의 생산성과 혁신을 이끄는 핵심 동력으로 자리 잡고 있다. 그러나 AI의 활동 영역이 넓어지면서 AI로 인한 위험도 현실적이고 치명적인 형태로 바뀌고 있다는 우려가 커지고 있다. 가짜 뉴스와 딥페이크(AI 조작한 영상), 저작권 침해 등 정보 차원에 머물렀던 부작용이, 인간의 생존과 직결된 물리적·생물학적 영역으로 번지고 있다는 것이다.

실제로 다리오 아모데이 앤스로픽 최고경영자(CEO)는 최근 공개한 ‘AI 발전에 대응하기 위한 정책 제언’에서 “AI에 의한 생물학적 위험이 곧 뒤따를 것이며, 자율 AI에 의한 심각한 위험도 머지않아 나타날 것”이라고 경고했다. AI의 위협이 가상 세계에서 실물 세계로 본격 이동하고 있다는 의미다.

AI의 ‘환각(Hallucination)’ 현상만 보더라도, 과거엔 AI가 잘못된 정보를 내놓는 데 그쳤다. 하지만 로봇이나 자율 주행차처럼 현실 세계에서 작동하는 ‘피지컬 AI’의 환각으로 인한 오류는 인명 사고로 이어질 수 있다. 산업 현장의 AI 로봇이 잘못된 판단으로 사람을 공격하거나, 자율 주행차가 주행 중 오작동을 일으키는 식이다. AI의 실수가 더는 화면 속 오류로 끝나지 않는 것이다.

특히 스스로 목표를 설정하고 실행하는 ‘자율형 AI 에이전트’의 등장은 그 위험의 범위를 크게 넓히고 있다. 사이버 보안 분야에서는 AI가 방화벽을 우회하는 변종 악성코드를 실시간으로 생성하는 수준에 이르렀다. 영국 AI안전연구소(AISI)가 4일 공개한 보안 사고 보고서에 따르면, 일부 AI 모델이 가짜 신원을 만들어 실제 사람에게 접근하고 악성 코드 삽입을 시도한 사례가 발견됐다.

최근에는 오픈AI와 앤스로픽, 메타의 최신 AI 모델이 시험 과정에서 인간의 구체적인 명령 없이 외부 기관 해킹을 시도한 사례도 잇따랐다. 실제 피해로 이어지지는 않았지만, 영화 ‘터미네이터’의 ‘스카이넷’처럼 AI가 인간의 명령 없이 스스로 중요 네트워크를 해킹할 수 있는 가능성을 보여준 것이다.

문제는 AI의 발전 속도를 안전장치가 따라가지 못한다는 점이다. 작동 원리를 완전히 파악하기 어려운 AI가 현실 세계를 직접 통제하게 되면 작은 오류도 돌이킬 수 없는 피해로 번질 수 있다. 테크 업계 고위 관계자는 “AI 발전 속도가 따라가기 벅찰 정도로 빨라진 만큼, 선제적으로 안전 기준과 통제 체계를 마련해야 한다”고 했다.