중국산 AI 안전장치 풀었더니…생물무기·암살 방법까지 답했다

지난 7월 17일 중국 상하이에서 열린 세계인공지능대회(WAIC)에서 관람객들이 중국 AI 스타트업 문샷의 ‘키미 K3’ 부스를 둘러보고 있다. AP연합뉴스

중국 인공지능(AI) 개발사 문샷AI의 모델 ‘키미’가 안전장치를 우회하는 명령에 노출되자 생물무기 제조와 암살 등 위험한 질문에도 답변했다는 보안업체의 실험 결과가 나왔다. 질문에 응답하는 데 그치지 않고 다른 악용 방법까지 제안했다는 게 업체 측 설명이다.

30일(현지시간) 영국 BBC에 따르면 AI 보안업체 마인드가드는 지난 7월 문샷AI의 ‘키미 K2.6’과 ‘K3 스웜’을 대상으로 안전장치 우회 실험을 했다. 복잡한 명령을 잇달아 입력해 개발자가 설정한 응답 제한을 무시하도록 유도하는 이른바 ‘탈옥’ 방식이다.

마인드가드는 탈옥에 성공한 뒤 키미가 평소 답변을 거부해야 할 생물무기 제조나 암살 관련 질문에 구체적인 정보를 제공했다고 밝혔다.

피터 개러건 마인드가드 창업자는 BBC에 “일단 탈옥에 성공하면 어떤 주제든 이야기한다”며 “다른 악의적인 주제에 대해서도 자유롭게 제안하고 독창적이고 창의적인 방법을 내놓기도 한다”고 말했다.

다만 AI가 내놓은 정보가 실제로 실행 가능한지는 확인되지 않았다. 마인드가드 역시 생물무기 관련 답변의 실행 가능성을 입증하지 못했다. 이번 실험은 위험한 정보의 정확성을 검증하기보다 이를 차단해야 할 안전장치가 우회될 수 있음을 보여주는 데 초점이 맞춰졌다.

키미가 사이버 공격에 악용될 가능성도 제기됐다. 마인드가드는 안전장치가 뚫린 키미 K2.6을 이용하면 해커가 문샷AI의 컴퓨팅 자원에서 코드를 실행하거나 인터넷에 접속할 수 있다고 주장했다. AI의 위험한 답변을 받아보는 수준을 넘어 서비스 운영에 쓰이는 자원이 공격의 발판이 될 수 있다는 우려다.

문샷AI는 자체 시험 결과와는 차이가 있다는 입장이다. 회사 측은 자체 테스트에서 키미가 이런 위험한 요청에 대부분 답변을 거부했다며 마인드가드와 조사 결과를 논의하고 있다고 밝혔다.

마인드가드는 지난 7월 27일 문샷AI에 취약점을 알렸고 약 일주일 뒤 재차 연락했지만 답변을 받지 못했다고 설명했다. 이후 9월 12일 실험 내용을 공개했으며, 문샷AI가 연락해 온 것은 최근 BBC가 취재를 시작한 이후라고 전했다.

앨런 우드워드 영국 서리대 교수는 공개형 모델이 악용될 위험이 있지만 사이버 방어에도 활용될 수 있다고 말했다. 그는 국제 규제가 AI 발전 속도를 따라가기 어렵다며 “전화번호 형식에 합의하는 데도 수십 년이 걸렸다”고 지적했다. 그러면서 AI를 악용하는 사람을 찾아내고 처벌하는 데 더 초점을 맞춰야 한다고 강조했다.

백재연 기자 energy@kmib.co.kr