AI의 생화학 무기 설계 막는 알고리즘 나왔다

생성형 인공지능(AI)의 발전으로 신약·백신 등 유용한 단백질 설계 속도가 급속도로 빨라졌지만 AI가 생화학 무기나 유해 독소 설계에도 악용될 수 있다는 우려가 나온다. 게티이미지뱅크 제공

생성형 인공지능(AI)의 발전으로 신약·백신 등 유용한 단백질 설계 속도가 급속도로 빨라졌다. 이면에선 AI가 생화학 무기나 유해 독소 설계에도 악용될 수 있다는 우려가 동반된다. 미국 연구팀이 AI로 생물학 무기 설계를 막는 알고리즘을 제시하며 '안전장치' 마련을 촉구했다.

멍디 왕 미국 프린스턴대 AI랩 교수팀은 AI가 생화학 무기를 설계하는 것을 막는 안전장치 알고리즘을 개발하고 연구결과를 28일(현지시간) 국제학술지 '네이처 바이오테크놀로지'에 공개했다.

생성형 AI는 알려진 유전체 염기서열이나 단백질로부터 새로운 분자를 예측할 수 있어 유용하지만 악용될 수 있다는 문제가 있다. 생성된 물질이 독성을 검사하는 기존 안전 검사 메커니즘을 우회할 가능성도 있다. 왕 교수는 "AI 접근이 너무 쉬워졌다"며 "박사 학위가 없어도 AI로 독성 화합물이나 바이러스 시퀀스를 생성할 수 있다"고 지적했다.

연구팀은 개발한 안전장치의 이름은 '폴드마크(FoldMark)'다. AI가 생성한 콘텐츠를 추적할 수 있도록 품질에 영향을 주지 않는 디지털 패턴을 삽입하는 것처럼 단백질 구조에 단백질의 기능에 영향을 주지 않는 일종의 '고유 식별코드'를 삽입하는 방식이다. 어떤 독소가 탐지되면 단백질 내 식별코드를 통해 출처를 추적할 수 있도록 한 것이다.

AI의 훈련 데이터에서 독소나 질병을 유발하는 단백질과 관련된 훈련 내용을 제거해 위험한 물질을 제안하기 어렵게 만드는 '언러닝(unlearning)' 접근법도 제안됐다.

AI 모델 자체가 잠재적으로 악의적인 명령을 인식하고 거부하거나 알릴 수 있도록 훈련시키는 '안티제일브레이킹(antijailbreaking)' 방법도 제안됐다. 예를 들어 AI가 위험한 분자를 생산하려는 시도가 있을 때 자율적으로 안전 담당자에게 알리는 식이다.

연구에 참여한 알바로 벨라스케즈 미국 국방고등연구계획국(DARPA) 연구원은 국제학술지 '사이언스'에 "안전 조치를 구현하는 것이 간단하지는 않을 것"이라며 "규제기관이나 감독 체계를 마련하는 것이 출발점이 될 수 있다"고 밝혔다.

제임스 주 미국 스탠포드대 교수는 "사람들이 AI와 생물학적 보안에 대해 가짜뉴스나 딥페이크만큼 많이 고민하지 않았다"며 "연구자들이 이 문제에 주목하기 시작했다는 점을 기쁘게 생각한다"고 밝혔다.

<참고 자료>
- doi.org/10.1038/s41587-025-02650-8

[이병구 기자 2bottle9@donga.com]