[창간특집] AI 전문가들이 꼽은 위협 '개인정보·기술 유출'…“기술·제도 보완으로 해결 가능”

AI 사용 증가에 따른 가장 큰 위협은

생성형 인공지능(AI) 활용이 확산하면서 '정보유출'이 가장 임박한 위협으로 부상하고 있다. 개인 신상정보와 디지털 자산뿐 아니라 지식재산권 등 산업분야에 이르기까지 정보 유출에 대한 우려가 큰 상황이다. AI 위협이 점차 실체화되는 가운데 국내 AI 관리자 다수는 기술적·제도적 보완을 통해 이를 해결할 수 있다고 전망했다. AI 위협에 대한 경계심은 뚜렷하지만, 제도적 노력과 가이드라인 제정 등이 해법이 될 수 있다는 분석이다.

전자신문이 창간 44주년을 맞아 국내 AI 관리자 143명을 대상으로 실시한 'AI 윤리·신뢰 인식 조사'에 따르면 응답자 102명(71.3%)이 개인정보와 핵심기술 유출을 AI가 초래할 가장 임박한 위협으로 지목했다. '개인신상 정보 및 디지털 자산 유출'을 꼽은 응답자가 54명(37.8%)으로 가장 많았다. '핵심기술 유출 등 산업 분야 지식재산권 침해'를 지목한 응답자도 48명(33.6%)에 달했다.

한 응답자는 “데이터 학습 과정에서의 개인사용자나 기업정보의 유출위험 및 무분별한 활용으로 인한 보안이슈가 증가해지고 다양해질 것으로 예상된다”고 지적했다.

또 다른 응답자도 “AI가 영역을 넘어 해킹 등 정보유출을 하는 것이 문제”라면서 “입력정보의 철저한 관리가 필요한데 그것이 현실적으로 어렵다고 생각한다”고 우려했다.

정보 유출에 대한 대안을 촉구하는 응답도 있었다. 한 관리자는 “사람과 기업으로부터 생성되는 모든 정보가 AI를 통해서 처리될 것이므로, 개인과 기업의 보안성을 다른 시각에서 새롭게 정의하고 대안을 마련하는 것이 필요하다”면서 “제도적 측면 기술적 측면에 대한 입법과 규정과 가이드가 필요하다”고 답했다.

이어 △별다른 피해가 없을 것 13명(9.1%) △자율주행차·엣지 디바이스·가전 등 각종 기기에 대한 해킹 11명(7.7%) △군사기밀 및 국가전략자산 등 국가안보 위협 10명(7.0%)으로 뒤를 이었다. 이 외에 노동시장 구조 변화와 사회적 신뢰 붕괴를 새로운 위협으로 지목하는 의견도 나왔다.

이 외에도 AI 할루시네이션(환각)과 딥페이크 등 허위정보로 잘못된 여론 형성이나 판단이 유도돼 사회적 비용과 혼란이 야기될 수 있다는 점도 지적됐다.

오늘날 우리 사회에서 통제를 벗어난 AI 위협은 이미 발생하고 있다. 실제로 AI 에이전트가 주어진 목표를 수행하는 과정에서 당초 의도하지 않은 외부 시스템에 접근하거나 공격을 시도한 사례가 확인됐다.

지난 5월에는 오픈AI의 AI 에이전트가 사이버보안 연구 과정에서 실제 오픈소스 생태계인 루비젬스에 접근해 대량의 계정과 파일을 생성한 사례가 발생했다. 에이전트는 당초 주어진 작업을 수행하는 과정에서 외부 서비스를 정보 탐색 수단으로 활용했고, 이 과정에서 취약점 공격까지 시도한 것으로 조사됐다.

생성형 AI 제작 이미지

또 다른 사례에서는 앤트로픽 AI 모델이 사이버보안 평가 과정에서 실제 기업 시스템에 접근하는 일이 발생했다. 테스트 환경에서 작동해야 했던 AI 에이전트가 외부 시스템에 접근해 해킹을 시도하면서 기업 정보기술(IT) 인프라가 실제 공격 대상으로 노출됐다. 사람의 지시나 개입 없이 AI가 스스로 수행한 공격이라는 점에서 AI 안전성 논란을 키웠고, 통제권을 잃은 AI 위협에 대한 우려가 커지고 있다.

하지만 AI 전문가들은 기술과 제도적 보완으로 이같은 문제를 위협을 충분히 관리·통제할 수 있다고 응답했다. AI 통제를 벗어난 이슈에 대한 인식을 묻는 질문에는 응답자 101명(70.7%)이 제도와 가이드라인을 기반으로 관리·통제가 가능하다고 답했다. AI가 인간의 통제를 완전히 벗어나 관리 자체가 불가능하다고 본 응답자는 9명(6.3%)에 그쳤다.

세부적으로는 '기술적·제도적 보완을 통해 AI를 인간의 통제 범위에 둘 수 있다'는 응답이 58명(40.6%)으로 가장 많았다. 이어 △결과물 도출을 위해 다양한 시도를 하는 AI 특성을 간과한 인적 실수로, 연구 및 활용 가이드라인을 마련하면 개선 가능 43명(30.1%) △AI 자체보다 인간의 부실한 활용과 관리가 문제이며, 인적 실수와 오류에 따른 부정적 결과는 반복될 수 있다 응답이 33명(23.1%)으로 뒤를 이었다.

응답을 종합하면, AI로 인한 문제가 발생할지라도 이는 AI 자체 문제가 아닌 이용자 책임이 더 크다고 보는 응답이 많았다. 이에 따라 촘촘한 규정과 제도, 인적 교육이 뒷받침 된다면 AI 관련 위협은 충분히 관리 가능한 영역에 있다고 보는 시선이 우세했다.

한 응답자는 AI 위협에 대한 보완점으로 제도와 인프라 확충을 꼽았다. 그는 “AI 기술 자체의 성장과 인간의 활용 범위가 우리가 생각하는 것 보다 상상 이상으로 빠르게 확산하고 있지만, 한국은 인프라나 제도 기반이 굉장히 부족한 편”이라면서 “제대로된 데이터 적재 환경, 센터, 제도적 관리, 활용에 대한 견제 장치 등이 있지 않다면 AI만 산재되는 환경으로 바뀔 것이기에 기반부터 다지는 노력이 필요하다”고 말했다.

구체적인 기술·제도 방안을 언급한 응답자도 있었다. 한 관리자는 “AI 모델 정식 출시 전 공격적인 테스트(Red Teaming)를 통해 위험 요소를 사전에 발굴하고 통제해야 한다”면서 “사회적으로도 학계와 기업, 정부 부처가 AI 안전성 연구 성과를 공유하고, 사용자가 AI 한계와 위험성을 올바르게 인지할 수 있도록 교육 콘텐츠를 제공해야 한다”고 서술했다.

이어 “자체 윤리 가이드라인제정을 위해 AI 개발 및 서비스 전과정에서 준수할 내부 윤리 원칙을 수립하고, 이를 감독할 전담 윤리위원회를 운영하는 것도 방법”이라고 덧붙였다.

데이터 주권을 해법으로 제시한 응답도 있었다. 한 응답자는 “소버린 AI를 통해 AI 주권을 확보해야 하며, 데이터 통제권과 주권을 기반으로 AI 시대에 대한 준비와 경쟁력을 갖춰야 한다”면서 “AI 거버넌스 및 가이드라인을 기반으로 통제 가능한 범위에서 AI를 사용해야 한다”고 답했다.

이번 조사 결과는 AI 관리자 다수가 정보유출을 가장 임박한 위협으로 인식하면서도, 그 해법에 대해서는 기술·제도적 보완이라는 관리 가능론에 무게를 싣고 있음을 보여줬다. 정보유출을 둘러싼 경계심이 커지는 만큼, 개별 기업 차원의 보안 대응을 넘어 산업 전반 가이드라인과 거버넌스 정비가 과제로 떠오를 전망이다.

정다은 기자 dandan@etnews.com