북미보다 센 AI 규제 도입, EU보다 강한 보안 과징금 … 한국 AX, 족쇄 차고 뛸 판

사실상 세계 최초로 시행된 인공지능(AI) 규제법인 AI 기본법(인공지능 발전과 신뢰 기반 조성 등에 관한 기본법)은 시행과 동시에 집행이 유예되고 있다. 국내 AI산업 발전과 안전하고 신뢰할 수 있는 이용 환경 조성을 목적으로 제정돼 지난 1월 21일 공포됐지만 과학기술정보통신부는 기업들이 법 이행을 준비하고 혼란을 예방할 수 있도록 시행 초기에 최소 1년 이상의 규제 유예를 시행하고 있다. 이와 함께 정부는 지난달 25일 AI 기본법 제도 개선 연구반을 출범하고 다시 법 개정과 보완 작업에 돌입했다.

이 와중에 지난해 통신사, 전자상거래 플랫폼 기업, 신용카드사 등의 해킹 사건으로 단순 합산하면 6000만건 이상의 개인정보가 유출되는 초유의 사태가 일어남에 따라 정부는 정보통신망법과 개인정보보호법을 개정해 사후 제재를 크게 강화하는 방향으로 입법을 완료했다. 삼성SDS에 따르면 올해 기업이 주목해야 할 5대 사이버보안 위협 중 AI 기반 보안 위협이 81.2%로 압도적으로 높게 선정됐다. 이처럼 AI 발전으로 인한 보안 위협마저 고도화되는 가운데 기업들은 과도하고 불분명한 규제까지 더해져 대응에 부담을 느끼고 있다.

AI 기본법 합리적 개정안 마련해야

AI 기본법의 가장 큰 쟁점은 '고영향 AI' 판단의 불명확성이다. 이 법은 '사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 AI 시스템'을 고영향 AI로 정의한다.

문제는 '영향'과 '위험'의 기준이 모호하다는 점이다. 고영향 AI에 해당하는 것은 먼저 AI 기본법 제2조 제4호 각 항목에서 정한 여러 영역(에너지, 먹는 물, 보건의료, 의료기기, 원자력, 생체 인식, 채용, 대출 심사, 교통, 공공 서비스, 학생 평가 등) 중 하나에 해당한다. 다음은 사람의 생명, 신체의 안전과 기본권의 보호에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 것을 고영향 AI로 정의한다.

기업들의 경우 예컨대 채용, 대출 심사, 의료 등은 대부분의 기업 활동과 직결되는 영역이다. 어느 수준부터 '중대한 영향'으로 볼 것인지에 대한 객관적 기준이 부족하다.

한 대기업의 컴플라이언스 담당자는 "AI 기본법의 취지에는 공감하지만 고영향 AI 기준이 지나치게 추상적"이라며 "사전에 정부 판단을 받아야 하는 구조까지 더해지면 기업 입장에서는 사업 리스크를 감수하기 어렵다"고 토로했다.

특히 이 요건 중 채용은 모든 기업에 영향을 미친다. 다행히 정부는 채용 AI를 사용하더라도 최종 의사결정 과정에 사람이 개입하는 경우는 고영향 AI 대상에서 제외하기로 했다.

딥페이크 규제 사각지대…배포자도 처벌

AI 기본법에서 투명성 의무는 △AI 활용 사실 사전 고지 △생성형 AI 결과물 표시 △딥페이크 콘텐츠에 대한 고지와 표시 의무로 구성된다. 특히 표시 의무는 AI 개발사업자와 이용 사업자에게만 해당한다. AI 개발사업자는 챗GPT, 제미나이 등 AI 모델을 만드는 회사다. AI 이용사업자는 AI 모델을 활용해 AI 애플리케이션을 개발하고 제공하는 회사다.

이와 달리 AI 애플리케이션을 이용하는 웹툰 작가, 언론사, 출판사, 유튜버 등은 사업자가 아니어서 법 적용 대상에서 제외됐다.

문제는 이들이 딥페이크 생성물을 제작·활용하거나 워터마크 등을 삭제·훼손하는 경우에는 규제가 없어 최종 이용자를 보호할 수 없다는 점이다. 딥페이크 생성물을 유통하는 플랫폼에도 책임을 묻기 어렵다. 이들을 포함하기 위해 현재 사업자의 개념인 개발사업자, 이용사업자 외 배포자라는 개념을 추가할 필요성이 제기된다. 국내 애플리케이션 개발사 관계자는 "딥페이크 규제의 필요성에는 공감하지만 현재처럼 개발사와 서비스 제공자에게만 책임을 집중시키는 구조는 한계가 있다"며 "실제 콘텐츠 유통 단계까지 고려한 규제 설계가 필요하다"고 지적했다. 법 시행 시기도 중요하다. AI 기술 발전 추세와 글로벌 규제 동향을 모니터링하면서 다른 나라보다 규제가 가장 먼저 앞서가는 일은 없도록 해야 할 것이다. 법 개정 작업에 기업들이 직접 참여해 의견을 개진하는 것도 중요하다.

해킹에 대한 사전·사후 규제 동시 강화

지난해 대규모 해킹 및 데이터 유출 사고가 다수 발생하자 정부는 2025년 10월 '범부처 정보 보호 종합대책'을 발표하고 올해 3월 그 내용을 담은 정보통신망법 개정안을 국회에서 통과시켰다. 오는 9월부터 이 법이 시행된다. 주요 내용을 보면 먼저 침해 사고의 반복적 발생에 대한 과징금 부과 규정이 신설됐다. 고의 또는 중과실로 침해 사고가 5년 이내 기간에 2회 이상 발생한 경우 매출액의 3% 범위에서 과징금을 부과할 수 있다. 또 침해 사고 조사 시 시정명령 불이행, 자료 미제출, 출입 또는 조사에 대한 방해나 기피 등에 대해 이행 강제금이 부과된다.

과징금은 강한 억제력이 있지만 벌금, 과태료 등 다른 금전적 제재와 달리 부당 이득 반환의 성격이 있는 것이 과징금인데 부당 이득이 없는 경우에도 이의 부과가 가능한 것인진 법리상 의문이 여전히 남는다. 개인정보보호법상 과징금과 경합할 경우 기업에 과도한 부담이 될 수도 있다.

침해 사고 신고 기한과 신고 대상도 구체화했다. 기업들은 침해 사고의 발생 사실을 알게 된 때부터 24시간 이내에 침해 사고의 발생 일시 및 대응 현황 등을 신고해야 한다. 침해 사고 분석 대상 역시 '침해 사고 원인'에서 '침해 사고 발생 여부 및 원인'으로 확대됐다. 즉 정부가 침해 사고의 정황을 확보한 경우 기업의 신고 없이도 현장을 조사할 수 있게 된 것이다.

특히 사고 초기에는 원인 파악이 어려운데 '24시간'이라는 기한은 형식적 신고를 양산할 수 있고 정황 확보 시 현장 조사는 객관적 기준이 없으면 기업 경영의 자율성을 침해할 우려가 있다. 이에 대해 금융권의 한 관계자는 "침해 사고 발생 후 24시간 내 신고 의무는 취지와 달리 형식적 보고를 양산할 수 있다"고 말했다. 또 다른 보안업계 전문가는 "과징금 강화는 단기적으로 경각심을 줄 수 있지만 장기적으로는 기업을 사고 은폐나 소극적 대응으로 몰아갈 우려도 있다"며 "처벌과 함께 예방 투자 유인책이 병행돼야 한다"고 강조했다.

정보 보호 최고책임자(CISO)의 권한·지위 등 정보 보호 거버넌스와 내부 관리 체계도 강화됐다. 중견기업을 제외한 정보통신서비스 제공자는 임원을 CISO로 지정해야 한다. CISO의 업무에 정보 보호 인력 관리 및 예산 편성, 이사회에 대한 정보 보호 보고가 추가됐다. 다수 기업이 임원급 CISO를 채용할 여력이 부족해 형식적 명의의 임원 지정에 그칠 우려가 있다.

규제 강화로 형식적 신고·과도한 부담 우려

개인정보보호법도 개인정보 유출에 관한 규제를 대폭 강화했다. 가장 실질적인 변화는 과징금의 대폭적인 상향이다. 과징금의 상한을 전체 매출액의 3%에서 10%로 상향했다. 10% 과징금은 글로벌 기준인 유럽연합(EU)의 4%를 넘는 수준이다. 과징금이 10%라면 영업이익률이 낮은 유통·제조업 기반 기업들은 존립마저 위태로워질 수 있다. 단순히 상한을 높이는 것이 아니라 보안 투자 수준, 사고 대응 노력, 피해 최소화 조치 등을 과징금 산정에 반영할 필요성이 제기된다. 일정 수준 이상의 예방 투자나 인증을 갖춘 기업에 대해 감면하는 방안을 하위 법령에 구체화하자는 게 업계의 목소리다.

한 개인정보 분야 전문 변호사는 "매출의 최대 10%까지 과징금을 부과하는 구조는 글로벌 기준을 크게 웃도는 수준"이라며 "위반 행위의 중대성이나 기업의 사전 대응 노력을 반영한 정교한 산정 기준이 필요하다"고 말했다.

이번 개정안은 사업주 또는 대표자를 개인정보 처리 및 보호에 관한 최종 책임자라고 명시하고 인력과 예산 지원 등 총괄적인 관리 조치를 하도록 했다. 일정 기준에 해당하는 개인정보 처리자에 대해 개인정보보호책임자(CPO) 임명 시 이사회 의결을 거치도록 하고 개인정보보호위원회에 CPO 지정을 신고하도록 했다. 통지 의무 범위도 확대됐다. 기존에는 개인정보의 분실·도난·유출 등으로 정의했지만 개정안은 그 외에 위조·변조 또는 훼손까지 포함했다. 특히 정부는 모든 분야에 적용 가능한 집단소송제 도입을 추진하고 있다.

최근 정부 입법은 보안 사고에 대한 기업의 경각심을 높이는 효과가 있을 수 있으나 과도한 규제가 될 가능성이 크다. 자칫 처벌 회피에만 급급한 방어적 경영이 고착화될 경우 기업의 글로벌 경쟁력이 훼손될 수도 있다. 정부는 사후 처벌을 강화하는 것 외에 기업의 실질적인 보안 투자를 유도하기 위한 인센티브 방식의 규제를 시행해야 한다.

매출액의 10%에 달하는 과징금과 집단소송제가 현실화하면 보안 사고 발생 기업은 회생 불능 상태가 될 수 있다. 기업은 CISO와 CPO의 권한을 실질화하고 이사회가 주도하는 전사적 거버넌스를 구축하는 것은 물론 상시적인 보안 점검을 필수화해야 한다. 이 리스크를 낮추기 위해선 투명한 데이터 관리와 윤리적 AI 활용을 선제적으로 실현하는 기업에 대한 보상도 뒤따라야 한다.

[이성엽 고려대 기술경영전문대학원 교수·한국정보통신법학회장]