"AI 환각, 생명 위협할 수도…피지컬 AI에 규제 패러다임 바꿔야"

[토론회] 서치원 변호사 "AI 판단이 곧 현실의 행동, 사전예방 원칙 필요"
"현실은 거꾸로"…자율주행법·개인정보법 잇단 완화

[미디어오늘 김예리 기자]

▲훈기 더불어민주당 국회의원실과 소비자주권시민회의, 참여연대는 2026년 5월20일 서울 여의도 국회의원회관 2세미나실에서 'AI 강국 실현과 일자리 보호' 토론회를 열었다. 사진=김예리 기자

현대자동차의 아틀라스 도입 논란을 계기로 '피지컬 AI' 담론이 확산하는 가운데, 피지컬 AI가 '생활공간 깊숙이 침투해 행동하는 AI'라는 점을 고려해 관련 규제의 패러다임 자체를 바꿔야 한다는 지적이 나왔다. 입증의 책임을 사업자로 전환하고, 정보를 수집할 땐 포괄적 약관 방식이 아니라 정보 주체의 세부 동의가 필요하다는 제언이다.

서치원 법무법인 원곡 대표변호사(참여연대 민생희망본부 공정경제분과장)는 지난 20일 서울 여의도 국회의원회관에서 이훈기 더불어민주당 국회의원실 등 주최로 열린 'AI 강국 실현과 일자리 보호' 토론회에서 “피지컬AI의 핵심 문제는 AI의 판단이 곧 현실세계에서 행동이 된다는 점”이라며 “생성형 AI의 환각은 텍스트 오류이지만 피지컬 AI의 환각은 생명과 신체를 침해할 수 있다”고 말했다.

이날 서 변호사는 현행 법체계의 기본인 '행위 책임 원칙'이 “인간 행위자를 전제로 설계돼 있다”는 점을 의미한다고 설명했다. 이에 현행 제조물 책임법도 인간이 피해를 입는 경우 피해자가 결함과 인과관계를 입증하도록 한다. 여기서 피지컬 AI 도입 시 일어날 피해 보호에 대한 공백이 생긴다. 서 변호사는 “피지컬 AI는 확률적 추론과 자율적 판단에 기반해 행동한다는 점에서 기존에 인간이 직접 제어해 예측 가능한 범위에서 작동하는 자동화 기계와 구조적으로 다르다”고 했다. 일례로 자율주행 배송로봇이 보행자를 친 경우, 하드웨어 제조사의 책임일 수도, 소프트웨어의 개발사 책임일 수도 있다. 혹은 운영 플랫폼의 책임인지, 데이터 학습 오류인지, 이용자의 과실인지 소비자는 알 수 없다.

그러나 소비자에게 피해의 인과관계를 입증시키는 현행 구조는 역효과를 낳고 있다. 그는 “최근 자율주행과 첨단 운전자 보조장치 관련 소송에서도 법원은 소비자의 입증 곤란성을 인정하면서도, 결국 결함 입증 부족을 이유로 청구 기각을 하는 사례가 반복되고 있다”며 “소비자가 결함과 인과관계를 입증하는 지금의 구조는 사실상 피해구제를 포기하라는 것”이라고 했다. “사업자가 안전성과 무결함을 반증해야 한다는 입증책임 전환은 불가피하다”는 지적이다.

서 변호사는 이어 “더 큰 문제는 AI 시스템이 사실상 블랙박스라는 점이다. 왜 특정 판단을 했는지 사업자조차 완전히 설명하지 못하는 경우가 많다는 것”이라며 “최소한 사고 발생 경위와 주요 판단 경로를 사후 추적하고 검증할 수 있는 가능성이 확보돼야 한다”고 했다.

피지컬 AI로 인한 피해는 생명 신체 침해로 이어질 가능성도 규제 설계에 고려해야 한다. 서 변호사는 “LLM 모델의 답변은 수정할 수 있지만 자율주행 사고로 사람이 죽으면 사후 배상으로 회복되지 않는다”며 “따라서 피지컬AI는 원칙적으로 사후 구제보다는 사전 안전 규제가 중심이 돼야 한다”고 했다. 그러면서 “인체와 환경 위해성에 대해 과학적 불확실성이 존재하는 경우 제품의 생산과 유통을 규제하는 '사전예방원칙'을 적용해야 한다”고 했다.

피지컬 AI의 또다른 특징은 일상 공간의 내부에 깊이 침투할 수 있다는 점이다. 서 변호사는 “피지컬 AI는 단순 개인정보 수집이 아니라 음성과 영상, 행동 패턴, 건강상태, 생활습관, 가족관계, 이동 동선 등 생활의 모든 면을 데이터화하고 수집할 수 있고 여기엔 민감정보가 다수 포함될 것”이라며 “그럼에도 전자 서비스에 관한 현재 동의 체계는 포괄적 약관 동의 방식에 머물고 있다”고 했다. AI 영역에선 기기 기본값으로 카메라와 위치추적, 감정분석 작동 전원을 두도록 하고, 오프라인 사용권(네트워크와 연결 없이 서비스 이용), 감시 거부권, 목적 회 활용 금지 등 강화된 수집 원칙을 제도화해야 한다는 지적이다.

서 변호사는 “그러나 현실은 반대로 향하고 있다”고 우려했다. 지난 3월17일 개정된 '자율주행자동차 상용화 촉진 및 지원에 관한 법률'이 한 예다. 개정법 '영상정보의 처리에 관한 특례(20조 2항)'는 자율주행시스템 성능 향상을 목적으로 한다면 AI가 개인정보가 포함된 영상정보를 수집하고, 익명처리 또는 가명처리하지 않은 채 이용할 수 있도록 했다. 지난달 14일엔 AI 기술개발 등을 위해서라면 정보주체 동의 없이도 개인정보 원본을 목적 외 이용하도록 허용하는 개인정보보호법 개정안이 국회 정무위원회를 통과했다. 서 변호사는 “이 법안은 개인정보보호위원회가 주도한 것으로 알려졌다”며 “이는 정보 주체의 통제권 약화라는 헌법적 문제를 수반할 수 있다”고 말했다.