AI 기본법, 빨리 만드는 것보다 제대로 만드는 것이 더 중요하다

[기고] AI 시민주권과 인권보호, 무엇을 규제해야 하는가

[미디어오늘 오병일 진보네트워크센터 대표]

▲생성형 AI로 만든 인공지능 이미지.

정부여당은 인공지능 산업 육성을 위해 AI 기본법이 조속히 통과되어야 한다고 국회를 재촉한다. 더불어민주당 역시 이에 대해 반대하는 것 같지는 않습니다. 시민사회단체 역시 AI 기본법이 빨리 만들어져야 한다는 것에 반대하지 않습니다. 이미 다양한 인공지능이 우리 사회에 도입되고 있지만, 그것이 안전과 인권에 미치는 위험을 통제할 수 있는 규제법이 없기 때문입니다.

법을 빨리 만드는 것도 중요하지만, 제대로 만드는 것은 더욱 중요합니다. 이미 현실화되었거나 곧 닥칠 인공지능 위험을 통제하고, 피해를 구제할 수 있어야 한다는 것입니다. 예를 들어, 이미 많은 공공기관에서 도입하고 있는 채용 AI가 성별이나 지역을 차별하지 않고 공정하다는 것은 어떻게 보장할 수 있을까요? 경찰이 개발하고 있는 얼굴인식 시스템에 오류가 있을 경우 어떻게 피해를 구제받을 수 있나요? 거리를 주행하는 자율주행차가 사고를 일으킬 경우 어떤 AI 기능이 사고 원인이 되었는지 조사할 수 있나요? 어떤 기준으로 검증하는지에 대한 합의된 원칙도 없이 AI 교과서를 도입하여 학생들을 실험대상으로 삼아도 되는 것일까요?

이미 인공지능 위험은 가까운 현실이 되고 있습니다. 인공지능 산업 육성도 중요하지만, 국민의 안전과 인권을 보장하는 것은 국가의 의무입니다. 저는 지금 국회에서 논의하고 있는 AI 기본법이 최소한 이러한 우려를 해소할 수 있어야 한다고 생각합니다. 그렇다면, 이러한 우려를 해소하기 위해서 AI 기본법에 어떠한 내용이 포함되어야 할까요.

무엇보다, 안전과 인권에 중대한 영향을 미칠 수 있는 고위험 AI의 위험을 파악하고 완화하며, 피해를 구제할 수 있는 조항이 포함되어야 합니다. 유럽이나 미국 모두 위험기반접근을 취하고 있고, 고위험 분야를 규정하고 있습니다. 우리도 가능한 고위험 분야를 망라하여 법에 포함해야 합니다.

고위험 AI 사업자는 어떠한 의무를 부담해야 할까요. AI 시스템의 출시 전에 위험을 평가하고 완화하는 절차를 거쳐야할 것입니다. 사후에 문제가 생겼을 경우 원인을 추적하고 적절한 책임을 묻기 위해서는 관련된 사항들을 기록하도록 해야 합니다. AI 시스템의 문제는 훈련을 위한 데이터로부터 발생하는 경우가 많기 때문에, 데이터의 편향성 등이 없도록 관리하는 거버넌스 체제를 갖춰야 합니다. 개발자는 AI 시스템의 운영자에게 기능과 위험성, 사용의 요건 등에 대한 충분한 정보를 제공해야 할 의무도 있습니다.

둘째, AI 시스템의 개발자 및 제공자 뿐만 아니라, 이를 실제 사용하는 운영자도 부담해야할 의무가 있습니다. 적절한 역량을 가진 사람이 관리감독하도록 하고 운영 중에 문제가 없는지 항상 모니터링해야 합니다. 고위험 AI 시스템의 운영자는 실제 운영 환경을 고려하여 인권영향평가를 수행할 필요가 있습니다. 운영자 역시 로그기록을 남기고 일정기간 보관해야 합니다. 회사가 노동자의 승진이나 해고에 영향을 미치는 AI를 운영하려 할 때 노동자에게 그 사실을 공개해야 하고 노동자 대표가 이 문제에 대해 교섭할 수 있어야 합니다.

셋째, 고위험 AI 사업자의 의무를 정부가 일일히 감독할 수는 없습니다. 그래서 고위험 AI 사업자가 법에서 정한 의무를 제대로 준수하고 있는지 인증하는 제도가 필요합니다. 전문성을 가진 인증업체가 인증을 하고, 정부는 적절한 역량을 가지고 있는지 평가하여 인증업체를 지정하면 됩니다. 이미 정보보안이나 개인정보보호 분야에서도 이러한 인증을 하고 있습니다.

넷째, 고위험 AI 뿐만 아니라, 어떤 AI의 개발 및 사용은 금지해야 합니다. 연령, 장애, 사회경제적 취약점을 악용해서 심각한 피해를 야기하는 AI의 개발과 판매를 용인해야 할까요? 실시간으로 사람들의 얼굴을 인식하여 용의자인지 대조할 수 있는 감시 기술을 허용해야 할까요? 중국에서 일부 도입하고 있는 사회신용시스템, 미국 클리어뷰 AI와 같이 인터넷에서 얼굴을 무차별적으로 긁어서 얼굴인식 기능을 수사기관에 제공하는 시스템은 어떨까요? 어떤 AI를 허용하고 금지할지 우리 사회의 기준이 무엇인지 토론해야하지 않을까요? 아무런 규제없이 이런 기능을 도입해 사업화 하는 AI 기업이 나타난다면, 나중에 규제하는 것은 더욱 힘들어질 것입니다.

다섯째, 범용 AI 모델, 파운데이션 모델, 프론티어 AI 등으로 불리는 최첨단 AI에 대한 규제도 포함해야 합니다. 한국 역시 그러한 모델을 개발하는 업체가 있기도 하구요. 최첨단 AI 개발에 대한 적절한 지침을 제공하는 것이 기업에게도 도움이 될 수 있습니다. 다양한 고위험 AI 시스템으로 활용될 수 있고 심각한 안보 위협을 초래할 수도 있기에, 그에 상응하여 위험성을 통제할 수 있는 테스트를 수행하고 시스템과 관련된 정보를 감독 당국에 보고해야 할 의무를 부과해야 합니다.

여섯째, 이러한 의무 위반에 대해 제재할 수 있는 처벌 규정이 포함되어야 합니다. 의무 이행에는 비용이 드는 만큼 기업들이 자발적으로 준수할 것을 기대하기가 어렵기 때문입니다. 의무가 합리적이라면 기업이 처벌 규정을 두려워할 이유가 없을 것입니다. 의무를 준수하는 기업의 인공지능 제품은 시장의 신뢰로도 이어질 테니까요.법 제정에는 찬성하면서 처벌 규정을 넣는 것에 반대하는 것은 자신들의 이익에 반하게되면 지키지 않겠다는 것이나 마찬가지입니다. 과연 자율규제로 충분할까요? 지금 AI를 개발하고 있는 그 기업들이 공정거래법과 개인정보보호법을 위반해서 제재를 받고 있는 그 기업들 아닌가요?

일곱째, 그러나 가장 중요하게 포함되어야 할 사항 중 하나는 AI로 인해 피해를 입은 사람들의 권리를 규정하고 구제할 수 있는 절차를 마련하는 것입니다. AI에 의한 결정이 부당하다고 생각한다면, 이에 대해 설명을 요구하거나 거부할 수 있어야 합니다. 또한, AI 제품이나 서비스로 인해 권리를 침해받은 사람들이 어디엔가 진정을 제기하고 권리를 구제받을 수 있는 제도적 장치가 마련되어야 합니다.

마지막으로, AI 시스템을 규율할 독립적인 감독기구가 필요합니다. 현재 AI에 대한 주무부처는 과학기술정보통신부로 되어 있습니다. 그러나 과기정통부는 AI 산업육성에 중점을 두어 왔고, AI 위험성을 규제해야 한다는 목소리를 계속 외면하고 있기 때문에 과기정통부에 대한 시민사회의 신뢰는 높지 않습니다. 기존에 이용자 보호 업무는 방송통신위원회가 맡아 왔습니다. AI의 위험으로부터 시민들의 안전과 인권을 보호하는 업무는 어디서 맡아야 할까요? 과거에 행정안정부와 방통위가 맡고 있던 개인정보 감독업무를 2020년에 개인정보보호위원회로 이관한 것처럼, 독립적인 감독기구의 설립도 고려할 필요가 있습니다. AI 기본법이 실효성이 있을지는 이러한 요구들이 얼마나 담길지에 달려 있습니다.