AI 의사 검증 없이 도입하면 무슨 일 벌어질까

지난 2월 국회 법안심사소위 통과한 인공지능법, '우선허용·사후규제' 허용
부정확한 진단 우려되고 의료비 증가 및 의료 불평등 야기
"의료AI, 제대로 검증 후 공공 이익으로 돌아올 때 사회적 신뢰 얻는다"

[미디어오늘 박서연 기자]

“인공지능법은 인공지능에 '우선허용·사후규제 원칙'을 채택해 사전규제를 사실상 불가능하게 만드는 규제완화가 핵심이다. 그런데 반드시 AI에 국한하지 않더라도 우리는 충분치 않은 검증과 규제가 안전과 생명, 인권을 위협할 수 있다는 사실을 수없이 경험한 바 있다.” (전진한 보건의료단체연합 정책국장)

지난 2월14일 국회 과학기술정보방송통신위원회 법안심사소위에서 '인공지능산업 육성 및 신뢰 기반 조성 등에 관한 법률안'(인공지능법)이 통과됐다. 이 제정안은 인공지능기술 발전을 위해 '우선허용·사후규제 원칙'을 분명히 했다.

▲21일 오후 서울 영등포구 국회의원회관 제6간담회실에서장경태·황운하 더불어민주당 의원, 장혜영 정의당 의원 등이 주최한 'EU와 미국은 왜 인공지능을 규제하려는가?' 토론회가열렸다. 사진=박서연 기자.

21일 오후 서울 영등포구 국회의원회관 제6간담회실에서 장경태·황운하 더불어민주당 의원, 장혜영 정의당 의원 등이 주최한 <EU와 미국은 왜 인공지능을 규제하려는가?> 토론회가 열렸다.

이날 토론회에선 '우선허용·사후규제 원칙'의 폐해를 강조했다. 특히 과거 우선허용 기조로 인해 국민의 건강권이 위협을 받은 사례들이 있다.

전진한 보건의료단체연합 정책국장은 “가습기살균제 사태를 떠올려 봐야 한다. 이 일련의 사건 이후 사후규제와 피해보상은 이미 발생한 심각한 위해를 돌이킬 수 없고, 그런 피해의 입증과 사후규제도 어렵다는 사실을 보여줬다. 여러 사례에서 드러났듯이 기업들은 자사 제품의 문제점과 부작용을 알면서도 이를 은폐하고 출시하는 경우가 허다하다”고 말했다.

인보사 사태도 언급했다. 인보사는 코오롱생명과학이 개발한 세계 최초의 골관절염 세포유전자 치료제로 2017년 국내에서 시판 허가를 받았다. 미국에서 임상 3상을 진행하고 있었으나 인보사의 주성분 중 하나가 허가 당시 코오롱생명과학이 제출한 연골세포와 다른 종양을 유발하는 신장세포라는 의혹이 나오면서 2019년 3월31일 유통 및 판매가 중단됐다.

전진한 정책국장은 “사람들의 안전과 생명을 지키기 위해 국가가 엄격한 규제와 검증을 해야 할 필요는 점점 더 분명해지고 있다”며 “검증되지 않은 인공지능은 검증되지 않은 의약품보다 훨씬 더 위험한 결과를 초래할 수 있다”고 우려했다.

검증되지 않은 인공지능은 △부정확한 진단과 치료로 개인의 건강을 위협하고 △의료 불평등과 차별을 강화하고 △의료비 증가와 상업화 추세를 가속화하며 △의사결정의 책임소재 문제와 의료현장의 혼란을 유발하는 등의 문제를 낳을 거라고 주장했다.

IBM 왓슨이 의료 인공지능 중 최근까지 가장 각광 받는 존재였으나, 세계 암환자들에게 안전하지 않은 잘못된 치료를 권장했다. 전 정책국장은 “진단 정확도가 폐암의 경우 17.8%에 그쳤다. IBM은 이런 문제를 알면서도 홍보와 마케팅에 열을 올렸다. 많은 병원도 왓슨이 환자에게 도움이 되지 않는다는 걸 알고도 경쟁적으로 도입했다. 의료기관들이 인공지능에 대한 환상을 이용해 환자를 유치하고 높은 치료비를 청구할 수 있기 때문이었다”고 주장했다.

지난해 1월21일 IBM은 '왓슨 헬스'를 미국계 사모펀드 프란시스코파트너스에 매각했다. 같은해 한국경제는 1월23일 <IBM, 4조 원 쏟고도 '의료 AI' 손 떼나... '왓슨 헬스' 매각 결정> 기사에서 “IBM의 왓슨 포 온콜로지 등 의료 AI 솔루션들은 첫 등장까지만 하더라도 혁신 사례로 주목받았다. 국내서도 가천대 길병원, 부산대병원, 계명대 동산병원 등 다수 대학병원이 관련 시스템을 도입했다. 다만 떨어지는 진단 정확도가 약점이었다. 국내 대학병원들이 내놓은 의료진과 왓슨의 의견 일치율은 50% 전후에 불과했다. 결국 재계약 포기 사례가 속출했다”고 보도했다.

▲ 사진=GettyImagesBank

전 정책국장은 “문제는 IBM은 최근 왓슨을 헐값에 매각하고 시장에서 철수했는데 이미 왓슨의 진단과 치료 대상이 된 환자들이 받는 영향과 불필요하게 지출한 의료비에 대해서는 제대로 평가되거나 보상된 바가 없다”고 지적했다.

영국은 AI 의료 챗봇 '바빌론'을 도입해 치료가 필요한 환자를 걸러 국가 의료비용을 줄이겠다고 했다. 전 정책국장은 “규제 당국은 충분한 검증을 거치지 않고 이 서비스를 출시했다. 전문가들은 효과가 있다는 충분한 증거 없이 서둘러 출시했다는 우려를 초기부터 제기했다. 결과적으로 이 부정확한 챗봇은 도움이 필요한 많은 환자의 치료를 지연시켰다. 2018년 란셋에 게재된 논문에서 전문가들은 바빌론이 '현실적인 상황에서 의사보다 더 나은 성능을 발휘할 수 있다는 설득력 있는 증거를 제시하지 못하며 오히려 성능이 현저히 떨어진 가능성도 있다'고 결론냈다”고 했다.

성별 및 인종 등에 의한 의료 불평등도 우려했다. 전 정책국장은 “차별과 편견에 기반한 사회의 데이터로 학습한다는 사실 때문에 데이터의 질 자체에 문제가 없더라도 불평등을 심화시키는 결과가 나타나는 것”이라며 “미국에서 추가 자원이 필요한 환자를 선별하기 위해 널리 사용되는 AI는 흑인보다 백인 환자에게 더 많은 의료자원을 쓰게 한 것으로 나타난 바도 있다. 문제는 시스템 개발자가 현재의 병적 상태가 얼마나 심각한지를 확인하는 데 과거 대상자들이 사용한 의료비용을 대리지표로 활용했다는 점이다. 아프리카계 미국인들이 동일한 질병에도 과거에 더 적은 의료자원을 활용했다는 사실을 가지고 이들이 더 적은 의료자원을 필요로 한다는 잘못된 결론을 이끌어 낸 것”이라고 지적했다.

전 정책국장은 “인공지능이 흔히 의료 접근성을 높일 것라고 예측하는데, 이런 높은 접근성은 디지털 의료에 쉽게 더 많이 접근하는 '걱정 많은 건강한 이들'이 의료체계를 압도하고, 자원이 부족한 이들은 오히려 의료서비스에서 더 멀어지는 결과를 초래할 수 있다는 우려도 제기하고 있다”고 말했다.

그는 “AI 의사는 무료이며 편리하고 효율적 도구가 되기보다는 불필요한 치료를 유발하는 비용이 많이 드는 존재가 될 가능성이 높다. AI는 환자의 사소한 증상과 생체징후들을 더 예리하게 포착해 더 많은 검사를 요구하고 더 많은 청구서를 내밀 것이다. 이는 꼭 필요한 의료행위이기보다는 불필요하고 우려되며 때로 해로운 조치이기 쉬울 것”이라고 했다.

그는 끝으로 “시민사회가 발달된 기술을 적용하는 것에 반대하는 게 아니다”며 “오히려 제대로 된 검증이 있고 그것이 보편적 공공적 이익으로 돌아올 때 기술은 사회적 신뢰를 얻을 수 있다. 그래서 (발의된) 인공지능법은 폐기되거나 재검토돼야 한다”고 주장했다.

[미디어오늘 바로가기][미디어오늘 페이스북]
미디어오늘을 지지·격려하는 [가장 확실한 방법]