미 국방부에 ‘레드라인’ 그은 슈퍼 AI기업처럼…의료에도 필요한 3가지

[한겨레 오늘의 스페셜] 김준혁의 의학과 서사

앤트로픽사의 클로드2 로고.

지난달 26일, 이란에서의 전운이 고조되던 가운데 인공지능(AI) 업계에 파장을 일으킨 성명이 발표되었다. 챗봇 ‘클로드’로 두각을 나타내고 있는 앤트로픽의 대표 다리오 아모데이가 미국 국방부와의 2억 달러 규모 AI 모형 공급 계약 협상이 결렬되었다고 밝힌 것이다. 게다가 해당 인공지능 모형이 이란 관련 군사 작전 지원에 쓰였을 수 있다는 관측이 있는 상황에서 이 발표는 더 충격적이었다.

그는 미 국방부의 ‘안전장치 철회’ 요구를 받아들일 수 없었다고 선을 그었다. 양측의 갈등은 곧장 공개적 충돌로 번졌고, 미 국방부는 5일 앤트로픽을 ‘공급망 리스크’로 공식 통보했다. 과거 화웨이 같은 외국의 적대적 기업을 군 공급망에서 배제할 때 쓰던 낙인을 최근 프로그래밍 영역에서 큰 찬사를 받고 있는 기술 기업에 찍은 것이다. 효력은 즉각적이었고, 군 관련 업무에서 정부 계약자들은 클로드 사용이 전면 금지되었다.

사안의 심각성보다 사실 더 중요한 것은 그 내용이다. 미 국방부는 왜 그런 결정을 했는가? 미 국방부는 ‘모든 합법적 목적’에 대해 회사의 인공지능 모형을 사용할 수 있게 해달라고 앤트로픽에 요구했다. 그러나 앤트로픽은 두 가지 경우를 허용할 수 없다며 이를 ‘레드라인’이라고 불렀다. 첫째, 시민에 대한 대규모 감시에 인공지능을 사용해선 안 된다. 둘째, 완전 자율 살상 무기에 인공지능을 사용해선 안 된다.

이 두 개의 선이 문제가 되는 이유는 인공지능의 불명확성과 부정확성 때문으로 해석될 수 있다. 불명확한 시스템이 감시에, 부정확한 시스템이 살인에 동원돼서는 안 된다는 것. 그러나 그러면 결론이 이상해진다. 시스템이 명확, 정확해지면, 이제 인공지능은 감시와 살인에 사용되어도 된다는 뜻인가.

조르조 데 키리코 ‘시간의 수수께끼’(1911). 거대한 건축물과 지배적인 시계 앞, 인간은 왜소하다. 위키피디아

따라서, 문제는 인공지능이 얼마나 정확한가가 아니라, 그 정확성을 핑계로 인간을 얼마나 지워도 된다고 믿게 되느냐다. 그리고 이 두 개의 선은 전쟁의 문제만일 수 없다. 머지않아 병실과 수술실에서도 같은 선에 대한 질문이 제기될 것이다.

물론 앤트로픽이 흠 없는 기업이라는 뜻은 아니다. 그러나 최소한 미 국방부와 관련된 이 사안에서 어느 쪽이 옳은지는 명확하다. 그리고 이 문제는 단순히 한 회사와 정부 간의 갈등이 아니다. 우리는 인공지능이 우리 모두의 삶을 어떻게 위협할 수 있는지에 대한 명백한 사례를 확인하였다. 다른 무엇보다, 그것은 더는 공상과학이나 미래에 대한 외삽이 아니다. 그것은 지금 여기에서 벌어지고 있는 일이다.

영화 ‘보슬비가 내리겠지요’(1984). 브래드버리의 작품을 시각화한 나짐 툴랴호자예프 감독의 단편 애니메이션. 유튜브 화면 갈무리

보슬비가 내리는 아침, 인간 없는 정적

책이 금지된 디스토피아를 그린 소설 ‘화씨 451’로 유명한 레이 브래드버리가 남긴 단편 중 ‘보슬비가 내리겠지요’라는 작품이 있다. 2026년 8월4일 캘리포니아 앨런데일의 하루를 그린 짧은 소설로, 그 주인공은 집이다. 요새 표현으론 스마트홈인 이 집은 일정 자동 알림, 아침 준비, 청소, 정원 관리, 보안까지 스스로 해결한다. 심지어 표제이기도 한 세라 티즈데일의 시 ‘보슬비가 내리겠지요’를 집 주인의 취향에 맞춰 들려준다. 작품의 표현에 따르면 “이 집은 크고 작은 1만 명의 수행원이 조화를 이루어 시중들고 봉사하는 하나의 커다란 제단이나 다름없는 곳”이다(조호근 옮김, ‘화성 연대기’, 현대문학). 단, 시중과 봉사를 받을 사람이 사라졌을 뿐.

도시에 떨어진 핵폭탄은 도시도, 이 집에 살던 가족들도 모두 소멸시켜 버렸다. 남은 것은 검게 그을었지만 아직 버티고 있는 이 집뿐이다. 아무도 없는 집에서 시스템은 점심을 차리고 놀이를 준비하며 아이들을 위해 영상을 틀지만, 누구도 먹지도, 보지도, 즐기지도 못한다. 강풍에 집이 불타고 집은 끝까지 저항한다. 하지만 불길을 이겨낼 수 없다. 결국 벽체만 하나 남아 고장 난 시계처럼 날짜 알림을 반복하는 것으로 소설은 끝난다.

작품은 스마트 시스템이 문제라고 이야기하지 않는다. 이 모든 풍요에도 불구하고 핵전쟁의 위협이 모든 것을 삼켜버릴 수 있음을 경고하고 있을 뿐이다. 그러나 작품이 그려내는 빈집의 기괴함은 우리에게 이 모든 것이 무엇을 위한 것인지를 묻는다. 사람이 없다면 인공지능은 무엇을 위한 것인가. 실패하지 않는 자동화의 무심함은 무엇을 겨냥하고 있는가.

국방부와 앤트로픽 간의 대립은 ‘윤리 논쟁’이 아니라 조달과 공급망이라는 국가의 언어로 윤리를 문제 삼는다는 점에서, 지금까지 벌어진 인공지능 논란 중 가장 노골적이고 제도적인 충돌이다. 이미 일자리 대체나 여타 다른 문제가 제기되었지만, 이 대립은 우리가 인공지능을 사용하는 방식이 앞으로 인류의 삶을 직접 좌우할 것이라는 점을 극명히 보여주고 있다.

인공지능은 아르고스의 수백 개의 눈처럼 쉬지 않는 감시가 될 수 있고, 크레타를 지키던 청동 거인 탈로스처럼 스스로 적을 향해 움직이는 무기가 될 수도 있다. 그리고 여기에서 고민해야 하는 것은 힘의 크기나 그것의 작동 방식이 아니다. 그 힘이 누구의 손에서 누구를 향해 행사되는가가 문제의 핵심이다. 통제되지 않은 효율은 대상을 파괴하는 것을 넘어 ‘대상’ 자체를 지워버린다.

인공지능의 수술 대상은 ‘환자’인가

이것이 의료적 논의와는 동떨어져 있다고 생각하실지도 모른다. 그러나 이미 의료에서도 유사한 일들이 벌어지고 있다. 화제가 되었던 일론 머스크의 외과 수술 로봇이나 완전 자율형 수술실의 청사진이, 과연 미 국방부의 효율성에 대한 요구와 본질에서 다른 궤도에 있는가. 인간 없는 자리에서 인간을 위해 ‘봉사’하는 인공지능은 무엇을 만들어내는가.

완전 자율형 수술실이 두려운 것은 기계가 서툴러서가 아니다. 너무 정확해서, 환자를 판단의 주체가 아니라 최적화의 대상으로 바꿔버릴 수 있기 때문이다. 상상해 보자. 수술실에는 사람의 목소리 대신 알림음만 남아 있다. 로봇 팔은 떨림 없이 절개선을 긋고, 알고리듬은 심장박동과 산소포화도, 미세한 출혈량을 밀리초 단위로 최적에 맞춘다. 의사는 모니터 뒤에서 승인 버튼을 누르는 존재로 밀려나고, 환자의 두려움과 망설임과 동의는 체크박스 하나를 누르는 일로 축소되어 가볍게 취급될 뿐이다.

곧, 기술은 그 실패율을 줄일 것이다. 다만 그 완벽함이 환자를 ‘살아 있는 서사’가 아니라 ‘관리해야 할 변수’로 바꿔놓을 때, 그 방에 누워 있는 존재를 여전히 환자라고 부를 수 있을까. 그 수술실은 재로 변한 인간을 위해 빵을 굽고 청소를 하는 브래드버리의 빈집과 다르지 않다. 인간이 소거된 채 완벽하게 작동하는 시스템이 정말 유의미한 발전이고 미래인가.

결국 선택은 우리에게 달려 있다. 전쟁의 극한 상황에서 앤트로픽이 두 개의 선을 그었다면, 의료에는 세 가지의 타협할 수 없는 ‘레드라인’이 제도로 새겨져야 한다.

첫째, 환자 데이터를 치료 밖의 목적, 예컨대 감시, 통제, 차별로 대량 전용하는 일은 있어선 안 된다.

둘째, 인간의 충분한 설명과 책임이 담보되지 않은 채, 알고리듬이 치료의 우선순위와 생사의 결정을 자동으로 확정하는 일은 벌어져선 안 된다.

셋째, 환자를 효율적으로 최적화해야 할 객체로만 취급하는 일은 추구되어선 안 된다.

왜 이 세 가지 선인가. 이는 인공지능의 도입을 막거나 기술의 발전을 거부하자는, 변화에 대한 막연한 두려움으로 현상을 유지하자는 주장이 아니다. 오히려 기술이 가장 압도적인 힘을 발휘하는 순간에, 의료의 본질이 무엇인지 잊지 않기 위한 자리를 마련하려는 것이다. 의료는 단순히 고장 난 신체라는 기계를 수리하는 공학적 과정이 아니다. 그것은 질병이라는 폭력 앞에 내던져진 취약한 인간이, 자신의 고통을 증언하고 타인과 연결되며 삶의 서사를 회복해 나가는 지극히 인간적인 과정이어야 한다.

지금도 사실 이 선은 매우 취약하고, 인공지능 없이도 현대 의료는 선을 넘는 일들을 벌였으며, 그때 의료윤리와 법이 제동을 걸어왔다. 그러나 인공지능이라는 이름은 이제 이 선을 넘는 주사위 던지기가 될 것이다. 인공지능이 환자를 데이터로만 환원하고, 알고리듬이 책임질 수 없는 생사의 결정을 내리며, 시스템이 인간을 최적화의 대상으로만 취급할 때, 환자의 고유한 삶의 서사는 산산조각이 난다. 기술의 완벽함이 고통받는 사람의 얼굴을 마주해야 할 인간의 책임을 증발시키고 오직 수치화된 결과만을 산출해 낼 때, 치유의 공간은 차가운 통제와 관리의 공장으로 전락한다.

이 세 가지 레드라인은 압도적인 기술 앞에서도 인간의 자리를 포기하지 않겠다는 단호한 선언이다. 환자가 사라진 뒤에도 완벽하게 돌아가는 병원은, 더 나은 의료가 아니라 브래드버리의 기괴한 빈집일 뿐이다.

▶김준혁의 의학과 서사는?

의료윤리학자인 김준혁 연세대 교수가 ‘엄밀히 과학을 기반으로 하면서도 철저히 인간적인’ 의학이 직면한 현대의료의 다종다양한 질문에 답해나갑니다. 2017년 신문 연재를 시작으로 10년을 이어오고 있는 장기 연재 칼럼입니다. 한겨레 오늘의 스페셜(https://www.hani.co.kr/arti/SERIES/1238?h=s)에서 의학에 대한 더 깊은 인사이트를 읽어보세요!

김준혁 | 연세대 교수·의료윤리학자 junhewk.kim@gmail.com