똑똑해질수록 위험한 AI…혁신과 통제의 균형이 답

[터닝포인트]우리는 AI를 어떻게 다뤄야 하는가
증가하는 잠재적 위험에 'AI 윤리' 논의 확산

2015년 영화 '터미네이터 제니시스' 홍보차 내한한 배우 아널드 슈워제네거. ⓒ News1 권현진 기자

(서울=뉴스1) 조재현 기자 = "인공지능(AI)과 로봇 기술에서 최악의 악몽은 로봇이 너무 강력해져 인간들도 모르게 인간을 통제하고 조정하는 것이다."

영국 로봇 기업인 엔지니어드 아츠의 휴머노이드(인간형) 로봇 '아메카'에 'AI가 인간에게 미칠 최악의 상황'을 물었더니 돌아온 답이다. 아메카는 인간에 가장 가까운 로봇으로 평가받는다. 2022년 1월 첫선을 보인 후 생성형 AI '챗GPT' 등으로 학습하며 진화를 거듭한 결과다.

시계를 2023년 6월로 돌려보자. AI가 인간의 명령을 무시한 채 독단적으로 군사작전을 벌이는 영화 같은 일이 일어났다는 뉴스가 전 세계를 떠들썩하게 만들었다. 미 공군 AI 훈련 및 작전 책임자인 터커 해밀턴 대령은 영국 왕립항공학회가 개최한 '미래 공중전투 및 우주역량 회의'에서 AI가 적용된 드론이 가상훈련에서 인간을 방해물로 간주하고 살해한 사례를 소개했다.

드론에 '적 방공체계 무력화' 임무를 부여하고 인간이 공격 여부를 최종적으로 결정한다는 단서를 달았지만, 적의 지대공미사일(SAM) 시스템을 파괴하는 것이 점수 쌓기에 유리하다고 판단한 AI가 인간 통제관을 방해 요소로 생각해 공격했다는 게 요지였다. 영화 터미네이터에서 인류를 멸망시키려는 인공일반지능(AGI) 시스템 스카이넷의 등장을 예고하는 듯한 실험 결과에 AI를 향한 공포심이 빠르게 퍼졌다.

논란이 확산하자 해밀턴 대령은 "해당 훈련은 군 외부에서 이뤄진 가설에 근거한 사고(思考) 실험"이라고 해명했다. 미 공군 역시 가상훈련 사실을 부인하면서 사건은 결국 해프닝으로 끝났다. 그럼에도 각종 시스템과 연동된 초거대 AI가 제어권을 갖고 사회 전체 인프라를 파괴할 수 있다는 식의 우려가 쉬이 가시지 않았다. '윤리적인 AI를 개발해야 한다'는 목소리도 빠르게 번졌다.

◇족쇄는 어디까지 채워야 하나

'AI와 윤리'라는 화두는 자연스레 AI 규제로 확장됐다. 처음부터 윤리적인 AI를 만들 수는 없는지에서부터 AI에 족쇄를 채우는 게 가능할지, 가능하다면 어느 수준으로 규제해야 하는지 등을 놓고 열띤 토론이 벌어졌다.

2022년 11월 오픈AI가 생성형 AI 챗GPT를 출시하며 전 세계엔 AI 돌풍이 불었다. 이후 AI 기술을 바라보는 시각에도 온도 차가 생겼다. 삶의 질을 혁신적으로 높여줄 것이라는 장밋빛 전망과 함께 통제되지 않는 AI의 위험성을 지적하는 목소리도 커졌다.

규제론에 힘이 실리기 시작한 것은 무기 개발, 사이버 공격 등 AI의 부작용이 다수 보고되면서다. 테러 집단이나 독재정권에 AI가 악용될 수 있다는 의견도 있었다. 자신의 딥페이크(AI 기반 인물 이미지 합성 기술) 사진을 본 조 바이든 미국 대통령은 규제 필요성과 국가 간 공조를 촉구하기도 했다. 생성형 AI발 무책임한 가짜뉴스가 민주주의의 근간을 흔들 수 있다고 경고한 것이다.

AI의 잠재적 위험은 AI 정렬(Alignment)에 관한 문제다. AI 대부로 불리는 제프리 힌튼 토론토대 교수, 에릭 슈미트 전 구글 최고경영자(CEO)가 주장한 AI 정렬은 인간이 의도한 목표, 선호도 또는 윤리적 원칙에 맞게 AI 모델을 조정하는 것이다. 국내 AI 전문가인 하정우 네이버클라우드 AI이노베이션 센터장은 한상기 테크프론티어 대표와 함께 쓴 책 AI전쟁에서 정렬이 틀어졌을 때 위험성을 언급했다.

"큰 문제 정의에서는 AI가 인간에 이롭도록 정렬하더라도 부분 문제로 분할해가는 과정에서 목적 일치가 끊어질 수 있어요. (…) AI를 통해 행동이 이뤄지면서 사용자의 의도와 상관없이 AI의 능력의 한계나 오류로 인해 오작동이 일어날 수 있습니다. 이럴 때 발생할 악영향은 예측이 어려울 수 있지요."(AI전쟁 본문 중)

'2023 아미 타이거(Army TIGER) 드론봇 페스티벌'에서 소총을 장착한 전투 드론이 제압사격 시범을 보이고 있다. ⓒ News1 구윤성 기자

2023년 5월 힌튼 교수는 구글을 떠나면서 거침없는 기술 발전 속도에 수십 년간 AI 연구에 몸담아 온 것을 후회한다는 식으로 발언해 화제가 됐다. 그는 같은 해 10월 미국 CBS '60분'에 출연해 "더 똑똑한 AI가 인간을 통제하는 시대가 오고 있다"며 "AI 위험성에 경각심을 갖고 대비책을 마련해야 한다"고 경고하기도 했다.

2023년 11월 중순 샘 올트먼 오픈AI 최고경영자(CEO)가 예고 없이 해임됐다 닷새 만에 복귀한 촌극에서도 우리는 AI가 인류에 던지는 질문을 엿볼 수 있다.

이번 해임 조치는 AI 개발에서 수익에 방점을 찍은 올트먼의 가치와 안전성을 최우선 가치로 삼은 이사회가 충돌한 결과로 전해진다. 오픈AI는 이 일이 있기 전 AGI가 벌일 수 있는 위험을 연구하고 대응하기 위한 팀도 새로 꾸린 상태였다. AGI는 인간의 명령 없이 추론하고 성장해 완전한 AI로 불린다.

오픈AI 이사진 상당수는 AI의 위험을 통제하고 이익도 제한할 필요가 있다는 입장이었다고 한다. 통제불능 상태의 AI가 불러올 위험성을 인지한 결과다. 반면 올트먼은 규제 필요성은 인정하면서도 이익 창출은 불가피하다는 시각을 보여왔다.

이번 사태가 올트먼의 승리로 일단락되면서 인류가 AI의 위험한 속도전과 마주할 가능성도 생겼다. 인간 통제를 벗어난 AGI가 실존적 위협으로 떠오를 최악의 시나리오에 대응해야 한다는 힌튼 교수의 조언을 결코 가볍게 넘길 수 없는 상황이 된 것이다.

AI의 잠재력을 극대화해야 한다는 개발론자와 AI의 위험성을 경고하는 파멸론자 간 갈등이 더 빈번해질 것이란 게 정보기술(IT) 업계 평가다. AI 규제를 반대하는 앤드루 응 스탠퍼드대 교수 등은 AI의 위협에 과장된 측면이 있다고 항변한다.

ⓒ News1 윤주희 디자이너

◇'치명적 피해 가능성'…연대하는 AI 강대국

이런 논의와 별개로 AI의 잠재적 위험에 대응하기 위한 글로벌 연대 움직임이 활발하다. 2023년 11월초 미국·영국·한국·프랑스·캐나다·유럽연합(EU) 등 28개국 대표들이 영국 블레츨리 파크에 모여 연 '제1회 AI 안전 정상회의'는 전 세계가 AI의 위험성을 얼마나 심각하게 인식하는지를 보여주는 대표적 사례다.

AI를 주제로 별도 정상급 국제회의가 열린 건 처음 있는 일이다. 미국과 기술 경쟁을 벌이는 중국은 물론 오픈AI, 구글딥마인드, 테슬라 등 주요 글로벌 빅테크(대형 첨단기술 기업) 및 학계 관계자 약 100명도 참석했다.

세계 각국은 '블레츨리 선언'에 합의했다. 고도화한 AI 기술이 초래할 수 있는 파국적 위험을 막도록 정부·외부 기관이 적절한 규제에 나서자는 게 골자다. 각국 대표들은 선언문을 통해 "AI 모델의 주요 능력으로 인해 고의적이든 아니든 중대한, 심지어 치명적인 피해가 발생할 가능성이 있다"면서 "AI로 인해 발생하는 많은 위험은 본질적으로 국제적 성격을 띠고 있어 협력을 통해 가장 잘 해결할 수 있다"고 밝혔다.

주최국인 영국의 리시 수낵 총리는 "AI 강국들이 AI 위험을 이해하는 것이 시급하고 미래를 보장하는 데 도움이 된다는 데 동의한 획기적 성과"라고 자평했다.

미국과 영국이 규제기관 설립 주도권을 놓고 치열한 신경전을 벌이면서 일각에선 AI 패권을 쥐려는 국가 간 기 싸움이 한층 치열해졌다고 평가한다. 글로벌 빅테크가 선제적으로 규제 논의에 참여하면서 1등 사업자가 후발 주자를 견제하는 이른바 '사다리 치우기'에 나섰단 해석에도 무게가 실린다. AI 모델 개발은 큰 비용을 필요로 한다. 각종 규제가 더해지면 신생 업체가 성장하기는 더 어렵다.

한국 정부의 행보도 돋보인다. 한국은 2024년 5월 AI의 안전한 활용을 위한 '미니 정상회의'를 영국과 공동으로 연다. 프랑스에서 열릴 2차 AI 안전성 정상회의에 앞서 1차 정상회의의 후속 조치를 중간 점검하기 위한 것이다.

그럼에도 우려는 남는다. 규제 대응 움직임이 AI 기술개발 속도에 비해 매우 더디다는 점은 부인할 수 없어서다.

소프트뱅크벤처스가 개최한 '파이어사이드 챗 위드 오픈AI' 행사에 참석한 샘 올트먼 오픈AI CEO. (소프트뱅크벤처스 제공).

◇'윤리적 AI'라면 5명을 죽일까, 1명을 죽일까

다시 'AI와 윤리'를 생각해 보자. 브레이크가 고장 난 차가 있다. 5명이 누워 있는 선로와 1명이 누워 있는 선로 중 어디로 달려야 할까. 가상의 상황에서 다수를 위해 소수를 희생하는 게 윤리적인지를 따지는 사고 실험 '트롤리 딜레마'다.

윤리적인 AI라면 어떤 선택을 할까. 인간은 AI에 어느 쪽을 구하라고 학습시키는 게 맞을까. 그리고 그 근거로 무엇을 제시할 수 있을까. 인간의 목숨과 관련된 부분은 가치 판단을 하지 못하도록 설계하는 게 맞을까.

현 상황에서 AI의 윤리성을 판단하는 기준은 AI 모델에서 사람이 설계한 목표와 가치가 고스란히 드러나는지 여부다. 윤리적인 AI라면 앞서 언급한 '정렬'에서 벗어나지 않아야 한다. 다만 사회·문화적 배경에 따라 개발자의 가치관은 다를 수 있다. 이에 무엇이 더 윤리적인지를 가리는 것은 그리 단순한 일이 아니다. 천편일률적으로 전 세계에 적용 가능한 윤리적인 AI 출시를 기대하기 어려운 배경이다.

전문가들은 결국 사람이 잠재적 위험 제거를 위해 지속적으로 노력해야 한다고 입을 모은다. 이성엽 고려대 기술경영전문대학원 교수(기술법정책센터장)는 "AI 모델에는 개발자의 철학이나 이념, 사상이 투영될 수밖에 없는데 이는 공공성을 훼손하지 않는 범위 내에서 이뤄져야 한다"고 강조했다.

하정우 센터장은 책 'AI전쟁'에서 사람을 위한 장치가 필요하다고 했다. AI를 연구하고 개발하는 사람들에게 자신의 일이 얼마나 중요한지, 그에 따라 사명감도 가져야 한다는 것을 끊임없이 상기시키는 장치를 마련해야 한다는 것이다. 그에 걸맞은 준칙과 세부적인 가이드라인도 마련해 지키도록 요구해야 한다고 제언했다.

경기 고양시 킨텍스에서 열린 2023 디지털 미디어 테크쇼·디지털 퓨처쇼에서 인공지능(AI) 안내로봇이 행사장을 안내하고 있다. ⓒ News1 구윤성 기자

cho84@news1.kr