AI의 복잡성과 블랙박스 문제[IT칼럼]

Photo by Pietro Jeng on Unsplash

챗GPT, 바드와 같은 대규모 언어 모델 기반의 AI는 ‘블랙박스’ 문제를 안고 있다. AI 분야에서 블랙박스란 머신러닝, 특히 복잡한 딥러닝 기반의 AI 모델에서 두드러지는 문제로, 모델이 내부적으로 어떻게 작동하는지 관찰하거나 이해하기 어려운 문제를 뜻한다. 예를 들면 알파고의 경우에도 특정 게임에서 왜 저러한 특정 수를 둔 것인지 알파고 개발자도 설명하기 어려웠는데, 그 이유가 바로 블랙박스 때문이다.

AI에서 ‘모델’이라는 용어는 데이터로부터 특정 패턴이나 관계를 학습해 예측, 분류 등과 같은 작업을 수행하기 위한 수학적 표현을 의미한다. 모델은 알고리즘과 데이터를 사용해 구축되며 AI의 기술적 핵심 요소라고 할 수 있다.

최근 유행하는 AI에는 주로 딥러닝 모델이 사용된다. 그런데 딥러닝 모델이 가진 작동 방식의 복잡성, 학습 및 결정 과정의 불투명성은 블랙박스 문제를 증폭시킨다. 딥러닝 모델은 내부적으로 ‘신경망’을 사용한다. 인간의 뇌를 모방한 신경망의 각 노드와 레이어는 서로 연결돼 있으며, 수십억개가 넘는 파라미터(매개변수)가 수학적 연산을 통해 상호작용하도록 만들어져 있다.

신경망에서 파라미터는 가중치, 편향, 학습률 등을 제어하고 조정하는데 이를 통해 어떤 정보가 중요한지 파악하거나 과도한 학습으로 인한 오류를 방지하는 등 모델의 학습 경로와 의사결정 경로를 안내하고 최적화하는 데 중요한 역할을 담당한다.

딥러닝 모델은 수많은 파라미터가 상호작용하는 복잡한 구조로 인해 모델의 작동 방식을 이해하고 설명하기가 어렵다. 또한 학습 및 결정 과정에서 복잡한 알고리즘을 사용하는데 이 과정에서 수학적으로 많은 연산이 발생해 그 과정과 결과를 설명하기란 매우 어렵다.

블랙박스로 작동되는 딥러닝 모델에서 사용자는 입력과 출력만을 확인할 수 있다. 중간 과정이 어떻게 이루어지는지 명확히 알기 어렵다. 이는 여러 문제의 가능성을 내포한다.

첫째, 신뢰성 문제다. 작동 원리를 명확히 이해할 수 없다면 사용자와 의사결정자들이 AI를 신뢰하기 어려울 수 있다. 둘째, 윤리적 문제다. AI가 편향된 결정을 내리고 사회적 불평등을 유발할 수 있다. 셋째, 규제 및 법적 책임의 문제다. AI의 결정 과정을 설명할 수 없다면 특히 금융, 의료 등과 같이 엄격한 규제가 존재하는 분야에서는 법적 요구사항을 충족시키기 어려울 수 있다.

예를 들어 신용평가에 딥러닝 모델을 사용하는 상황을 가정해 보자. AI의 결정 과정이 불투명하면, 개인이 왜 특정 신용등급을 받았는지 이해하기 어렵고 기본적인 권리를 침해할 수 있다. 의료 진단의 경우도 마찬가지다. AI가 특정 진단을 내린 이유를 정확히 확인할 수 없다면, 잘못된 진단이 이루어질 수 있고 환자에게 심각한 영향을 미칠 수 있다.

이 모든 문제가 딥러닝 모델의 모든 결정이 완전히 불투명하다는 것을 뜻하지는 않는다. 최근 AI의 결정 과정을 해석하려는 XAI(Explainable AI·설명 가능한 AI) 연구가 활발히 진행 중이다. AI는 앞으로 더욱 투명하고 신뢰받을 수 있는 기술로 발전해 나갈 것이며, 또한 그래야만 한다.

류한석 IT 칼럼니스트