[매경의 창] 모든 것은 관계다

하등동물부터 인간까지
생존과 지능 기본 원리는
상대적 위치와 관계 감지
생성형 AI 메커니즘도 유사
인간 뇌와 관계 추구로 발전

하등동물의 생존은 자신과 먹이, 포식자의 상대적 위치를 감지하는 능력과 직결된다. 우리의 고등 개념도 다른 대상과의 상대적 관계 속에서만 정의될 수 있다.

모든 학문의 암묵적 코어는 관계 추구다. 분야의 전문가는 남들이 못 보는 수준의 관계를 본다. 은유적 사고의 결과다. 그래서 고등교육의 핵심은 긴장도 높은 은유를 감지하는 능력을 기르는 것이라고도 한다.

요즘 화두인 생성형 인공지능(AI)의 핵심도 관계 추구다. 거대한 추상화(공간 변환)와 상관성 계산 모듈이 연합해 관계를 추구한다. 물꼬를 튼 것은 자연어 처리 분야다. 2017년 트랜스포머 어텐션이란 이름으로 등장했다.

트랜스포머의 기본 처리 단위는 토큰이다. 자연어 처리의 경우 토큰은 단어 또는 단어의 일부가 된다. 필자의 연구실에서는 관찰 목적상 토큰과 단어가 일치하도록 세팅해서 트랜스포머의 단어 표현 변화를 관찰하고 있다.

각 단어는 예로 512개의 실수로 표현된다. 512차원 벡터다. 훈련을 시작할 때 각 단어는 512개의 실수가 아무렇게나 채워진다. 방대한 데이터로 학습을 마치고 나면 비슷한 단어는 표현이 비슷해진다. 훈련을 마친 단어들의 표현을 살펴본다. 'Calvin'과 'Klein'처럼 딱 붙어서 나타나는 단어들은 표현이 최고로 비슷하다. 'finally'와 'lastly' 같은 단어들도 매우 유사하다. 이들은 한 문장에서 나타나는 일은 드물지만 상대방 자리에 바꾸어 들어갈 수 있다. 주변 문맥이 비슷하다.

'big'과 'small'은 좀 뜻밖이었다. 필자는 처음에 이들은 뜻이 반대라 상이한 표현을 가질 것이라 생각했다. 살펴본 결과 이들은 매우 유사했고, 이내 납득이 되었다. 이들은 크기의 방향만 다를 뿐 속성은 유사한 점이 많다. 앞의 예들보다는 은유적 레벨이 높은 관계다. 상극도 관계의 공간에서는 비슷한 위치를 차지한다는 것을 알 수 있다. 필자의 연구실에서는 이런 것들보다 높은 은유적 관계는 어떤 것이 있는지 표현 관계 체인을 통해 탐색 중이다.

이런 작업은 관계 계산과 추상화(행렬곱셈)를 통하는데, 계산 복잡도가 너무 높아 특출한 부자 회사가 아니고는 모델 크기의 한계를 갖는다. 이런 상황에 처하면 경량화 이슈가 등장한다.

사람의 대뇌피질은 15만개 정도의 피질기둥으로 구성된다. 각 피질기둥에는 10만개 정도의 뉴런(신경세포)이 있는데 6층으로 이루어져 있다. 뉴런 간 연결은 이 6층에서 같은 층 뉴런과 상하층 뉴런 간 연결이 대부분이다. 인근 피질기둥과의 연결, 아주 먼 피질기둥과의 연결도 있다. 피질기둥들의 구성 원리가 유사하므로 피질기둥을 하나 만드는 메커니즘이 반복되어 전체 피질기둥을 만들 것으로 보인다. 존스홉킨스대학의 신경생리학자였던 버넌 마운트캐슬은 피질기둥이 우리 사고의 기본 모듈일 것이라 추정했다.

인간을 제외한 영장류의 대뇌피질에서 측두엽은 주로 공간감을 관장한다. 인간은 좌측두엽이 언어 기능을 관장한다. 공간감을 관장하던 측두엽 부위에서 피질기둥 연결 구조의 일부에 약간의 변이가 일어나 언어 기능이 발생했을 것이다. 아마도 우리의 고등사고는 공간감과 하부 메커니즘을 상당 부분 공유하고 있을 것이다.

공간감이 변해서 사고 작용이 태동했다. 그래서 마운트캐슬과 제프리 호킨스는 "생각은 움직임의 한 형태"라고 말했다. 생각은 운동과 많은 메커니즘을 공유하고 그 둘의 핵심에는 관계 추구가 있다. 포식자의 상대적 위치를 파악하는 메커니즘과 우리의 고등사고가 생각만큼 많이 다르지 않을 수 있다. 엄청난 행렬 계산을 통하지 않고 상대적 관계를 감지하는 뇌의 효율적 메커니즘이 AI 경량화의 한 후보다.

[문병로 서울대 컴퓨터공학부 교수]