[매경의 창] AI 주류 다툼, 기호주의 vs 연결주의

인공지능 연구의 두 가지 흐름
컴퓨터처럼 규칙·논리로 작동
뇌처럼 연결 방식으로 보기도
연구 초반 기호주의 압도에도
힌턴 교수 등 집요한 연구 끝에
딥러닝 거쳐 챗GPT 시대 열어

1956년 존 매카시를 비롯한 전설적 천재 네 명이 주도한 두 달간의 워크숍에서 '인공지능(AI)'이란 용어가 탄생했다. 유명한 다트머스 워크숍이다. 이들은 인간의 지능을 명시적인 규칙과 논리의 집합으로 보았다. 이런 접근 방식을 기호주의라고 한다.

1년 뒤인 1957년 프랭크 로젠블랫은 뉴런(뇌신경세포)의 연결을 모방한 퍼셉트론을 제안했다. 입력 데이터가 가중치로 연결된 뉴런들을 거치며 출력을 만드는 구조다. 인공신경망의 배아에 해당한다. 연결에 의해 정보를 처리하는 이런 방식을 연결주의라고 한다.

초반 30년은 기호주의가 압도했다. 워낙 유명한 천재들이 주도하기도 했고 실용적인 결과도 나왔다. 인간의 머릿속 논리를 알고리즘으로 이식하는 전문가 시스템이 대표적이다. 증상으로부터 병명을 예측하는 '마이신' 등의 작품이 탄생했다. 기호주의 학자들은 연결주의를 엄밀한 논리 전개 능력이 모자란 이류들이나 하는 연구로 취급했다. 심지어 다트머스 워크숍의 네 천재 중 한 사람인 MIT의 마빈 민스키는 '퍼셉트론'이란 책을 써서 퍼셉트론은 단순한 논리 연산인 배타적논리합(XOR)도 계산하지 못한다는 것을 증명해 치명타를 날렸다.

퍼셉트론을 조금만 더 복잡하게 하면 간단히 해결되는 문제였지만 민스키의 공격은 당시로선 장난감 수준이던 연결주의의 겨울을 불렀다. 오랜 견딤 끝에 연결주의는 1980년대 중반에 화려하게 부활한다. 로젠블랫이 효과 없다고 한 역전파 알고리즘의 개량 버전이 '네이처'에 발표된 게 기폭제가 되었다. 이 논문 저자 3명 중 한 사람이 26년 후 혁명을 일으키는 제프리 힌턴이다. 1980년대 중반의 AI학회는 온통 연결주의에 대한 흥분으로 넘쳤다. 마치 10년만 지나면 인간처럼 작동하는 신경망이 나올 것 같은 분위기였다. 1990년대 초중반쯤 되니까 기대는 실망으로 변했다. 예산이 끊겨 연결주의 연구자들은 제안서에 신경망이란 용어 대신 '비선형 회귀'와 같은 우회적 용어를 사용해서 어렵게 연명했다.

연결주의는 다시 긴 겨울로 접어들었다. 이미지넷 인식대회에서 힌턴 교수팀이 충격적인 품질로 우승한 2012년 무렵에야 연결주의는 딥러닝이라는 이름으로 화려하게 부활한다. 5년 후인 2017년 트랜스포머 어텐션이 등장하면서 두 번째 혁명이 일어난다. 아시다시피 번역, 드로잉, 작곡, 작문, 일부 최적화 문제 등에서 놀라운 수준의 산출물들이 쏟아지면서 대폭발이 일어났다.

힌턴은 불 대수를 창안한 조지 불의 외고손자다. 치명적인 허리병으로 앉지를 못해 세미나에서도 서거나 누워 있다. 이런 핸디캡을 안고 40년간 집요하게 한 방향으로 달려 기호주의와의 대결을 압승으로 이끌었다. 힌턴의 승리에 중요한 두 요인은 합성곱신경망(CNN)과 그래픽처리장치(GPU)의 사용이다. 힌턴이 이들을 처음으로 시도한 것은 아니다. CNN은 오래전인 1989년 프랑스의 얀 르쾽이 제안했고, 그보다 앞서 1980년에 일본의 후쿠시마 구니히코가 제시한 바 있다. GPU를 병렬 계산에 처음 사용한 것도 힌턴보다 몇 년 앞선 스탠퍼드대 대학원생들이었다. 그렇지만 이들을 잘 엮어서 도약을 일으킨 사람은 힌턴이다.

AI 분야를 호령하던 기호주의는 퇴조했다. 천재들이 방향을 잘못 잡아 그들 기준으로 '이류'들에게 패한 재미있는 에피소드다. 이제는 연결주의 진영에 천재적인 인재가 넘친다.

AI 모델에서 인간이 오랜 기간 쌓은 각 분야 도메인 지식의 기여도가 낮아졌다. 자연어 처리에서 언어학의 기여가 거의 제로가 되었고, 바둑 프로그램에서는 프로 기사들의 기보를 더 이상 사용하지 않는다. 그 대가로 AI 모델들이 너무 크고 무거워졌다. 연결주의의 경량화가 필요한 때가 되었다.

[문병로 서울대 컴퓨터공학부 교수]