[김정호의 AI시대 전략] 인공지능도 ‘평생학습’ 시대, 반도체 수요가 폭발한다

“배움은 끝이 없다” AI도 마찬가지… 실시간 추론하며 평생 학습
막대한 추론 비용의 단위 ‘토큰’, 10년 내 현재의 1000배 될 것

그래픽=이철원

반도체 전문가가 되고 싶다면 대학에서 전자공학, 전산학, 또는 재료공학을 전공하면 좋다. 이때 기초과목으로 수학, 물리, 화학 등을 수강하고 전공과목으로는 반도체 물리, 반도체 소자, 반도체 공정, 회로 이론, 아날로그 설계, 디지털 설계, 컴퓨터 구조, 인공지능 등을 순차적으로 수강하게 된다. 4년 내에 이런 과목들을 모두 수강하기는 아주 벅차다. 많은 경우 대학원으로 진학해 석사 혹은 박사 학위를 받는다. 이러한 과정은 산업현장에서 실제로 뛰며 제품 개발에 참여하기 전에 쌓는 일종의 ‘사전학습(Pre-Training)’으로 볼 수 있다. 10년 이상 걸리기도 한다.

하지만 기업에 입사해 실질적으로 반도체 개발에 참여하려면 추가 교육이 필요하다. 제품 규격도 알아야 하고 설계 도구 사용법도 익혀야 한다. 반도체 설계 작업에 필요한 소프트웨어(EDA)는 300가지가 넘는다. 생산 장비와 시설도 이해해야 한다. 반도체 공정도 1000가지가 넘는다. 더 나아가 최신 기술 흐름도 배워야 한다. 그리고 팀원과 협력하고 소통하는 법도 배워야 한다. 입사 후 3년은 지나야 말이 통한다. 그 기간 동안 월급을 받으면서 성장하는 셈이다. 30년 이상 지속적으로 연구하고 탐구하면서 배워야 한다. 이처럼 세계적인 반도체 전문가가 되려면 ‘평생학습’과 ‘실시간 학습’ 그리고 ‘현장학습’을 몸소 실천해야 한다. 교육 비용도 많이 든다. 그런데 인공지능도 마찬가지다. 이제 ‘사전학습’ 시대가 저물고 ‘현장학습’ 시대로 바뀌어 가고 있다.

얼마 전까지도 인공지능은 사전학습에 무게를 두며 개발하고 서비스를 제공해 왔다. 인터넷에 이미 존재하는 데이터를 최대한 활용해 인공지능 학습에 사용했다. 이때 사전학습에는 엔비디아 그래픽프로세서(GPU)가 많이 필요했다. 그 사전학습 결과를 인공지능 모델의 변수에 담아 왔다. 그래서 인공지능 모델의 크기가 점점 더 커져 왔다. 그런데 사전학습으로는 세상의 정보를 모두 기억할 수 없다. 가끔 있지도 않은 사실을 인공지능이 사실처럼 말하기도 한다. 이를 ‘환각 현상(Hallucination)’이라 부른다. 그뿐만 아니라 최신의 실시간 정보는 인공지능이 알지도 못한다. 그래서 사전학습은 그 중요성을 잃어가고 있다.

이제 인공지능 학습 방법도 ‘실시간 현장학습’으로 바뀌고 있다. 인간이 인공지능 에이전트(Agentic AI)에 보고서를 쓰라고 요청했다고 가정하자. 인공지능은 해당 주제를 인터넷에 실시간으로 검색하고, 컴퓨터 저장장치에 기록된 자료들을 찾아 읽고 분석한다. 그것에 기초해 보고서를 작성한다. 경우에 따라 유튜브 동영상도 본다. 날씨에 대한 보고서를 작성한다면 세계 기상도 전체를 봐야 한다. 그러니 실시간으로 자료를 찾아보고 검색하며 배우고 익히고 그 결과를 바탕으로 보고서를 작성하는 능력이 더 중요해졌다. 발표자료를 만들고, 실행 계획을 짜고, 실제 동작(Action)도 한다. 이 실시간 현장학습 과정을 ‘추론(Inference)’이라 부른다. 요즘 인공지능의 중심이 추론이라고 하는 이유다.

이처럼 인공지능은 실시간으로 현장학습을 해야 실력이 늘고 경쟁력이 생긴다. 추론 과정에서 입력·출력 자료를 대규모로 축적해야 하기 때문에 반도체 메모리 수요가 급격히 증가한다. 학습 결과도 담아야 하기 때문에 더 필요하다. 그래서 실시간 학습과 저장에 고대역폭 메모리(HBM)와 낸드플래시 메모리 수요가 폭발적으로 증가하는 것이다. 학습 방법의 변화가 반도체 수요와 시장 그리고 순이익의 변화를 일으키고 있는 것이다. 그런데 인공지능의 학습은 여기에 머물지 않고 평생학습으로 진화하고 있다. 계속 변화하는 조건과 환경에서 새로운 과업을 맡으면서 경험이 쌓인다. 이러한 경험은 다시 반도체 메모리에 저장된다. 숨쉬고 눈 깜빡거리는 걸 제외하고 인간의 모든 학습과 작업의 결과가 죽을 때까지 계속되고 저장된다. 인간은 죽어도 학습 데이터는 남는다.

대학에서 반도체를 전공하려면 등록금을 내야 한다. 개인이 내거나, 기업 또는 국가에서 장학금 형태로 지원한다. 기업에 입사해서도 일정 기간 교육 비용이 지불된다. 마찬가지로 인공지능도 추론 과정에서 막대한 비용이 든다. 이 비용의 단위를 토큰(Token)이라 부른다. 이때 투입된 비용과 출력인 생산성의 관계를 ‘토큰 경제(Token Economics)’라고 한다. 인공지능 시대의 새로운 경제 지표다.

최근 인공지능의 역할이 점점 더 복합화되고 있다. 이를 다중 인공지능 에이전트라고 부른다. 여러 인공지능이 협력해서 과정을 수행한다. 그 숫자만큼 학습 데이터가 더욱 증가한다. 결국 10년 내에 토큰의 크기가 현재의 약 1000배로 증가할 것으로 예측한다. 화폐, 주식, 혹은 부동산 경제에서 토큰 경제가 화두가 될 전망이다.

인공지능 학습을 학생 교육에 비유하면 반도체 메모리는 교육을 위한 펜, 지우개, 공책, 교과서, 도서관, 교실과 같은 인프라이자 공간이다. 그 요구량과 가격이 계속 동반 상승할 수밖에 없다. 결과적으로 투자비도 증가하고, 데이터센터 유지비도 치솟는다. 그에 따라 전기 사용 비용도 늘어난다. 마침내 투자 대비 생산 효율을 생각해야 할 지점이 온다. 이를 정당화하지 못하면 ‘인공지능 거품’이 터질 수도 있다. 우리는 매 순간 배우고 죽을 때까지 공부한다. 인공지능도 그런 평생학습 시대가 됐다.