[김대식의 미래 사피엔스] [61] 데이터가 없는 시대

일러스트=조선디자인랩·Midjourney

챗GPT 같은 생성형 인공지능을 가능하게 한 “거대 언어 모델”(LLM)에서는 학습에 사용된 모델과 데이터의 크기가 결정적 역할을 한다. 모델과 데이터가 커지면 커질수록 성능이 향상된다는 말이다. 그것도 단순히 기능이 더 좋아지는 것이 아니라, 작은 모델은 본질적으로 풀 수 없었던 문제를 초거대 모델은 쉽게 해결하기 시작한다. 덕분에 실리콘밸리 빅테크들 사이에선 LLM ‘치킨게임’이 벌어지고 있다. 수십 조를 투자해 경쟁사보다 더 큰 모델을 만들고 더 많은 데이터를 학습시켜야 한다는 말이다.

그런데 여기서 세 가지 문제가 생긴다. 우선 LLM 학습에 필수인 GPU 확보가 큰 문제다. 가장 최근 출시된 1조 크기 거대 언어 모델 학습에는 1만대 이상 GPU가 필요하고, 5년 후 등장할 100조 LLM은 GPU가 수백만 개 필요할 거라고 예상한다. 둘째 문제는 전력이다. 1조 변수를 가진 LLM은 거의 1GW, 그리고 100조 모델은 100GW 정도 전력이 필요할 수 있다. 탄소 배출량도 문제지만, 그 많은 전력을 어떻게 확보할지도 문제다.

마지막으로 학습에 사용 가능한 데이터가 최근 부족해지기 시작했다. 인류는 천문학적으로 많은 데이터를 만들어냈고, 지금도 여전히 만들고 있다. 하지만 최근 등장한 LLM들은 인터넷에 올라온 데이터를 대부분 이미 사용했다. 앞으로 비공개 데이터까지 사용할 수는 있지만, 지금보다 100배, 1000배 큰 LLM 학습은 어려워 보인다. 그렇다면 생성형 인공지능을 사용해 LLM 학습에 필요한 새로운 데이터를 만들어낸다면? 최근 연구 결과에 따르면 AI로 생성된 데이터는 LLM 학습에 치명적인 오류를 만들어낼 수 있다고 한다.

인간의 노동 대부분을 인공지능이 대체할 수 있는 미래 사회. 그런 시대에 인간은 어떤 일을 할 수 있을까? 더 뛰어난 인공지능을 학습시키기 위해 새로운 이야기를 만들고, 새로운 춤을 추고, 새로운 노래를 부르는 것이 미래 인류가 허락받은 유일한 ‘노동’이 될 수도 있겠다.