샘 알트먼이 "눈물 흘릴 정도"라던 AI 컴퓨팅 비용, 앞으론 어쩌나 [스프]
챗GPT나 제미나이, 코파일럿 같은 생성형 AI 등장과 함께 인공지능이 우리 일상으로 성큼 다가오면서, 이와 맞물려 전력 사용의 문제가 급부상하고 있습니다. 이번 지구력은 전형적인 문과 출신 '컴알못' 기자의 시각에서 AI 전력 사용의 문제를 풀어봅니다.
먼저 지난 2022년 12월로 가봅니다. 당시 오픈AI가 챗GPT를 처음 일반에 공개한 뒤 닷새째를 맞던 날이었습니다. 불과 닷새 만에 이용자 100만 명 돌파라는 기염을 토했는데, 오픈AI CEO 샘 알트먼이 이 같은 사실을 트위터에 올렸습니다. 그러자, 한 팔로워가 챗GPT 이용료를 영원히 무료로 할 거냐고 묻습니다. 알트먼은 이에 대해 "언젠가는 유료화해야 할 거"라며, "컴퓨팅 비용이 눈물을 흘릴 정도"이기 때문이라고 답합니다.
이러자, 또 다른 댓글이 붙습니다. 지금은 오픈AI와 법정 다툼을 벌이는 당사자죠. 테슬라의 일론 머스크입니다. 당시만 해도 둘이 꽤 가까운 사이였던 거 같습니다. 머스크는 챗GPT의 챗 하나당 비용이 얼마냐고 물었고 이에 대해 알트먼은 "단 자릿수의 수 센트"라고 답을 합니다. 이 트윗들을 보면 AI 모델의 전력 소모를 비롯한 비용 문제가 얼마나 고민인지 드러납니다.
수학교수와 초등생에 비교해 본 CPU 대 AI 연산
AI 컴퓨팅의 특성은 단순 병렬 연산의 무수한 반복이란 겁니다. 자동차 타이어 사진을 주고 AI가 이를 알아맞히는 문제를 푼다고 가정하면, AI는 이제껏 자신이 학습 저장해 온 무수한 동그라미 형태의 물체들을 호출해서 이와 가장 똑같은 물체를 찾아낼 때까지 단순 작업을 동시에 대량으로 되풀이하는 식입니다.
이를 위해 AI칩의 대명사로 떠오른 엔비디아의 GPU는 프로세서 내에 연산을 수행하는 단위인 코어가 수천 개에 달한다고 합니다. 반면 종전 컴퓨터에서 썼던 CPU는 이 같은 병렬 연산이 어려운 구조입니다. 코어 숫자도 많아야 5~8개 정도라고 합니다. 그래서 CPU 연산을 빗대 똑똑한 교수 1명이 어려운 수학 문제 풀기로 표현하는 반면 AI칩(GPU) 연산은 초등학생 1천 명이 쉬운 산수 문제를 푸는 것과 비교하기도 합니다.
메모리-프로세서, 이동 거리를 좁혀라
삼성전자나 SK하이닉스가 앞으로 도전하려는 AI칩의 핵심도 여기에 있습니다. 어떻게 하면 메모리와 프로세서 간 이동 거리를 줄이느냐 하는 겁니다. 그래서 생각해 낸 게 PIM인데요. 'Processor in Memory', 즉 메모리 내부에 프로세서를 심어서 이동 거리를 대폭 줄인다는 개념입니다. 전력 소모도 줄이고 처리 속도도 빨라진다는 겁니다.
(남은 이야기는 스프에서)
장세만 환경전문기자 jang@sbs.co.kr
Copyright © Copyright ⓒ SBS. All rights reserved. 무단 전재, 재배포 및 AI학습 이용 금지
- 부산 해운대해수욕장서 시신 발견…대전 거주 40대 여성
- 전자충격기로 경찰관 2명 공격…실탄 맞은 절도범 실형
- 고속도로 등장한 괴문자…검색했더니 나온 '이 사람'
- 어딘가 이상한데?…오션뷰 숙소, 자세히 보니 '황당'
- "빈방 없다"는 유흥주점에 소화기 분사한 MZ세대 조폭들
- "20억 걸쳐야 외출"…돈자랑하다 SNS서 퇴출 중국인, 왜
- '징맨' 트레이너 황철순, 지인 여성 폭행으로 재판행
- "다 짓밟겠다" 공포에 떨고…피랍 이스라엘 여군 영상 공개
- "차 세워라" 무시한 음주 남녀…추격전 본 시민도 나섰다
- [정치쇼] "보고 있지? 너도 즐기는 거 아니야?" 서울대 N번방 범인의 메시지