빅테크는 '토큰 경쟁' 중…"텍스트 처리 능력이 무기"
전체 맥락을 이해하기 위해서는 본문 보기를 권장합니다.
'인공지능(AI) 토큰' 경쟁이 후끈 달아올랐다.
토큰은 텍스트의 최소 단위로 숫자가 높을수록 한 번에 입력할 수 있는 분량이 커지는 것을 의미한다.
앤스로픽도 지난 3월 최신 대규모언어모델(LLM)인 클로드3를 출시하면서 한 번에 20만 토큰 규모의 데이터를 입력할 수 있도록 확대했다.
오픈AI의 GPT-4 터보는 현재 12만8000토큰을 한 번에 입력할 수 있다.
이 글자크기로 변경됩니다.
(예시) 가장 빠른 뉴스가 있고 다양한 정보, 쌍방향 소통이 숨쉬는 다음뉴스를 만나보세요. 다음뉴스는 국내외 주요이슈와 실시간 속보, 문화생활 및 다양한 분야의 뉴스를 입체적으로 전달하고 있습니다.
‘인공지능(AI) 토큰’ 경쟁이 후끈 달아올랐다. 토큰은 텍스트의 최소 단위로 숫자가 높을수록 한 번에 입력할 수 있는 분량이 커지는 것을 의미한다. 대용량의 데이터를 처리할 수 있는 AI 모델임을 강조하기 위해 테크 업체들이 앞다퉈 토큰 수를 늘리는 모양새다.
구글은 14일(현지시간) 미국 캘리포니아주 마운틴뷰 쇼어라인 엠피시어터에서 열린 ‘구글 연례 개발자 회의(I/O)’에서 제미나이 1.5 프로의 토큰 수를 현재 최대 100만 토큰에서 조만간 200만 토큰으로 확대한다고 밝혔다. 100만 토큰은 1500페이지 분량의 문서와 3만 개의 코드, 한 시간 분량의 영상을 처리할 수 있는 용량이다. 제미나이 1.5 프로는 기업들이 AI 모델을 활용할 수 있는 플랫폼 ‘버텍스 AI’와 개발자를 위한 AI 개발 도구인 ‘구글 AI스튜디오’를 통해 제공된다.
앤스로픽도 지난 3월 최신 대규모언어모델(LLM)인 클로드3를 출시하면서 한 번에 20만 토큰 규모의 데이터를 입력할 수 있도록 확대했다. 그러면서 일부 유료 고객에겐 100만 토큰 규모의 입력창을 제공했다. 오픈AI의 GPT-4 터보는 현재 12만8000토큰을 한 번에 입력할 수 있다. 올 하반기 차세대 모델 GPT-5를 출시할 때 토큰 수를 대폭 늘릴 것으로 보인다.
마운틴뷰=최진석 특파원 iskra@hankyung.com
Copyright © 한국경제. 무단전재 및 재배포 금지.
- [단독] "1억이 7억 된다" 달콤한 유혹…교수도 넋놓고 당했다
- "한국서 150조 빠져나갈 판" 무서운 경고…증시 '초긴장'
- 주가 3일 만에 3배 뛰었다…SNS 그림 한장에 난리 난 종목
- 집값 폭등에 '내 집 마련' 대안으로 뜨더니…'애물단지' 됐다
- "3990원으로 한 끼 해결" 입소문…하루 3000개씩 팔린다
- '뺑소니' 김호중, 사라진 블랙박스 메모리…압수수색 영장
- 장원영 팔아 月1000만원 벌었다…돈 쓸어 담은 렉카 유튜버
- "땀흘려 버는 돈 소중"…尹 토론회서 아이돌 출신 페인트공 발언 화제
- "신체부위 사진 찍어서 보내더니"…소유, 성희롱 피해 고백
- '부처님 오신 날' 사찰 찾은 노부부…차량 돌진에 참변