프랑스 미스트랄AI, 엣지 디바이스용 AI 모델 ‘미니스트랄’ 출시
전체 맥락을 이해하기 위해서는 본문 보기를 권장합니다.
프랑스의 인공지능(AI) 스타트업 미스트랄 AI가 휴대폰, 노트북과 같은 엣지 디바이스를 위한 생성형 AI 모델을 처음으로 내놨다.
18일 AI 업계에 따르면 미스트랄 AI는 최근 엣지용 AI 모델인 '미니스트랄 3B'와 '미니스트랄 8B' 모델을 출시했다.
이 글자크기로 변경됩니다.
(예시) 가장 빠른 뉴스가 있고 다양한 정보, 쌍방향 소통이 숨쉬는 다음뉴스를 만나보세요. 다음뉴스는 국내외 주요이슈와 실시간 속보, 문화생활 및 다양한 분야의 뉴스를 입체적으로 전달하고 있습니다.
18일 AI 업계에 따르면 미스트랄 AI는 최근 엣지용 AI 모델인 ‘미니스트랄 3B’와 ‘미니스트랄 8B’ 모델을 출시했다.
엣지 AI는 클라우드 등 서버에서 AI를 구동하는 것이 아닌, 휴대폰과 같은 엣지 디바이스에서 AI를 직접 실행해 처리하는 것을 의미한다. 디바이스의 제약이 있기에 엣지용으로 AI를 사용하려면 해당 모델을 경량화하고 성능을 효율화하는 것이 중요하다.
미니스트랄 모델은 각각 30억개의 파라미터와 80억개의 파라미터로 구성됐으며, 두 모델 모두 한 번에 처리할 수 있는 문맥의 길이를 12만8000토큰까지 지원한다. 약 50페이지의 책을 한 번에 처리할 수 있다는 의미다.
미스트랄 AI는 “미니스트랄 모델은 100억 미만의 파라미터 모델 중에서 지식, 상식, 추론, 함수 호출 및 효율성 측면에서 새로운 지평을 열었다”라고 강조했다.
미스트랄 AI는 미니스트랄을 활용할 수 있는 주요 사용 사례로 온디바이스 번역, 인터넷 연결 없이 사용하는 스마트 비서, 자율주행 로봇 등을 제시했다. 보다 효율적인 컴퓨팅과 함께 짧은 지연 시간이 필요한 솔루션에 활용될 수 있다는 설명이다.
미스트랄 AI는 구글과 메타의 소형 AI 모델과 자사의 미니스트랄을 자체적으로 비교한 벤치마크 결과도 공개했다. 미스트랄 AI에 따르면 미니스트랄 3B와 미니스트랄 8B 모델은 구글의 ‘젬마2 2B’, 메타의 ‘라마 3.2 3B’, ‘라마 3.1 8B’ 등 비슷한 파라미터 수의 동급 모델보다 뛰어난 벤치마크 성능을 보였다.
미니스트랄을 상업용으로 자체 활용하려는 기업들은 미스트랄에 직접 접촉해 사용을 협의해야 한다.
향후 아마존웹서비스(AWS) 베드록, 마이크로소프트(MS) 애저 AI, 구글 클라우드 버텍스 AI 등 미스트랄 모델을 지원하는 주요 클라우드 서비스에도 미니스트랄 모델이 출시될 예정이다. 미니스트랄 8B 모델 정보는 연구 목적으로 사용할 수 있도록 공개됐다.
Copyright © 매일경제 & mk.co.kr. 무단 전재, 재배포 및 AI학습 이용 금지
- “30억 초고가 집에 살면서 기초연금 받는다”…수급자 가구 74% ‘자가보유’ - 매일경제
- 오늘의 운세 2024년 10월 18일 金(음력 9월 16일) - 매일경제
- “일주일에 28번 성관계”…아내 4명 여친 2명과 산다는 일본男의 최종목표 - 매일경제
- “죽어가던 명동상권까지 살렸다”…서울 6대 상권 부활시킨 일등공신은 - 매일경제
- [단독] 국토부, 디딤돌 대출 규제 잠정중단 - 매일경제
- “당첨되면 2억 번다”…이 지역 아파트 ‘줍줍’ 소식에 전국서 6만명 우르르 - 매일경제
- “직원 세워놓고 콜라뿌리다니”…‘인성논란’ 터진 정경호, 알고보니 - 매일경제
- 노벨상 한강도 떼먹힌 피해자…저작권료 ‘0원’ 이유 보니 ‘황당’ - 매일경제
- “귀신 나오는 줄 알았다”…국회의원들이 갔다는 대학병원, 어디길래 - 매일경제
- 딸 생일까지 포기한 린가드, 서울 향한 ‘진심’…”영국 갔다 오면 몸 망가질 거 같았어, 호프(