"생성AI 추론 비용 절감"…프렌들리AI, GPU 최적화 서비스 출시
전체 맥락을 이해하기 위해서는 본문 보기를 권장합니다.
이번에 출시한 '프렌들리AI 서버리스 엔드포인트(Friendli Serverless Endpoints)'는 △연구자 △개발자 △머신러닝 엔지니어 △데이터 과학자 등이 서빙 인프라 관리를 신경 쓸 필요 없이 생성 AI 모델들을 쉽게 사용할 수 있도록 지원한다.
프렌들리AI는 초거대 AI 모델의 효율적인 추론을 가능하게 하는 서빙 시스템을 개발해 GPU 최적화 등의 문제를 해결했다고 강조했다.
이 글자크기로 변경됩니다.
(예시) 가장 빠른 뉴스가 있고 다양한 정보, 쌍방향 소통이 숨쉬는 다음뉴스를 만나보세요. 다음뉴스는 국내외 주요이슈와 실시간 속보, 문화생활 및 다양한 분야의 뉴스를 입체적으로 전달하고 있습니다.
[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.]
인공지능(AI) 기술 개발·적용 과정에서 발생하는 비용의 절감하는 기술을 개발한 프렌들리AI가 생성 AI 모델을 쉽게 활용할 수 있도록 돕는 서비스를 출시했다고 4일 밝혔다.
이번에 출시한 '프렌들리AI 서버리스 엔드포인트(Friendli Serverless Endpoints)'는 △연구자 △개발자 △머신러닝 엔지니어 △데이터 과학자 등이 서빙 인프라 관리를 신경 쓸 필요 없이 생성 AI 모델들을 쉽게 사용할 수 있도록 지원한다.
챗GPT의 등장 이후 각광 받는 초거대 AI 분야에서 '학습' 영역은 단기간 집중적으로 대용량·고사양의 그래픽처리장치(GPU)를 필요로 한다. 이후 '추론' 영역은 적은 양의 GPU를 끊김 없이 상시 사용해야 하는 특성을 갖고 있다.
이 때문에 학습에 사용한 인프라를 그대로 추론 인프라로 활용하면 필요 이상의 비용 부담이 발생한다. 프렌들리AI는 초거대 AI 모델의 효율적인 추론을 가능하게 하는 서빙 시스템을 개발해 GPU 최적화 등의 문제를 해결했다고 강조했다.
프렌들리AI 관계자는 "누구나 쉽게 낮은 비용과 빠른 속도로 라마2, 스테이블 디퓨전, 미스트랄 등 인기 있는 생성 AI 모델을 자사 서비스에 통합해 텍스트 생성, 이미지 생성 등을 활용할 수 있다"고 했다.
새롭게 내놓은 서버리스 엔드포인트 서비스는 오픈소스 프레임워크를 쓰는 다른 솔루션 대비 최대 4배 빠른 시간에 응답을 생성하고, 최적화된 서빙 엔진은 기존 솔루션에 비해 서빙에 필요한 GPU 수를 최대 7분의 1 수준으로 줄인다는 설명이다.
전병곤 프렌들리AI 대표는 "생성 AI의 미래는 해당 기술에 누구나 쉽게 접근해서 사용할 수 있도록 하는 것에 있다"며 "오픈소스 생성 AI 모델을 더 빠르고 저렴하게 제공하기 위해 새로운 서비스를 개발했다"고 말했다.
[머니투데이 스타트업 미디어 플랫폼 '유니콘팩토리']
최태범 기자 bum_t@mt.co.kr
Copyright © 머니투데이 & mt.co.kr. 무단 전재 및 재배포, AI학습 이용 금지
- 강경준, 유부녀와 불륜 의혹에 "오해 소지"…아내 장신영 반응은 - 머니투데이
- 이승연, 친엄마 못 알아본 父에…"여자를 많이 만나서" 일침 - 머니투데이
- 아내 '성인방송' 강요한 그 남편, 아내 친구에게도 "동영상 찍자" - 머니투데이
- "선우은숙♥유영재, 이혼할 줄 알았는데…" 운세 본 역술가 '깜짝' - 머니투데이
- 양희은·양희경 자매, 모친상…"이렇게 갈 줄 몰랐는데, 안녕 엄마" - 머니투데이
- 선우은숙 며느리 "배 아파 이영하 낳았다"…시부 닮은 딸 공개 - 머니투데이
- "정권 바뀌면 어쩌려고" vs "안 바뀌니 그냥 해"...여야, 청와대 예산 충돌 - 머니투데이
- '버닝썬 논란' 남편과 "잘 지내요"…박한별 근황 보니 - 머니투데이
- "100kg까지 큰다" 윤 대통령 부부가 아끼던 투르크 국견, 관저 떠난 이유 - 머니투데이
- [단독]둔촌주공 '내부폭로'…"고무줄 공사비, 특정업체 밀어주기→조합장 고소" - 머니투데이