"친구 추천 레스토랑 어디였지?" 엔비디아, RTX 기반 맞춤형 챗봇 제공
전체 맥락을 이해하기 위해서는 본문 보기를 권장합니다.
엔비디아는 사용자만의 콘텐츠로 챗봇을 개인화 할 수 있는 챗 위드 RTX(Chat With RXT)를 윈도우(Windows) PC에서 제공한다고 14일 밝혔다.
챗 위드 RTX는 사용자가 자신만의 콘텐츠로 챗봇을 개인화 할 수 있는 기술 데모다.
챗 위드 RTX에 동영상 URL을 추가하면 사용자는 해당 정보를 챗봇에 통합해 상황에 맞는 질문을 할 수 있다.
이 글자크기로 변경됩니다.
(예시) 가장 빠른 뉴스가 있고 다양한 정보, 쌍방향 소통이 숨쉬는 다음뉴스를 만나보세요. 다음뉴스는 국내외 주요이슈와 실시간 속보, 문화생활 및 다양한 분야의 뉴스를 입체적으로 전달하고 있습니다.
엔비디아는 사용자만의 콘텐츠로 챗봇을 개인화 할 수 있는 챗 위드 RTX(Chat With RXT)를 윈도우(Windows) PC에서 제공한다고 14일 밝혔다.
챗 위드 RTX는 사용자가 자신만의 콘텐츠로 챗봇을 개인화 할 수 있는 기술 데모다. 최소 8GB의 비디오 랜덤 액세스 메모리 또는 VRAM을 갖춘 로컬 엔비디아 지포스 RTX 30(GeForce RTX 30) 시리즈 GPU 이상으로 가속되며 현재 무료로 다운로드가 가능하다.
챗 위드 RTX는 검색 증강생성(RAG), 엔비디아 텐서RT-LLM(TensorRT-LLM) 소프트웨어, 엔비디아 RTX 가속화 등을 사용해 로컬 지포스 기반 윈도우 PC에 생성형 AI 기능을 제공한다. 사용자는 PC의 로컬 파일을 데이터셋으로 미스트랄(Mistral)이나 라마 2(Llama 2)와 같은 오픈소스 LLM(대규모 언어 모델)에 빠르고 쉽게 연결해 상황에 맞는 빠른 답변을 얻을 수 있다.
사용자들은 메모나 저장해둔 콘텐츠를 검색하는 대신 간단한 검색어를 입력해 챗봇을 이용할 수 있다. 예를 들어 "라스베가스에 있을 때 내 친구가 추천한 레스토랑이 어디야?"라고 질문하면, 챗 위드 RTX가 사용자가 지정한 로컬 파일을 스캔해 상황에 맞는 답변을 제공한다.
이 도구는 .txt, .pdf, .doc/.docx, .xml 등 다양한 파일 형식을 지원한다. 애플리케이션에서 해당 형식의 파일들을 포함한 폴더를 가리키면 몇 초 만에 이 파일들은 라이브러리에 로드된다.
사용자는 유튜브(YouTube) 동영상 혹은 재생 목록의 정보도 포함할 수 있다. 챗 위드 RTX에 동영상 URL을 추가하면 사용자는 해당 정보를 챗봇에 통합해 상황에 맞는 질문을 할 수 있다. 예를 들어, 좋아하는 인플루언서 동영상의 콘텐츠를 기반으로 여행 추천을 요청하거나, 우수한 교육 자료를 기반으로 빠른 튜토리얼과 사용법을 안내를 받을 수 있다.
챗 위드 RTX는 윈도우 RTX PC와 워크스테이션에서 로컬로 실행되므로 결과가 빠르게 제공되고, 사용자의 데이터는 디바이스에 그대로 유지된다. 또한, 클라우드 기반 LLM 서비스 대신 챗 위드 RTX를 사용하면 민감한 데이터를 제3자와 공유하거나 인터넷에 연결하지 않고도 처리할 수 있다.
챗 위드 RTX는 최소 8GB의 VRAM이 탑재된 지포스 RTX 30 시리즈 이상의 GPU와 윈도우 10, 11 그리고 최신 엔비디아 GPU 드라이버에서 사용 가능하다.
Copyright © 데일리안. 무단전재 및 재배포 금지.
- [인터뷰] 이수정 "육교 위서 수원 교통 보는데 참담…尹 지지율, 현실은 현실대로 받아들여야"
- '오징어게임2'·'지옥2'→'전,란'…힘 빠진 넷플릭스, 명성 되찾을까 [D:방송 뷰]
- “손흥민, 이강인 등과 몸싸움 중 손가락 탈구” 더선 충격 보도…대한축구협회 “사실”
- 국민의힘, 2012 총선 상황과 유사?…이창근 "당에 무게중심"
- 밤만 되면 술집 접대부…20대女 어린이집 교사의 이중생활
- "동맹에 가까운 러북조약"…정부, 한미일 안보 협력 강화로 대응
- 최태원, 상고장 제출…세기의 이혼재판, 대법원서 판가름
- 한동훈, 윤 대통령과 통화…"이기는 당 만들겠다"
- 모델 출신 대세 배우 변우석-장기용의 명언 [다시 보는 명대사⑤]
- 김연경 만난 유인촌 문체부 장관 “올림픽 이후 대대적 개혁”