오픈AI, 배치 API 서비스 돌입…100Gb 대용량 데이터 한번에 분석

오픈AI는 대규모 데이터 요청을 비동기식으로 처리할 수 있는 ‘배치(Batch) API’를 6일 공개했다.

오픈AI는 대규모 데이터 요청을 비동기식으로 처리할 수 있는 ‘배치(Batch) API’를 6일 공개했다. 서비스는 즉각적인 응답이 필요하지 않거나 고속 처리가 요구되는 작업에 적합하다. 사용자는 여러 요청을 한 번에 모아 배치 파일로 제출하고, 처리 상태를 실시간으로 확인한 후 최종 결과를 받아볼 수 있다. 많은 정보를 자주 다루는 회사나 연구소는 해당 서비스를 통해 비용을 줄일 수 있다.

배치 API의 주요 특징은 비용 효율성과 빠른 처리 속도다. 기존 동기식 API 대비 요금이 50% 저렴하며, 모든 작업은 최대 24시간 이내에 완료된다. 특히 대량의 데이터를 분류하거나 콘텐츠 저장소를 임베딩하는 등의 작업에 유용하다.

사용 절차는 이렇다. 배치 파일을 먼저 준비한다. 각 요청은 .jsonl 파일 형식으로 저장된다. 각 줄에는 개별 요청에 대한 세부 정보가 포함된다. 현재 사용 가능한 엔드포인트는 채팅 완성 API(/v1/chat/completions), 임베딩 API(/v1/embeddings)이다. 파일을 올린 후, 파일 객체 ID를 사용해 배치를 생성할 수 있다. 업로드는 최대 100GB 파일을 지원한다. 배치의 상태는 언제든지 확인할 수 있으며, 배치가 완료되면 출력 파일을 내려받아 결과를 검토할 수 있다. 또 입력 파일과 출력 파일의 순서가 일치하지 않을 수 있기 때문에 각 응답을 원본 요청과 연결하기 위해 custom_id 필드를 사용할 수 있다.

오픈AI는 이러한 배치 API의 활용을 돕기 위해 분류, 감정 분석, 요약 생성 등의 사용 사례에 대한 샘플 코드를 제공한다.