MS가 추천하는 생성형AI 선택 방법은

애저AI 스튜디오, AI모델 검색부터 벤치마크·학습까지 통합 지원

(지디넷코리아=남혁우 기자)마이크로소프트가 고객사의 인공지능(AI) 확산을 위해 직접 생성형AI 도입 방법을 제시했다.

25일 마이크로소프트의 루카 스타마테스쿠 AI 테크 스페셜리스트는 웨비나 애저 부트 캠프에서 '업무에 적합한 생성형 AI를 선택하는 방법'을 소개했다.

AI의 발전과 함께 오픈AI의 GPT, 메타의 라마, 미스트랄AI 등 AI모델의 종류도 급격하게 늘어나고 있다. 또한 GPT만 해도 GPT-3.5에서 최근 공개한 GPT-o1까지 다양한 버전을 지원한다.

루카 스타마테스쿠 AI테크 스페셜리스트가 소개한 애저AI 스튜디오의 AI 카탈로그(이미지=마이크로소프트)

그만큼 각 기업이나 조직은 개발 중인 앱이나 서비스와 연계하기에 가장 적합하고 비용 효율적인 AI를 선택하기에 많은 어려움을 겪고 있다.

루카 스타마테스쿠는 이런 어려움을 해결하기 위한 방안으로 애저AI 스튜디오의 카달로그 서비스를 소개했다. 이를 통해 다양한 AI모델을 한 번에 확인할 수 있을 뿐 아니라 매개변수 양, 한 번에 처리할 수 있는 최대 단어 수를 비롯해 비용과 함께 사용방법 등을 제공한다.

더불어 각 조직이나 업무에서 진행하는 업무에 어떤 AI가 적합한지 비교 테스트도 가능하다. 예를 들어 2개의 모델에 같은 질문을 했을 때 얻어지는 결과를 확인해 보다 만족스러운 결과를 제공하는 AI 모델을 선택할 수 있는 것이다.

이후 클라우드 환경에서 개발 중인 기업 앱이나 서비스에 바로 연계하거나 각 조직의 업무나 산업 특성에 따라 모델을 추가로 훈련시키고 관리하는 것도 가능하다.

애저AI 스튜디오에서 제공하는 AI 벤치마크(이미지=마이크로소프트)

루카 스타마테스쿠는 애저AI 스튜디오에서 지원하는 다양한 AI 모델 중 기업에 적합한 AI모델을 선정하는 방법으로 벤치마크를 강조했다.

AI 벤치마크는 AI 모델의 성능을 정량적으로 평가위한 방법의 일환이다. 주로 공개된 데이터셋을 활용해 얼마나 정확한 답변을 제공할 수 있는지 역량을 평가한다.

애저AI 스튜디오는 모델별 다양한 벤치마크 평가 점수를 제공하며 이를 기준으로 산업이나 분야별 정확성 등을 고려해 AI를 선정할 수 있다.

루카 스타마테스쿠는 "벤치마크의 경우 공개 데이터를 기반으로 하는 만큼 사전에 데이터를 확인하고 의도적으로 정확성을 높일 수 있는 답안을 활용할 가능성이 있어 주의가 요구된다"며 "기업에서 실제로 사용하려는 분야가 어딘지 어떻게 AI를 활용할 것인지와 벤치마크 성과를 주의 깊게 비교하고 애저AI 스튜디오의 자동 평가 시스템을 이용해 지속해서 정확성을 확인할 필요가 있다"고 설명했다.

이어서 AI를 선택한 후 기업에 맞춰 최적화하는 방법을 소개했다. 그는 우선 프롬프트 엔지니어링으로 기본적인 가이드라인을 만들어 업무 환경에 AI를 연계할 것을 권했다.

만약, AI모델만으로 기능이 부족할 경우 검색 증강 생성(RAG)을 도입해 외부 웹사이트 등의 데이터를 추가로 도입하는 방안을 제시했다.

이 방법만으로도 AI를 활용해 효율적으로 업무를 수행하기 어려울 경우 AI 모델에 추가 학습을 더하는 미세조정을 시도할 것을 권했다.

루카 스타마테스쿠가 추천하는 AI 도입 후 수정 순서 및 비율(이미지=마이크로소프트)

그는 "제시한 순서는 빠르고 비용 효율적인 업무를 우선적으로 제시한 것"이라며 "다만 미세조정의 경우 한국, 일본 등 영어 외적인 언어를 사용하는 경우 업무 정확성을 높이기 위해 마무리 작업 등으로 사용할 가능성이 있다는 것을 고려해야 한다"고 설명했다.

이어 "특히 AI모델을 교체하는 것은 가장 많은 비용과 시간이 소모되는 만큼 도입 단계부터 신중하게 검토해서 이런 상황을 사전에 방지하는 것이 중요하다"고 강조했다.

루카 스타마테스쿠는 AI를 도입하는 과정에서 가장 고려해야 할 것은 기업 비즈니스의 가치와 AI모델의 가치를 비교할 수 있어야 한다고 강조했다. 또한 급격한 AI의 기술 발전에 따라 AI 서비스 비용이 점차 낮아지고 있다는 것도 고려할 필요가 있다고 설명했다.

그는 "기업에서 신규 서비스를 출시하거나 복잡한 업무 프로세스를 개선해 비용을 줄이면서 발생하는 이득과 AI 모델의 도입 비용 등을 검토할 필요가 있다"며 "특히 기술의 발전에 따라 수 많은 AI모델이 등장하고 있는 만큼 직접 사용하고 체험하면서 무엇이 기업에 적합한 AI인지 판단하길 바란다"고 말했다.

남혁우 기자(firstblood@zdnet.co.kr)