"애플 AI가 구글·MS보다 낫다?"…의구심 드는 자체 평가 보고서

애플 '온디바이스·서버 파운데이션 모델 성능 보고서' 공개
'AI 선도 빅테크보다 인간 만족도 높다' 자체 벤치마크에 회의적 시각

애플 파운데이션 모델 '인간 만족도' 조사 결과 [애플 머신러닝 웹페이지 캡처. 재판매 및 DB 금지]

(서울=연합뉴스) 조성미 기자 = 애플의 AI 시스템 인텔리전스 공개 이후 '애플의 AI는 얼마나 똑똑한가?'에 이목이 쏠린 가운데 애플의 '온디바이스 및 서버 파운데이션 모델 성능 보고서'가 공개됐다.

13일 업계에 따르면 애플은 보고서에서 '인간 만족도(Human Satisfaction)' 벤치마크 점수를 공개하면서 MS, 구글 등 생성형 AI 기술에서 앞선 것으로 평가받는 기업의 AI보다 자사가 사용처에 맞게 모듈화한 AI 기능이 높은 만족도를 보였다고 밝혔다.

애플은 자사 모델이 파이-3, 구글 젬마, 오픈AI GPT-4 터보보다 인간 채점자들에게 선호됐다고 설명했다.

30억개의 매개변수를 가진 온디바이스 모델은 파이-3 미니, 미스트랄-7B, 젬마-7B 등 더 큰 모델보다 성능이 뛰어나며, 서버 모델은 데이터브릭스의 DBRX-인스트럭트, 미스트랄-8x22B, GPT 3.5 터보보다 유리하고 효율적이라고 기술했다.

애플은 평가 방식에 대해 '신중하게 샘플로 취해진 응답 세트 750개'를 사용했다고 밝혔다.

그러면서 "우리는 사용자가 제품 전반에서 소통하고, 자신을 표현하고, 업무를 처리할 수 있는 AI 모델을 제공하는 데 중점을 두고 있다"며 "벤치마킹할 때 사람의 평가에 중점을 둔 이유는 사용자 경험과 높은 상관관계가 있기 때문"이라고 했다.

이에 대해 업계 등에서는 '사용자 경험의 달인'으로 평가받는 애플식 AI 기능에 기대를 높이는 이들도 있는가 하면, 지식과 추론, 기초 수학 능력 등 AI 모델 성능을 평가할 때 일반적으로 사용되는 표준 벤치마크가 아닌 자체 벤치마크로 평가한 것이 '자신감 없음'의 발로 아니냐는 지적도 나온다.

애플이 자체 개발한 비공개 AI 모델과 이미 공개된 타 기업의 모델을 비교했기 때문에 외부에서는 실험 결과를 재현하거나 검증하려 해도 방법이 없는 '베일'에 쌓인 결과라는 이유에서다.

모델의 정확도 지표를 사람의 주관적인 평가로 결정했는데, 평가에 참여한 이들이 몇 명이고 어떤 특징의 분포를 갖는지 공개하지 않았을 뿐 아니라 평가의 구체적인 방법을 공개하지 않은 점도 지적됐다.

음성 AI를 연구하는 장준혁 한양대 융합전자공학부 교수는 "객관적인 검증이 되지 않은 상황에서 자기만의 벤치마크를 내세우는 것은 의미가 없어 보인다. 제삼자의 평가가 중요하다"고 말했다.

장 교수는 "AI 모델 성능이 뛰어난 오픈AI의 사례처럼 AI 업계에서 벤치마크 결과를 투명하게 공개하지 않는 경우가 있기는 한데, 전략을 숨기려는 이유나 내세울 것이 없기 때문이라는 두 가지 가능성이 있다"며 "애플은 후자에 가깝다고 보이는데, 이는 그동안 애플이 AI 관련 인력이나 데이터 학습 투입 측면에서 존재감이 없었다는 면에 기인한다"고 부연했다.

한편으로는 애플이 보고서에서 평가한 대상이 단순 AI 파운데이션 모델이 아니라 AI 모델을 요약, 이모티콘 생성 등 사용처에 따라 모듈형으로 변형했을 때 성능이어서 구글, MS 등 다른 기업에 앞선다고 자체 평가할 수 있다는 해석도 있다.

보고서 역시 비판받을 가능성을 의식한 듯 "앞으로 알려지지 않은 피해를 파악하는 조사와 추가적인 개선을 안내하는 평가를 확대할 계획"이라고 덧붙였다.

한편, AI 모델의 성능을 좌지우지하며 AI 스마트폰의 두뇌 역할을 하는 신경망처리장치(NPU)에서 애플과 삼성전자에서 누가 우수한 성능을 선보일지도 주목되는 부분이다.

애플 NPU 뉴럴엔진은 아이폰15 기본형의 경우 기본형 AP(애플리케이션 프로세서) 'A16 바이오닉'에서 17TOPS(초당 1조 번의 연산), 'A17 프로'에서 35TOPS 수준인 것으로 알려져 있다.

갤럭시가 사용하는 퀄컴 NPU '헥사곤'은 50TOPS, 삼성전자 자체 AP '엑시노스2400'이 42TOPS 수준이다. 삼성전자는 최근 스마트폰 연산만으로 1초 내 고품질 이미지 생성이 가능한 모델 '엣지퓨전' 개발을 완료한 뒤 엑시노스 시리즈 탑재 여부를 검토 중인 것으로 알려졌다.

csm@yna.co.kr

▶제보는 카톡 okjebo