중계부터 판정까지, 스포츠에 부는 AI 바람

경기장 안팎에서 AI가 활용되는 것은 더 이상 낯선 일이 아니다.
KBO는 올해부터 자동투구판정시스템(ABS)을 통해 볼과 스트라이크를 판정하고 있고, 2024 파리 올림픽에서도 경기 운영은 물론 선수 성과 분석 전반에 AI를 활용했다.
각 종목에서 활약 중인 AI를 보고 있자면, 오심을 줄일 수 있겠다는 희망과 AI가 스포츠 분야에서 인간을 완전히 대체하지 않을까 하는 두려움이 교차한다.
현재 스포츠 분야에 도입된 AI의 정확도는 어느 정도일까? AI가 결국 인간을 대체하게 될까?
단국대학교에서 스포츠 경기 분석, 스포츠와 첨단기술의 융합과 관련한 연구를 진행하는 최형준 교수를 만나 스포츠와 AI에 관해 여러 이야기를 나눴다.

현재 스포츠 분야에 AI가 어떻게 활용되고 있나?
판정이나 승부 예측, 훈련 보조에 이르기까지 매우 다양한 분야에서 폭넓게 사용되고 있다. 그중 현재 가장 주목받는 건 AI 판정 시스템이다. KBO 리그의 자동투구판정시스템과 2022 카타르 월드컵에 활용된 반자동 오프사이드 판독 기술이 그것이다. 스카우트를 할 때 AI를 활용하기도 한다. AI 기반 추천 서비스처럼 경기력과 관련한 선수 데이터를 바탕으로 선수가 팀에 어느 정도 기여할 수 있을지 예측해 스카우트하는 데 도움을 받는 것이다.

콘텐츠 제작이나 중계에도 AI가 활용된다. 다양한 방법이 적용되고 있는데, 일반적으로 카메라로 코트를 먼저 촬영하고 RGB값을 뽑은 뒤 AI에게 코트 색과 다른 컬러값의 객체를 선수로 인식시키는 방법을 이용한다. 양쪽 코트 끝부분의 선수를 인식시킨 뒤 서브 모터가 달린 카메라를 이용하면 그 앵글 안에서 자동으로 촬영을 한다. 선수가 동작을 취하면 AI는 학습 데이터를 바탕으로 그것이 어떤 동작인지 판단하고, 키워드를 뽑아 만든 텍스트값으로 중계를 한다. 아직은 기술이 완벽하지 않아 촬영한 영상과 AI 중계 음성을 내보내기 전 인간의 보정 작업을 거친다.

스포츠 중계에 AI가 활용되면 덜 알려진 종목이 대중화될 수도 있을 것 같다
동호인들이 모여서 하는 스포츠는 예산이 부족하거나 전문 방송 시스템이 없어 대중에게 알려지지 못하는 경우가 많다. AI를 활용하면 중계에 도움을 받을 수 있고, 콘텐츠 제작도 수월해진다. 실제로 대학 동아리 대회 같은 환경에서 AI 중계를 조금씩 접목하는 추세다.

AI 도입이 스포츠 관람 방식에도 변화를 가져왔나?
아직 스포츠 팬들이 직접적으로 ‘AI 기능이 들어간 기술’이라고 느낄 수 있는 것은 많지 않지만, 마케팅팀에서는 AI를 적극 활용하고 있다. 홈 팀과 어웨이 팀이 어느 시간대에 몰리는지, 좌석 점유율이나 판매량은 얼마나 되는지를 예측해 트래픽을 연다거나 좌석 예약 시스템에 이 결과를 활용하기도 한다. 더 재미있게 경기를 관람할 수 있도록 방송 중계 화면에 실시간 승리 예측 결과를 띄우기도 한다. NBA에서는 득점할 때마다 승률을 표시하고, 테니스 경기에서는 서브 위치에 따라 다음 샷의 경로를 예측하는 화면을 보여준다. 아직 정확도가 높지 않아 널리 쓰이고 있지는 않지만, AI와 증강현실 기술을 활용해 선수를 스마트폰으로 찍으면 그 선수에 대한 데이터가 나오는 기술도 구현 가능한 상태다. 이런 기술이 활발하게 연구되면 스포츠 팬들의 관람 방식에도 조금씩 변화가 생길 것이라고 본다.

가장 많이 사용되는 기술 분야가 궁금하다
자연어 처리 등 다양한 기술이 있지만, 지금 스포츠 분야에서 활발히 활용되는 건 컴퓨터 비전이다. 컴퓨터 비전이란 인간의 눈과 같은 역할을 하는 기술로, 카메라 렌즈를 통해 촬영된 이미지나 동영상 등의 시각적 입력값을 바탕으로 정보를 추출해 이를 분석한다. 선수와 공의 움직임을 실시간으로 추적하거나 재현할 때 주로 사용되는 기술이다.

Learn More
2024 파리 올림픽에서도 컴퓨터 비전 기술이 활용됐다. 체조, 수영, 다이빙, 비치발리볼, 테니스 등의 종목에서 AI 기반 카메라 시스템을 활용해 선수의 움직임을 실시간으로 추적, 이를 3차원으로 재현했는데, 여러 각도에서 포착된 경기 모습을 통해 체조 선수의 발 각도와 다이빙 선수의 공중 체류 속도까지도 알 수 있었다. 이 결과는 중계 화면과 심판 참고용 자료로 제공되어 정확하게 판정을 내리고 선수의 기술을 분석하는 데 도움이 됐다. 이 외에도 가상의 스트라이크 존을 만들어 두고 공의 통과 여부를 판단하는 KBO의 자동투구판정시스템에도 컴퓨터 비전 기술이 적용돼 있다.

스포츠 분야에서 사용되는 AI는 어떤 데이터를 어떻게 학습하나?
AI 학습 과정에서는 동작은 물론 선수 개인 기록에 이르기까지 매우 다양한 데이터를 수집하는데, 처음에는 자료의 편향성을 방지하기 위해 텍스트 파일이나 음성, 영상과 같은 비정형 데이터보다는 행과 열로 정리된 표에 기입 가능한 정형 데이터를 수집한다. AI가 학습하는 선수 개인 기록으로는 주로 통계 데이터가 많다. 경기 출전 수나 타율처럼 경기 결과에 대한 기록도 있고, 의무 기록이나 훈련 상황에 대한 데이터도 있다. 요즘에는 웨어러블 기기도 많아 수면 시간까지도 수집한다. 움직임에 대한 데이터는 종목별 동작을 3D로 데이터화한다.
이렇게 수집된 데이터를 처리할 때는 머신러닝 기법이 사용된다. 예를 들어, 사람이 야구 배팅 동작을 30번 했다고 가정해 보자. 아마 공의 특성에 따라 배팅 동작이 전부 달라질 것이다. 그 동작을 모두 모은 다음, 머신러닝이 홈런을 친 스윙과 그렇지 못한 스윙, 안타를 친 스윙을 구분한다. 그 결과를 학습해 타자의 스윙 모습을 보고 홈런 타구가 될 확률을 예측하는 것이다. 결국 AI가 학습하는 데이터의 폭이 상당히 넓기 때문에 이 방대한 데이터에서 어떻게 유의미한 정보를 뽑아내고, 이를 어떤 방식으로 정확하게 분류하는지가 매우 중요해진다.

그렇다면 데이터 수집, 분석, 학습 과정에서 인간의 역할은 무엇인가?
AI가 데이터 수집이나 처리, 분석, 예측을 모두 하다 보니 인간의 역할이 없다고 생각하기 쉬운데, 사실은 그렇지 않다. AI는 데이터 수집 단계에서 무엇을 수집해야 할지 스스로 판단하지 못한다. 물론 생성형 AI가 ‘어떤 주제를 분석하기 위해서는 어떤 데이터가 필요하다’라고 결과를 도출할 수는 있지만, 그게 정말 옳은 분석 결과인지는 인간이 판단해야 한다. 즉 데이터 수집이라는 첫 단계부터 인간이 개입해야 하는 것이다. 분석 단계에서도 마찬가지다. AI 시스템을 활용한 분석 결과가 목적에 부합하는지 AI에게 판단을 맡길 수 없다. AI가 데이터 처리 단계에서는 사람보다 훨씬 뛰어날 수 있지만 오류가 계속해서 발생할 수 있는 만큼 인간이 중간중간 개입하면서 중재자 역할을 해줘야 한다.

AI 판정의 정확도가 궁금하다
상황에 따라 다르지만, GPS보다는 컴퓨터 비전의 정확도가 높다. 스포츠 분야에서 사용하는 GPS는 위성 시그널을 받는 것이다 보니 1.5m 정도의 측정 오차가 생긴다. 반면 컴퓨터 비전 기술로 이미지를 통해 위치값이나 골격값을 뽑아낼 때의 측정 오차는 60cm 정도다. 판정 정확도는 동작이나 종목의 특성에 따라 조금씩 달라지는데, 피겨 스케이팅처럼 복합 동작을 판정하는 시스템은 정확도가 75~80%다. 종목과 동작에 따라 상이하겠지만 20~25%의 에러율이 있으므로 AI만으로 판정을 내리기에는 무리가 있다.

예술성과 창의성이 평가 기준에 포함되는 종목에서도 AI가 활용될 수 있나?
정성 자료와 정량 자료 중 정량 자료에 한해서는 AI가 도입될 수 있다. 기술에 대한 정교성을 난도별로 판단할 수 있기 때문이다. 하지만 예술성, 창의성과 관련한 부분은 이를 어떻게 정량화할지에 관해 충분히 논의되어야 한다. 이것이 선행되지 않으면 이 부분을 평가하는 데 AI 기술이 도입된다 해도 결과를 신뢰할 수 없다. 피겨스케이팅이나 체조처럼 예술성이 중요한 종목은 평가에 대한 구조 자체가 바뀌지 않는 이상 AI 활용에 한계가 있을 것이라고 본다. 결국 AI와 인간이 함께 평가하는 것이 가장 이상적이라고 생각한다.

‘칼같이 판정하는 AI가 경기를 보는 재미를 반감시킨다’는 의견도 있다
사람의 눈은 착시 현상을 금방 알아차릴 수 없고, 관찰한 내용은 주관적일 수밖에 없다. 또 기억력의 한계 때문에 모든 경기 내용을 다 기억할 수 없다. AI 등의 첨단 기술을 통해 판정의 정확도가 높아지면 오심 없는 공정한 경기가 가능해진다. 제대로 운동을 수행하고 경기를 진행하면 그 과정에서 이전과는 다른 재미 요소가 더 많이 발생할 것이라고 본다.

스포츠에 도입된 AI, 개선해야 할 부분은 무엇인가?
정확도와 판정 속도를 끌어올려야 한다. 아직은 오류가 발생하거나 판정이 지연되는 경우가 많다. 날씨 등 현장에 변수가 생기거나 선수가 동작을 수행하는 과정에서 기존 정보와 다른 변화가 생기면 AI 시스템에 오류가 발생한다. 공이나 선수의 움직임을 좇아 판정을 내리는 시스템은 정확하지 않은 결과를 도출할 가능성이 높고, 판정이 빨리 이루어지지 않으면 선수의 웜업해둔 몸이 식는다는 문제가 있다.

Learn More
AI 판정 시스템은 아직 정확도와 속도에서 기술적 한계가 존재한다. 이에 따라 AI의 판정 오류 시 인간 심판이 개입할 수 있도록 하는 방안을 마련한 곳도 많다. 일례로 자동투구판정시스템을 도입하고 있는 미국 마이너리그에서는 시스템 판정 속도가 느리거나 오류가 있다고 판단될 경우 인간 심판에게 직접 경기를 판정할 권한을 준다.

선수 데이터 수집과 관리 단계에 보안 규정이 있나?
최근 AI에 대한 규제가 조금씩 생겨나고 있지만 스포츠 분야는 아직 그 규제 범위 안에 있지 않다. 경기 기록이나 훈련 기록은 물론 퍼포먼스에 대한 모든 데이터는 해당 선수의 개인 정보인데 데이터에 대한 저작권, 정보 보호 범위나 방식에 관한 규정이 없으면 정보의 수집과 활용 과정에서 법적 보호를 받기가 매우 어렵다. 선수 보호를 위해 모든 종목을 아우를 수 있는 규제나 기구가 꼭 필요하다고 본다.

스포츠 분야에 AI를 도입할 때 지켜져야 할 윤리적 가치는 무엇이 있나?
컴퓨터 비전으로 사람을 찍으면 그 사람의 체격 정보나 골격 정보를 도출할 수 있다. 몸무게나 최대산소섭취량 등에 관한 기록을 가지고 있으면 운동량과 칼로리 소모량까지도 계산이 가능하다. 실제로 카메라를 통해 뽑아낼 수 있는 데이터가 엄청나게 많아지고 있는 것이다. 그런데 선수들이 그것을 원하지 않을 수도 있다. 이는 결국 자기 결정권과 자율성, 즉 인간의 존엄성 문제로 연결된다. 앞으로 AI는 스포츠 분야에서 계속 활용될 것이다. AI를 학습하고 도입하는 모든 과정에서 인간의 존엄성이 보장되어야 하고, 이를 위한 법적 규정이 마련돼야 한다.

테니스에서 활용되고 있는 비디오 판독 시스템 ‘호크아이’. © Hawk-Eye Innovations

스포츠 분야의 AI 도입이 국가 간 격차를 심화해 스포츠의 공정성을 훼손할 것이라는 우려도 있다
AI를 활용하기 어려운 국가도 있고, 국가별로 기술 수준도 모두 다르기 때문에 당연히 이런 문제가 발생할 수밖에 없다. 실제로 AI 관련 포럼에서는 이러한 격차를 줄이기 위한 국제 협력 기구가 필요하다는 의견이 많이 나오고 있다. 스포츠 분야 역시 마찬가지다. AI 기술력을 갖추고 있는 국가에서 우선적으로 기술을 충분히 발전시키고, 그것을 다른 국가와 나누고 협력할 수 있는 장을 마련하는 등 공정한 경기를 위한 노력이 뒷받침되어야 한다.

AI가 인간 심판을 완전히 대체할 수 있을까?
AI는 아직까지 사람만큼 빠르게 판단해 결과를 줄 수 없고, 아무리 유사한 경우를 많이 학습한다 해도 실제 데이터가 수집되는 단계에서의 오류는 잡기가 어렵다. 정확성, 속도와 관련한 문제를 해결하지 않는 이상 AI가 인간을 완전히 대체해 단독으로 경기 심판을 보기는 어렵다. 다만 AI를 활용해 도움을 받을 수 있는 부분도 상당히 많으므로 AI와 인간 심판이 공존할 것이라고 생각한다.

앞으로 10년 후 AI가 스포츠 산업에 어떤 변화를 가져올 것으로 예상하나?
현재 활발하게 논의되고 있는 AI 판정 시스템과 방송 시스템, 훈련 보조 시스템 등은 이미 보편화되어 있을 것이다. 기술도 더욱 고도화될 것으로 예상한다. VR 시뮬레이션을 통해 가상의 환경을 만들어 보여주는 등 다양한 기술이 등장해 경기와 훈련 현장에서 사용될 것이다. 팀이나 리그에서도 AI 분석 결과를 마케팅에 사용해 더 많은 팬에게 다양한 즐길 거리를 제공할 수 있을 것으로 본다.

다만 이렇게 긍정적인 변화를 계속 만들어가려면 인간이 하는 활동인 스포팅(Sporting) 자체에 대한 깊이 있는 이해가 우선되어야 한다. 인간을 배제하지 않으면서 앞서 언급한 인간 존엄성, 윤리에 대한 문제 해결이 선행되어야 하는 것이다. 스포츠의 본질을 유지하면서 새로운 기술과 인간이 공존할 수 있기를 희망한다.

최형준 교수는···
단국대학교 사범대학 체육교육과 교수이자 교육혁신원 교육성과평가센터장. 명지대학교 체육학부를 졸업하고 영국 카디프 메트로폴리탄 대학교(Cardiff Metropolitan University) 대학원에서 석·박사 과정을마친 뒤, 세계스포츠경기력분석협회(ISPAS, International Society of Performance Analysis in Sport)에서 인증하는 스포츠경기분석가 5레벨을 아시아인 최초로 획득했다. 현재 체육 측정 평가와 스포츠 경기력 분석, AI를 활용한 스포츠 경기 자료의 분석 기법 개발, 스포츠와 테크놀로지의 융복합에 관한 연구를 진행하고 있다.

ㅣ 덴 매거진 2024년 9월호
에디터 김보미 (jany6993@mcircle.biz)

다양한 Den 콘텐츠를 만나보세요

이 콘텐츠가 마음에 드셨다면?

타임톡

타임톡이 제공되지 않아요

해당 콘텐츠뷰의 타임톡 서비스는
파트너사 정책에 따라 제공되지 않습니다.

맞춤 콘텐츠를 추천받으려면 로그인하세요.

이런 콘텐츠는 어때요?