AI가 AI로 학습할 때의 ‘딜레마’ [오철우의 과학풍경]

인공지능이 생성한 이미지로 학습한 인공지능 모델에서는 이미지 품질이 저하하는 것으로 나타났다. 미국 라이스대 연구진에 따르면, 이런 모델 훈련 방식이 반복될 때 몇세대 이후 모델에서는 이미지를 제대로 알아보기 힘들 정도로 심각한 품질 저하가 나타날 수 있다.(위) 이미지 품질을 높이도록 훈련 방식을 조절하면, 이번에는 생성물에서 다양성이 줄어들어 이미지 생김새가 비슷해지는 다양성 저하 현상이 나타났다.(아래) 미국 라이스대 제공

오철우 | 한밭대 강사(과학기술학)

인터넷과 에스엔에스(SNS)에 인공지능이 생성한 텍스트, 이미지, 비디오 콘텐츠가 늘어나는 시대에, 이런 물음을 던져볼 수 있다. 인간 세상의 실제 데이터를 학습하며 똑똑해진 인공지능이, 인간 아닌 인공지능이 생성한 콘텐츠가 점점 많아지는 미래에는 어떻게 변화할까? 앞 세대 인공지능이 쉼 없이 자동 생성하는 방대한 콘텐츠 덕분에 뒤 세대 인공지능은 더 똑똑해질까?

지금까지 나온 전문가 예측은 어두운 듯하다. 인공지능이 만든 콘텐츠로 훈련하는 인공지능 모델에서 생성물의 품질이 뚜렷이 저하되는 현상이 이론과 실험에서 확인된다는 것이다.

이런 경고는 지난해부터 몇몇 사전출판 논문을 통해 제기됐는데 최근에 전문가 동료 심사를 거친 정식 논문으로 출판되면서 다시 주목받고 있다. 지난달 ‘네이처’에 발표된 논문에서 영국 케임브리지대와 옥스퍼드대 연구진은 ‘모델 붕괴’의 가능성을 제기했다. 인공지능 생성물로 인공지능을 훈련하는 과정이 반복되면 몇세대 지나 급격한 품질 저하가 나타나거나 모델로서 기능하지 못하는 모델 붕괴에 이른다는 것이다. 이들은 수학적 분석과 실험 결과를 근거로 제시했다. 실험에서는 인공지능 생성물로 학습한 후세대 언어 모델이 갈수록 횡설수설했는데 9세대 모델에서는 뜻을 알기 힘든 텍스트를 생성했다. 네이처 뉴스는 모델 붕괴가 생성형 인공지능의 보편적인 문제일 수 있다고 전했다.

이런 현상은 인공지능의 학습 원리에서 비롯하는 것으로 이해된다. 인공신경망 모델은 데이터 조각들의 관계를 계산해 자주 나타나는 데이터에는 강한 패턴을 새기고 드문 데이터에는 약한 패턴을 새기는 방식으로 학습한다. 인공지능은 학습한 확률적 패턴 안에서 창의적이지만 무수한 상황에서 계속 우연이 만들어내는 실제 세상의 다양성을 다 담지는 못한다. 딱 맞는 비유는 아니지만, 말 전달 놀이에서 처음 이야기가 여러 사람을 거치면서 나중에는 이해하기 어려운 이야기로 바뀌듯이. 또는 복사기에서 복사물을 다시 복사하는 과정을 반복하면 원본 내용이 흐려지듯이. 인공지능이 인공지능을 따라 배울 때 원본인 실제 세상에서 점점 멀어지는 듯하다.

이달에는 미국 라이스대 연구진이 이미지 생성 인공지능을 다룬 연구논문을 인공지능 분야의 권위 있는 ‘표현학습 국제학회’(ICLR)에 발표했다. 연구진은 인공지능 생성 이미지로 후세대 모델을 훈련했더니 몇세대를 지나면서 이미지에 오류가 쌓이고 많아지는 현상을 확인했다. 품질 저하는 인공지능이 아닌 인간이 생성한 데이터를 충분한 양으로 공급할 때 줄어들었다. 연구진은 인공지능 생성물이 모델 학습 효과를 떨어뜨리는 이 문제에 ‘모델 자가포식 장애’(MAD)라는 이름을 붙였다.

기술적 해법은 아직 뚜렷하게 보이지 않는다. 모델 붕괴가 재앙 수준으로 일어나지 않으리라는 견해도 있고 인공지능의 합성 데이터와 인간의 실제 데이터를 구분하는 워터마킹이나 필터링 같은 대책이 필요하다는 견해도 있다. 합성 데이터에 오염되지 않은 순수한 인간 데이터를 따로 확보하려는 노력은 인공지능 모델 분야에서 앞으로 중요한 과제가 될 듯하다.