노벨상에 도전하는 인공지능...인간의 성역을 AI가 침공했다[박건형의 홀리테크]

인간만이 할 수 있는 영역은 언제까지 남아 있을까

박건형의 홀리테크 뉴스레터 구독하기 ☞ https://page.stibee.com/subscriptions/80905

유명 인공지능(AI) 블로그 ‘기묘한 AI(AI Weirdness)’의 운영자이자 광학·AI 연구자인 자넬 세인은 2016년 AI를 이용해 요리법을 개발하는 실험을 진행했습니다. 인터넷에서 요리법을 수집해 AI에 학습시킨 뒤 이전에 없던 새로운 요리법을 AI가 스스로 만들어내게 한 것입니다. 당연하게도 AI는 음식을 직접 요리하거나 먹어본 적이 없습니다. 인간의 언어를 그대로 이해하는 것도 아닙니다. 당시 AI가 만들어낸 요리법은 유머에 가까웠습니다. ‘휘핑크림을 자르라’ ‘밀가루를 다지라’라는 지시가 요리법에 적혀 있었습니다.

4주전 디코드 2.0에서는 IBM의 왓슨, 구글의 알파고, 거대 자동차 기업들의 자율주행 개발 경쟁을 통해 금방이라도 우리 세상을 바꿀 것 같던 AI의 현실과 한계를 다뤘습니다. 이른바 AI에 대한 비관적 시각이었죠. 하지만 지금도 전세계적으로 수많은 연구자와 기업들이 AI에 대한 연구와 투자를 이어가고 있습니다. 이번 디코드 2.0에서는 왓슨, 알파고, 자율주행차처럼 거대하지는 않지만 사람들을 놀라게 하기에는 충분한 AI 연구성과를 모아서 소개할까 합니다. 이 AI들에는 공통점이 있습니다. 바로 ‘사람만이 할 수 있다’고 생각했던 영역에 도전하고 있다는 것입니다. 요리, 미술, 음악, 과학 연구 같은 분야 말입니다.

◇신메뉴 개발에 뛰어든 AI

요리법은 입에서 입으로 전해지거나 직접 옆에서 같이 요리를 하는 것 같은 경험의 전수로 이어집니다. 물론 요리책이나 인터넷 사이트에서 읽고 따라해보는 방법도 있죠. 올해 추수감사절을 맞아 미국 뉴욕타임스는 흥미로운 실험을 진행했습니다. AI에게 요리법을 개발하도록 시킨 뒤 요리를 실제로 만들어 뉴욕타임스의 요리 칼럼니스트 4명에게 평가를 맡긴 것이죠. AI를 직접 개발한 것은 아닙니다. 일론 머스크가 설립한 AI연구소 ‘오픈AI’가 개발한 GPT-3(Generative Pre-trained Transformer 3)를 활용했습니다. GPT-3는 이른바 ‘초거대 AI’라고 불리는 시스템입니다. 방대한 양의 데이터를 딥러닝(심층학습)이라는 AI기법으로 학습해 사람이 쓴 것과 구분하기 힘든 글을 창작해냅니다. 이미 18세기에 사망한 작가의 미출판 책을 만들어내거나(물론 실제 작품을 발굴한 것이 아니라, 스타일이 같다는 얘기입니다) 시를 쓰면서 전세계적인 명성을 얻었습니다. 오픈AI가 GPT-3를 선보인 이후 마이크로소프트, 네이버, 카카오, LG 같은 국내외 기업들이 앞다퉈 초거대AI 개발에 뛰어들었습니다. 그만큼 잠재력이 높다고 보고 있는 셈입니다.

AI를 요리법 개발에 활용하면 어떤 장점이 있을까요. 뉴욕타임스는 이렇게 설명합니다. “사람에게는 한계가 있다. 사람은 자신의 요리법을 개발하기 위해 인터넷에서 모든 ‘으깬 감자’ 요리법을 읽을 수 없다. 파이를 만드는 가장 좋은 방법을 찾기 위해 수천 가지 방법을 분석할 수 없다. 하지만 기계는 할 수 있다.” 실제로 이들의 실험도 이런 방식으로 진행됐습니다. GPT-3는 책, 위키피디아, 기사, 트윗, 채팅 기록 등 인터넷에서 방대한 양의 요리법을 수집한 뒤 요리법이 어떤 식으로 구성되는지 배우고 새로운 방식을 만들어낼 수 있습니다. 뉴욕타임스의 요리 담당 기자인 프리야 크리시나는 노트북에서 GPT-3에 접속한 뒤 “저는 텍사스 출신이며, 인도계 미국인 가정에서 자랐습니다. 나는 매운 맛, 이탈리아와 태국 음식, 너무 달지 않은 디저트를 좋아합니다. 자주 쓰는 요리 재료로는 챠트 마살라, 간장, 허브, 토마토 페이스트가 있습니다. 나를 위해 만든 추수 감사절 메뉴를 보여주세요”라고 입력했습니다. 그러자 GPT-3는 곧 ‘호박 스파이스 차트(인도식 디저트)’라는 이름의 새로운 요리법을 보여줬습니다. 이 과정을 반복하면서 크리시나는 된장과 참깨를 곁들인 녹두, 난 스터핑, 간장·생강·유약을 곁들인 칠면조 구이, 달지 않고 약간 매운 크랜베리 소스 등 다양한 요리법을 얻을 수 있었습니다. 이후 이미지를 생성하는 오픈AI의 또다른 AI 시스템 ‘DALL-E’를 통해 완성된 요리의 사진도 생성하도록 했습니다.

◇아직 요리 연구가는 살아 남았다

과정은 완벽했지만, 결과는 완벽하지 않았습니다. 요리법은 요리 전문가가 아니더라도 의심이 갈 만한 점들이 곳곳에서 발견됐습니다. 대부분의 조리법은 심각한 정도로 소금과 지방이 적었고, 칠면조 양념에 마늘을 한쪽만 쓰고 버터와 기름을 사용하지 말라고 알려줬습니다. 일단 GPT-3가 알려준대로 요리를 해보니 결과물은 생김새부터 완전히 달랐습니다. 밝은 색상이 될 것으로 예상하고 이미지까지 만들어졌던 요리가 실제로는 거무튀튀한 색상이 된 경우도 있었습니다. 실제로 조리한 뒤 맛을 본 전문가들의 평가는 어땠을까요. 한 전문가는 “우리는 아직 일자리를 잃지 않았다”고 했고, 다른 전문가는 “요리에 영혼이 없다”고 했습니다. 칠면조 구이는 마르고 맛이 없었고, 심혈을 기울여 만든 소스는 요리에 아무런 영향을 미치지 않았습니다. 요리법 개발 자체는 사실상 실패한 셈입니다. 하지만 전문가들은 이 과정에서 충분한 가능성과 문제점을 동시에 찾아냈습니다. 이런 요리법이 요리사가 새로운 방식을 찾거나 더 발전된 요리를 만들 수 있도록 하는 계기는 충분히 제공할 수 있다는 겁니다. AI의 편견이 요리법 개발에서 나타날 수 있다는 지적도 나왔습니다. GPT-3는 기본적으로 서양 요리법이 주를 이루는 영어 인터넷을 이용하면서 그쪽에 더 가중치를 자연스럽게 두게 된다는 얘기죠. 뉴욕타임스는 절반의 성공만 이뤘지만, AI의 요리법 발전 속도를 감안하면 몇 년 뒤에는 진짜 완벽한 요리를 만들어 낼 지도 모릅니다. 미국 메사추세츠공과대(MIT), 스페인 카탈루냐 공과대, 카타르 컴퓨터 연구소 공동 연구팀은 요리 전용 AI 개발을 위한 데이터 묶음 ‘Recipe1M+’를 만들어 공짜로 배포했습니다. 이 데이터 세트는 100만개 이상의 요리법과 1300만개의 음식 이미지를 가공해 만들었습니다. 연구팀은 활용 사례를 보여주기 위해 글로 된 요리법을 이미지로 바꾸거나, 음식 이미지를 요리법으로 바꿀 수 있다는 것을 보여주는 연구 결과를 논문으로 출판했습니다.

미국 메사추세츠공과대(MIT), 스페인 카탈루냐 공과대, 카타르 컴퓨터 연구소 공동 연구팀이 공개한 요리 전용 AI 개발용 데이터 묶음 ‘Recipe1M+’

◇예술의 종말이 머지 않았다?

요리법을 새로 개발할 수 있다는 것은 얼핏 보면 별로 중요한 문제 같지 않습니다. 당장 AI가 개발한 요리가 사람 요리사보다 더 뛰어나지도 않고요. 하지만 요리법이 어떤 방식으로 만들어지는 지를 다시 생각해보면 좀 더 복잡한 문제가 생깁니다. 우리는 요리법이 ‘경험’과 ‘지식’이 결합해 만들어지는 것을 당연하게 여겨왔습니다. 저 두 가지를 할 수 있는 존재는 인간 뿐입니다. 그런데 데이터를 집어넣는 것만으로 AI가 새로운 요리법을 만들 수 있다면, 더 이상 요리법은 인간만이 창작할 수 있는 영역이 아니게 됩니다. 다시 말해 데이터와 이를 활용할 소프트웨어 시스템만 있다면 다른 창작의 영역도 AI가 할 수 있다는 얘기가 됩니다. 실제로 그런 일은 이미 너무나 당연하게 벌어지고 있습니다. 지난 8월 미국 콜로라도 미술 박람회 디지털아트 부문 우승을 차지한 ‘스페이스 오페라 극장’은 사람이 아닌 ‘미드저니’라고 불리는 AI가 그렸습니다.

미드저니, 달리 2 같은 AI 기반 이미지 생성 소프트웨어로 그린 작품들. 게임 기획자 제이슨 앨런이 AI 프로그램으로 만든 ‘스페이스 오페라(위쪽)’는 올 8월 미국에서 열린 미술 대회에서 1등을 차지했고, 잡지사 코즈모폴리턴은 AI가 그린 여성 우주 비행사 이미지를 북미판 6월 호 잡지 표지(아래 왼쪽)에 실었다. AI가 그린 만화 ‘염소들(Goats·아래 오른쪽)’도 올 8월부터 북미용 네이버 웹툰(WEBTOON)에 연재 중이다. /제이슨 앨런·코즈모폴리턴·WEBTOON

작가 제이슨 앨런이 미드저니에 이 그림을 그리도록 시킨 것이죠. 우승상금이 300달러에 불과한 전시회였지만, 파장은 컸습니다. 일각에서는 AI를 사용한 것이 사기라는 주장까지 나왔고, 결국 주 정부가 나서 “디지털아트 부문에는 디지털 기술을 활용하는 것이 허용된다”고 무마했습니다. 비판하는 사람들 사이에서는 “예술이 죽었다”라는 말까지 나옵니다. 이런 그림을 그려낼 수 있는 것은 미드저니 뿐이 아닙니다. 달리2, 스테이블 디퓨전 같은 미술 AI가 속속 등장하고 있고 심지어 대부분 누구나 인터넷으로 쉽게 접속해 그림을 그릴 수 있습니다. 최근 한국을 비롯한 각국 대학에서도 이런 형태의 이미지 생성 AI가 각광을 받고 있다고 합니다. 조대곤 KAIST 경영대학 교수는 “기존에는 발표자료나 논문, 리포트 같은 것을 만들 때도 일일이 저작권이 없거나 사용이 가능한 이미지를 찾는데 많은 시간을 낭비해야 했다”면서 “최근에는 원하는 형태의 그림을 AI에게 입력하면 기존에 전혀 없던 새로운 이미지를 만들어준다”고 말했습니다. 이른바 ‘표절 없는 이미지’ 시대가 열리고 있는 겁니다. LG AI 연구원이 개발하고 있는 초거대 AI ‘엑사원’도 예술과 결합이 가능합니다. 엑사원은 제목을 주면 글을 써내거나, 글을 주면 제목을 뽑아줍니다. 시연 당시 기자들 사이에서는 “사람 편집자에 뒤지지 않는 능력”이라는 평가가 나왔습니다. 사진을 주면 캡션을 알아서 쓰거나, 특정한 이미지를 주문하면 순식간에 새로운 이미지를 생성해내기도 합니다.

배경훈 LG AI연구원장이 LG의 초거대 멀티모달 AI EXAONE(엑사원) 두뇌를 가진 '틸다'를 소개하는 모습(LG 제공). /뉴스1

◇AI 작곡 콘테스트까지 진행

오페라, 음악 작곡 같은 분야에서도 AI는 괄목할 만한 성과를 내고 있습니다. 지난 2일 구글은 뉴욕에서 열린 ‘구글 AI 이벤트’에서 ‘오디오LM’이라는 AI 기술을 공개했습니다. 짧은 오디오 샘플을 입력하면 이를 기반으로 완성도 높은 곡을 만들어내는 기술입니다. 이날 오디오LM은 3초 남짓한 클래식 피아노 소리 샘플을 입력하자 30초 가량의 피아노곡을 만들어냈습니다. 하모나이라는 AI 스타트업은 독특한 방식으로 새로운 음악을 만들어 냅니다. 기존 데이터 샘플을 일부러 왜곡시킨 뒤 복원시키면서 새로운 음악을 만들어내는 식이죠. 최근 홍콩에서 개막한 뉴비전 아트 페스티벌에서는 독일과 홍콩 작가와 연구자들이 공동 제작한 AI 오페라 ‘체이싱 폭포’의 아시아 초연이 5일 진행됐습니다. 디지털 트윈을 주제로 한 이 오페라의 한 장은 아예 AI가 제작했습니다. 사우스차이나모닝포스트에 따르면 이들의 목표는 “청중이 오페라 전체에서 AI의 존재를 찾아내지 못하게 하는 것”이라고 합니다.

/연합뉴스 2일(현지시간) 미국 뉴욕시 구글 피어57 캠퍼스에서 열린 '구글 AI 이벤트'에서 더글러스 에크 선임 연구국장이 인공지능(AI) 기반 음성 및 음악 생성 프레임워크인 '오디오LM'을 시연하고 있다.

AI 음악 분야에서는 한국 스타트업들도 강세를 보이고 있습니다. 포자랩스는 최근 CJ ENM이 투자할 정도로 주목받는 기업입니다. 재즈, 락, EDM, 영화음악, 월드뮤직 등 다양한 분야의 음원을 AI로 생성하면서 게임, 광고, 드라마 업계의 관심이 높습니다. AI 음악 스타트업 크리에이티브마인드, 주스, 칠로엔 등도 발전 가능성을 높이 평가받고 있습니다. 크리에이티브마인드는 지난달부터 자사 기술을 이용해 나만의 곡을 만들어 참가할 수 있는 ‘AI 작곡 콘테스트’까지 진행하고 있습니다.

◇노벨상 목표 AI까지 등장

단순히 ‘창작의 영역’ 또는 ‘인간의 영역’이라고 뭉뚱그려 생각했던 분야는 무궁무진합니다. GPT-3는 과학 논문도 쓸 수 있습니다. 학자들은 가설을 세우고, 실험을 한 뒤, 그 결과를 논문으로 내는 것을 당연하게 여깁니다. 하지만 인간은 상상할 수 없는 방대한 데이터를 갖고 있는 GPT-3는 사람이 미처 발견하지 못했던 맥락을 찾아내거나 실험 결과를 예측해 논문을 쓸 수 있습니다. 실제로 스웨덴 샬그린스카 의대 알미라 툰스트롬 박사는 지난 6월 GPT-3에 자기 자신에 대한 논문을 쓰도록 한 뒤 이를 프랑스 저널 ‘HAL’에 투고했습니다. 논문 완성까지는 고작 2시간 밖에 걸리지 않았습니다. 툰스트롬은 과학잡지 ‘사이언티픽 아메리카’ 투고에서 “문맥이나 인용이 적절하고 논문의 전체적 구성 역시 흠잡을 곳이 없었다”고 했습니다.

아무리 뛰어난 연구자라도 논문을 2시간만에 작성하는 것은 불가능한 일입니다. 일각에서는 전통적인 과학학술 시스템에 AI가 균열을 낼 수 있다는 우려까지 나옵니다. 아예 처음부터 논문을 쓰는 AI를 목표로 개발하고 있는 곳도 있습니다. 일본 오므론은 지난달 “노벨상급 연구 성과를 올릴 수 있는 AI를 개발하겠다”고 선언했습니다. 영어 과학논문을 대량으로 학습시켜 과학 연구 방법을 찾고 가설을 직접 세우도록 하겠다는 겁니다. 연구팀은 2027년까지 AI를 가설을 세울 정도 수준으로 발전시키고, 2040년에는 사이언스, 네이처 같은 톱 학술지에 논문을 게재하도록 하겠다는 목표를 세웠습니다. 일본에서는 이미 예전에도 AI에게 공부를 시키는 유명한 연구가 진행된 바 있습니다. 이른바 ‘도로보군’으로 불리는 일본 국립정보학연구소(NII)의 AI가 도쿄대 입학시험을 통과하도록 하는 프로젝트였습니다. 2011년 시작된 이 프로젝트를 통해 도로보군은 2013년 첫 시험을 치렀고 2020년까지 계속 낙방했습니다. 연구진은 독해가 필요한 일본어와 영어 같은 과목에서 점수가 낮은 것을 원인으로 꼽았고, 공식 프로젝트는 종료됐습니다. 하지만 연구진은 지속적으로 성능 개선을 연구를 진행하고 있는데, 알파고로 유명한 딥러닝 기술의 접목으로 괄목할 만큼 독해 실력이 늘었다고 합니다.

◇AI의 저작권 논란

창작의 영역에 뛰어든 AI는 새로운 논쟁을 낳고 있습니다. 바로 AI가 만들어낸 콘텐츠의 저작권 문제입니다. 또 AI가 발명한 발명품의 특허는 누가 소유해야 하는가도 논란이 뜨겁습니다. 불과 몇 년 사이에 AI가 급속한 발전을 하다 보니 충분한 법적 검토와 제도화가 이뤄지지 않은 것이죠. 미국과 한국은 아직 AI의 저작권을 인정하지 않고 있습니다. 저작권자와 특허권자는 ‘사람’으로 국한돼 있다는 겁니다. 반면 영국, 아일랜드 같은 나라에서는 AI가 만든 창작물의 저작권을 인정하고 있습니다. 얼핏 생각하면 이 AI를 만들거나 정당한 사용료를 지불하고 활용한 사람에게 권리를 주면 될 것 같지만 이 문제는 생각보다 훨씬 복잡합니다. 예를 들어 인터넷에서 그림 데이터를 모아 학습시키는 방법으로 미술 AI를 만들었다고 하면, 이 AI가 그린 그림에는 저작권을 침해한 학습 데이터가 사용됐을 가능성이 있습니다. 완성된 그림은 이전에 없던 새로운 그림이지만, 최소한 논리적으로는 저작권 침해의 요소가 분명히 있는 셈이죠. 실제로 최근 국내외 만화가와 일러스트레이터의 블로그, 소셜미디어 등에서는 “내 그림을 AI에 학습시키지 마세요”라는 문구를 쉽게 볼 수 있습니다. AI의 저작권 문제는 이전의 잣대처럼 칼같이 자를 수 없는 문제입니다. AI의 발전 속도를 감안할 때 지금은 상상도 할 수 없는 새로운 이슈가 계속 등장할 가능성도 있습니다.

2016년 알파고가 처음 등장했을 때 많은 학자들이 “창작의 영역은 남아 있을 것”이라고 자신했습니다. 하지만 AI는 지난 6년간 하나씩 그 장벽을 뛰어넘고 있습니다. 아직도 예술계에 있는 사람들이나 과학자 중 상당수는 “아무리 AI의 예술성이 높아져도, 사람의 가치는 계속 인정 받을 것”이라고 했습니다. 만능 AI와 자율주행차 시대를 꿈꾸던 거대 기업들의 프로젝트는 난항을 겪고 있지만, AI의 영향력은 점차 더 많은 분야로 확산되고 있습니다. 문득 이전에 유명 AI 연구자에게 들었던 말이 생각납니다. “사람들은 로봇이나 AI가 공장 노동자나 자동차 기사 같은 직업을 대체할 거라고 생각합니다. 하지만 막대한 돈을 들여서 개발하고 운영해야 하는 로봇과 AI를 저임금 단순 노무에 배치하는 것은 이상한 일이죠. 결국 로봇과 AI의 궁극적인 목표는 고임금 전문직의 업무를 대신하거나, 고가 패션·의류·예술 같은 분야의 대중화가 되지 않을까 합니다.”

박건형의 홀리테크 뉴스레터 구독하기 ☞ https://page.stibee.com/subscriptions/80905