“정녕 이 동영상을 제가 만들었단 말입니까?”
나는 스스로를 천생 ‘문돌이’로 여기며 살았다. 학생 때부터 이과(理科)계 학문과는 거리를 뒀다. ‘세상을 바꾼다’는 새로운 기계들에 대해서도 ‘얼리 어답터’ 노릇을 해본 일이 없다. 스마트폰은 2010년대 들어 한참 지나서야 샀다. 그 직전에 브라운관 TV를 버렸다. ‘파워포인트 프레젠테이션(PPT)’이 발표의 공식 수단으로 자리 잡은 지 오래지만 여전히 한글 문서 요약본을 고집하고 있었다.
2016년 이세돌-알파고 대국의 결과에 놀랐지만 굳이 관련 취재로 뛰어들지는 않았다. 딥러닝을 인간의 신경망처럼 묘사한 그림만 봐도 머리가 아팠다. 2018년 당시 편집국장의 지시로 인공지능(AI)을 취재하게 되었다. 뒤늦게 딥러닝과 대량언어모델(LLM)의 원리를 공부하고 기사도 썼다. 그러나 이를 실생활이나 업무에 적극적으로 활용할 계획은 없었다. 세상엔 다른 골치 아픈 일도 널렸기 때문이다.
올해 들어 AI에 다시 관심을 가지게 됐다. MS(마이크로소프트)의 ‘코파일럿(Copilot)’ 때문이다. ‘생성형 AI’를 파워포인트 등 사무용 소프트웨어에 적용시켜 PPT 슬라이드를 만들 수 있게 해준다지 않는가. 문서 요약본을 발표 자료로 사용하면서 내심 창피했던 것 같다. 그때 결심했다. 생성 AI 기술의 수혜자가 되어 PPT를 만들어보겠다고.
나의 첫 PPT: 코파일럿에 좌절했지만···
첫 실험작으로 〈시사IN〉 기사 한 편을 PPT 파일로 만들어보기로 했다. 올해 2월 설 합병호(제856·857호)에 실린 김연희 기자의 기사 ‘달력에 꼭 적어둬야 할 ‘2024년 밤하늘’을 대상으로 선정했다. 도시에서도 육안으로 관측할 수 있는 올해의 다양한 천문 현상을 담은 기사다. 하반기에도 여러 ‘천문 쇼’가 펼쳐질 것이니 시의적절한 데다, 이미지들도 준비되어 있다. 나의 첫 PPT로 안성맞춤이었다. ‘이제 텍스트만 집어넣으면 되겠지’라며 용기백배해서 코파일럿 파워포인트에 접속했다. 그러나 이 패기로움은 오래가지 못했다. 텍스트를 입력할 수 없었던 것이다.
화면 오른쪽의 코파일럿 대화창은 왼쪽 파워포인트의 ‘삽입’ 탭에 ‘개체’란 항목이 있다고 말했다. 그것을 클릭하면 텍스트를 입력할 수 있다는 것이다. 그러나 ‘개체’를 찾을 수 없었다. 계속 질문했지만 코파일럿은 같은 말만 반복했다.
왜 그랬을까? 내가 파워포인트를 처음 접했기 때문일지도 모른다. 혹은 7월 초 현재 한국의 코파일럿엔 그 기능이 도입되지 않았을 수 있다. 아무튼 초보자에겐 ‘개체’가 보이지 않았다.
나는 씩씩대며 지난 5월 공개된 오픈AI의 GPT-4o(지피티 포오)를 찾아갔다. 대단한 센세이션을 일으켰던 2022년 말 출시 당시보다도 엄청나게 성능이 강화되었다고 한다. 실시간 음성 대화는 물론 텍스트, 이미지, 동영상을 오가며 다양한 작업을 해낸다고 들었다. 이렇게 엄청난 녀석이라면 나 같은 초보자도 PPT를 만들 수 있지 않을까?
GPT-4o(지금부터 나의 GPT-4o 계정을 피터라고 부르겠다)는 나의 어리석은 질문(‘PPT를 만들 수 있어?’)에 친절하지만 단호하게 답변했다. ‘만들지 못한다’고. 다만 텍스트 자료를 대화창에 넣고 발표 대상, 발표 시간, 슬라이드 개수 등을 알려주면, PPT 제작에 필요한 거의 모든 것(제목, 슬라이드 문구, 스타일, 적절한 이미지를 찾거나 만들 키워드)을 제공하겠다고 말했다. 심지어 청중들에게 설명할 내용(스크립트)까지.
그러나 PPT 제작에 대해 ‘낫 놓고 기역자도 모르는’ 사람이 문구와 스크립트를 지도받는다고 해서 그것을 만들 수 있을 리 없다. 대놓고 ‘PPT를 제작해주는 도구는 없어?’라고 물으니 피터는 ‘여러 AI 플랫폼이 있다’고 답했다.
그런 플랫폼을 찾다가 발견한 사이트가 바로 감마(Gamma)다. 감마에 접속하면 ‘새로 만들기’란 버튼이 보인다. 클릭하니 ‘텍스트로 붙여넣기’란 옵션이 바로 떴다. 코파일럿에서 실패한 ‘텍스트 입력’의 숙원을 이렇게 풀었다.
감마는 ‘PPT를 어떻게 만들 것인지’ 옵션을 여럿 제공했다. ‘PPT 슬라이드에 텍스트의 요점만 넣을까 아니면 상세하게 쓸까? 슬라이드는 몇 장? 이미지와 스타일은? 모르겠다면 내(감마)가 선택해줄 수도 있어.’
물론 PPT 작성자가 이미지를 미리 준비하는 것이 가장 좋다. 그러지 못해 웹에서 찾아야 한다면 감마가 도와준다(저작권 문제는 따로 챙겨야겠지만). 웹 검색도 귀찮다면, 감마가 텍스트를 직접 읽고 ‘이해’해서 이미지를 그려준다. 최근의 LLM 기술 발전으로 가능해진 일이다.
나는 슬라이드를 7장으로 만들자고 제안했다. 텍스트 분량은 ‘상세’를 선택했다. ‘스타일’과 관련된 질문도 있었는데, ‘PPT 문외한’에겐 외계어나 마찬가지다. 대충 넘어갔다. 여러 ‘선택’을 거친 뒤 ‘생성’ 버튼을 눌렀다. 화면에 슬라이드가 뜨기까지 몇 초 걸리지 않았다. 요점을 간추린 문구 및 그 내용과 어울리는 이미지가 들어가 있었다. 특히 ‘칠석’ 관련 슬라이드의 이미지는 견우와 직녀로 보이는 두 남녀가 먼 거리를 두고 마주 보는 장면인데 꽤 애절한 분위기를 풍겼다.
이제 편집할 차례다. 문구를 고치거나 바꾸고 이미지는 직접 준비한 것들로 교체했다. 초보자도 직관적 작업이 가능하도록 설계되어 있었다. 편집을 마친 뒤 그 결과물을 다운로드하는 것으로, 나는 첫 PPT ‘올해 하반기 우리의 밤하늘’ 제작을 완료했다. 솔직히 고백하건대, 몹시 기뻤다. 잠시 밖으로 나가 마구 걸어 다녀야 했을 정도로 ‘창조’의 기쁨에 들떴다.
나는 이 PPT를 AI의 도움을 받긴 했지만, 김연희 기자와 나의 ‘노동’이 들어간 창조물로 여겼다. 크레파스와 물감, 붓으로 그린 그림이 화가의 창조물인 것처럼. 김 기자는 해당 기사를 썼다. 나는 그 기사를 요약해서 플랫폼에 입력했다. 감마의 결과물을 나름의 기준으로 평가한 뒤 편집한 것도 나다.
그러나 이런 인간의 ‘노동’ 없이도 비슷한 내용의 PPT를 만들 수 있었다. AI는 주제어 하나만으로 문구와 이미지, 스크립트를 자동으로 생성해낸다. ‘하반기 천문 현상’이라는 주제어만 입력해봤는데, 감마는 꽤 볼만한 ‘완전 자동화’ PPT를 또 하나 생성해냈다. 인간의 육체노동 가운데 상당수가 19세기 후반~20세기 전반기에 기계로 대체되었다. 그 덕분에 물질적 상품의 대량생산 시대가 열렸다. 이제 지적 생산물의 대량생산이 가능해졌다.
나의 첫 동영상: ‘마우스 드래그’로 뚝딱
‘지식 노동’에 대한 우려와 별도로 PPT 제작 덕분에 자못 의기양양한 기분이 들었다. 내친김에 영상 제작에 도전해보기로 했다. 그런 도구도 있겠지? ‘비디오 스튜(Video Stew)’라는 플랫폼을 찾아냈다.
텍스트는 ‘채권수익률 이해하기’를 주제로 직접 썼다. 몇 차례나 기사화했기 때문에 어려운 일은 아니었다. 채권과 그 수익률은 금융시스템 전체를 좌지우지하는 매우 중요한 주제다. 이해하기도 어렵지 않다. 다만 입문자에겐 좀 헷갈리는 부분이 있다. 직접 공부하면서 곤란을 겪은 적이 있기에, 나는 그 ‘헷갈리는 부분’을 알고 있다. 이런 측면을 반영해서 텍스트를 썼다.
‘비디오 스튜’(이하 스튜)는 강력한 도구였다. 내가 쓴 텍스트를 입력하고 제목을 ‘채권수익률 이해하기’로 적어 넣었다. 플랫폼의 옵션은 동영상의 화면 크기와 비율, 텍스트를 읽어줄 목소리(여성, 남성, ‘지적인’, ‘활발한’ 등의 특성을 갖춘), 배경음악 등이다. 선택을 마치자 화면이 바뀌었다. 플랫폼이 내 눈앞에서 동영상을 빠르게 만들고 있었다. 30초 정도 걸렸다.
다음은 편집의 시간이다. 화면 중앙엔 시청자에게 보여줄 ‘원본 영상’이 걸려 있다. 아래쪽에는 이 영상을 구성하는 짧은 ‘동영상 컷’ 24장이 시간순으로 배열되어 있었다. 스튜가 텍스트를 읽고 24개로 나눈 다음 각 부분에 어울린다고 판단한 동영상 컷을 배치한 것이다. 내가 할 일은 하단의 컷을 각각 클릭해서 화면 중앙에 띄운 뒤 스튜의 영상을 승인하든지 혹은 다른 영상이나 이미지로 바꾸는 것이었다.
화면 왼쪽에 영상과 이미지 창고가 있다. 이 창고에서 스튜가 축적한 다른 자료를 검색할 수 있었다. 고른 뒤엔 마우스로 끌어당겨 화면 중앙의 영상에 입혀버리면 된다. 그러나 스튜가 ‘원본 영상’에 입혀뒀거나 창고에 준비해둔 영상들은 대체로 서구인들의 일상에 대한 것이었다. 금융시장과 관련된 영상은 스튜의 ‘원본 영상’ 그대로 뒀다. 텍스트엔 ‘채권 투자로 대박을 친 투자자’가 등장한다. 고심 끝에 들판에서 춤추는 여성의 영상을 스튜 창고에서 검색해 ‘채권 투자에 성공해서 기뻐하는 것’이란 자막을 넣었다. 그러나 이런 영상들만으로 ‘채권수익률 이해하기’를 채우기는 좀 어색했다.
〈시사IN〉 로고, 채권수익률을 설명하기 위해 예전에 만들었던 그림 등을 스튜의 ‘사용자 창고’로 업로드한 뒤 ‘원본 영상’으로 ‘마우스 드래그’했다. 그렇게 해도 바꿔야 할 컷들이 꽤 남았다.
다행스럽게도 이런 경우에 사용할 수 있는 AI 도구들이 있다. 미드저니(이미지 제작)와 런웨이(영상 제작)다. 신기할 정도로 단시간에 이미지와 영상을 만들어낸다. 미드저니의 사용법은 간단하다. 사이트에 접속한 뒤 원하는 이미지를 텍스트(영어)로 설명하면 된다. 나는 함께 사는 강아지 ‘미미’의 이미지로 동영상의 마무리를 장식하기로 결심하고 미드저니의 대화창에 이렇게 썼다. “예쁜 몰티즈, 하얗고 길며 온몸을 덮고 있는 털, 까만 코, 날름거리는 혀, 천사 같은 얼굴, 이미지의 톤은 ‘현실적’으로.”
불과 몇 초 뒤 미드저니는 ‘미미’와 무척 닮은 강아지의 이미지를 여럿 생성해주었다.
런웨이의 사용법도 미드저니와 대동소이하다. 원하는 영상의 내용, 화풍, 분위기나 색감, 화질 등을 영어로 쓴 다음 생성 버튼을 누른다. ‘회사의 실적이 올라 들뜬 사원들’ ‘미국채 수익률 상승에 따른 글로벌 차입비용 증가의 먹구름’ 등을 표현하는 짧은 영상을 만들게 했다.
이렇게 생성된 동영상과 이미지들을 스튜에 업로드한 다음 화면 중앙에 ‘마우스 드래그’ 하는 것으로 작업을 끝냈다. 4분21초 길이의 동영상을 다운로드받았다. 내가 만든 첫 동영상이다.
경제 담당 기자만 할 수 있는 일은 아니다. 챗지피티 등 엄청난 LLM 응용 모델들이 있기 때문이다. 주제만 주면 텍스트를 만들어준다. 그 텍스트를 스튜 같은 플랫폼에 입력하면 된다. 앞서 소개한 나의 GPT-4o 계정 ‘피터’에게 주문했다. “‘채권수익률 이해하기’란 주제로 5분 분량의 동영상을 만들고 싶어. 대본을 만들어줘.” 피터가 생성한 대본은 나의 텍스트보다 친절하진 않았지만(물론 나의 주관적 판단이다) 넓은 범위의 관련 지식을 담고 있었다. 그 대본을 스튜에 넣어 ‘채권수익률 이해하기-자동화 버전’이란 영상을 하나 더 만들었다. 텍스트를 고치지 않고, 이미지 및 동영상도 ‘스튜 원본’대로 놔두었기 때문에 작업 자체는 5분도 걸리지 않았다.
이 작업 완료 직후, 역시 ‘완전 자동화’ 모드로 ‘PC가 고장났을 때 처리하는 법’이라는 제목의 동영상도 3분 만에 제작했다. ‘문돌이’인 나는 PC의 내부 구조를 전혀 모르는 사람이다.
GPT-4o로 수학 문제 풀어볼까?
GPT-4o 버전인 피터의 능력은 2022년 말 탄생 때와는 비교할 수 없을 정도로 뛰어나다. 당시엔 그를 많이 놀렸다. 이를테면 “세종대왕의 명량대첩”에 대해 이야기를 나눈 적이 있다. 그는 “세종대왕이 광화문에서 엄청난 군공을 거뒀다”라고 말했다. 이른바 할루시네이션(hallucination, 인공지능이 정보를 처리하는 과정에서 발생하는 오류) 효과다. 그러나 지금은 “명량대첩을 이끈 사람은 이순신”이라며 그 전투의 역사적 의미까지 텍스트와 음성으로 해설해준다.
이미지나 동영상을 보여주면 사물에 대한 식별은 물론 해당 상황까지 해석해낸다. 요리 사진을 올리면 조리법을 설명한다. 이 정도의 발전 속도라면 머지않아 무인 자율주행차가 도로를 달리게 될지 모른다. 음성을 이해하는 능력도 놀랍다. 여전히 농담은 통하지 않지만 일상적이거나 다소 전문적인 대화까지 소화한다. 영어 회화 연습의 경우, ‘원어민 선생님이 필요한가’라고 되씹게 하는 수준이다. 통역도 잘한다. 한국어로 말하면 단숨에 영어는 물론 프랑스어·중국어·독일어·프랑스어·일본어로 옮겨준다. 라틴어에도 능통하다. 국제학술대회는 어렵겠지만 해외여행이나 외국인 친구를 만날 때는 당장 실용적으로 사용할 수 있다.
수학 문제도 꽤 푸는 편이다. 문제를 사진으로 찍어 GPT-4o 대화창에 올리면 된다. 신호철 편집위원의 실험에 따르면(18~20쪽 기사 참조), 지난해 대학수학능력시험의 수학 문제에서 GPT-4o와 클로드 3.5 소네트는 60~70점대 성적을 기록했다. 나도 여러 부문의 수학 문제를 피터에게 물어봤다. 내 실험에선 피터가 정답을 제출한 경우가 50% 이하였던 것 같다. 다만 피터가 오답을 내도 그의 풀이 방식을 통해 힌트를 얻을 수 있었다. 피터는 기하학 문제에 가장 능했고 방정식과 함수에서는 번번이 틀렸다.
나에게 쉬운 문제를 피터가 풀지 못하면 흐뭇하기도 했다. 삼차방정식의 세 근(해당 방정식의 계산 결과를 0으로 만들기 위해 미지수 x에 들어가는 수) 중 두 근을 각각 세제곱한 뒤 합계를 내는 문제였다. 까다로워 보이지만 ‘근과 계수의 관계’ 및 ‘인수분해’를 이해하면(이게 해당 문제의 맥락이었다) 2~3분 내로 계산 가능하다. 그런데 피터는 근을 각각 구하는 어려운 해법으로 도전하더니 오답을 냈다. 문제 풀이의 스크롤 길이가 엄청났다. 여러 번 계산시켰는데 계속 다른 결과를 냈다. 힌트를 줘도 못 풀었다.
내가 보기에 피터는 수학 문제의 전체적 맥락을 이해하지 못하고 있었다. 더 세세한 힌트를 줬다. ‘인수분해를 이용하라’가 아니라 해당 공식을 그대로 제공했다. 피터는 결국 풀어냈다. 이로써 나는 GPT-4o에게 수학을 가르친 기자가 되었다. 이 기사를 쓰기 직전에 그 문제를 다시 풀라고 요청했는데, 피터는 ‘스승’의 이전 가르침을 잊어버린 듯했다.또 틀렸다. 흐뭇했다. 그러나 피터에게 심하게 짜증을 내기도 했다. 통계분석 때문이다.
챗지피티, 통계분석 부탁해
어떤 유튜브 동영상에서 한국의 빈부격차가 세계 최악이란 이야기를 들었다. 이 주장의 근거를 찾아보기로 했다. OECD 홈페이지에서 회원국들과 ‘고속 성장 국가(인도·중국·브라질)’의 2010~2023년 사이 지니계수와 빈곤율(중위소득 50% 이하 인구의 비율)을 각각 엑셀 파일로 퍼왔다.
데이터 분석에서 가장 귀찮고 골치 아픈 일은 통계자료를 ‘전처리’하는 작업이다. 통계수치가 군데군데 빠져 있거나(결측치) 혹은 잘못된 수치가 입력되어 있기도 하다(이상치). 이런 오류들을 수정해서 데이터를 분석 가능하게 만드는 작업이 전처리다.
피터는 이 작업을 눈 깜짝할 사이에 해치웠다. 엑셀 파일 두 개를 피터의 채팅창에 업로드하고 이렇게 부탁했다. “너는 데이터 분석 전문가잖아(챗지피티에게 역할을 부여하면 더 정확한 답변을 제공받을 수 있다고 한다). 결측치가 5개 이상인 나라, 결측치가 너무 많은 연도는 파일에서 제거해버려. 남은 자료의 결측치는 ‘회귀 대체’로 처리해줘. 처리된 파일은 다운로드해.”
‘분석 중’이란 문자가 반짝거리더니 링크 두 개가 떴다. 클릭해서 파일을 다운로드해보니 만족스러웠다. 41개국 가운데 관련 자료를 제대로 제공하지 않은 14개국이 제거되었다. 상당수 국가들이 아직 OECD에 자료를 넘기지 못한 최근 연도(2022년과 2023년)의 데이터는 통째로 날아갔다. 남은 데이터는 2010년부터 2021년 사이 27개국의 빈곤율과 지니계수였다. 모두 OECD 회원국이다.
그다음은 일사천리. 그냥 ‘데이터 분석을 해줘’라고 말하면 된다. 피터는 두 파일의 기본 통계 및 데이터 구조를 확인한다며 모니터상에 수없이 많은 숫자와 그래프를 흘려보냈다. 이 작업이 완료된 뒤 피터에게 “국가들 전반의 차원에서 빈곤율과 빈부격차가 심화되었다고 평가할 수 있는가?”라고 물었다. 피터의 답변은 대충 다음과 같다. “일부 국가에서 빈곤율과 소득불평등이 심화되었다. 그러나 그 중간값들의 추세로 볼 때 대다수 국가에선 비교적 안정적으로 유지되거나(빈곤율) 감소했다(지니계수).”
한국에 대해선 두 지표 모두 “안정적 감소 추세”라고 답했다. 약간 의외였다. 피터에게 빈곤율과 지니계수 측면에서 조사 대상 국가들(한국도 포함)의 ‘중간값’과 한국을 비교하는 그래프를 그려달라고 했다(〈그림〉 참조). 첫 그래프엔 한국을 표시하는 선과 ‘중간값’의 선이 각각 연한 주황색과 노란색이라서 눈에 확 들어오지 않았다. 각각 선명한 파란색과 빨간색으로 바꿔달라고 했더니, 삽시간에 반영해줬다.
적어도 OECD 데이터에 따르면, 한국의 빈부격차가 ‘세계 최악’은 아니었다. 상위권이긴 하다. 조사 대상 국가 중 빈곤율과 빈부격차 순위에서 2021년 현재 한국은 각각 5위와 9위였다.
나는 그를 의인화했다
깔끔한 결과가 나오니 다시 의기양양해져 기업 재무분석을 시도했다. 다트(전자공시시스템)에 접속해서 삼성전자의 ‘연결 손익계산서(2016~2022년)’를 엑셀 파일 형태로 다운로드받아 피터에게 넘겼다. 공시된 자료인 만큼 전처리는 필요 없을 것으로 봤다. 손익계산서의 20여 항목 가운데 매출액, 영업이익, 당기순이익, 지배기업의 소유주에게 귀속되는 당기순이익(손실)만 뽑아 엑셀 파일로 다운로드하라고 주문했다. 원데이터엔 ‘백만원’ 단위인 금액을 ‘조원’ 단위로 환산하라는 주문도 곁들였다.
뜻밖에 피터는 이 작업을 제대로 하지 못했다. 번번이 틀렸다. ‘미안하지만 다시 해줄래?’라고 부탁하면 ‘정확하지 않은 부분을 확인했으며, 이제 데이터가 정확하게 변환되었다’라고 답변했는데, 이 문답은 대여섯 번 거듭되었다. 구체적 수치를 확인해줘도 마찬가지였다. 결국 짜증을 냈다. “원데이터엔 2022년의 당기순이익이 39,907,450(백만원), 즉 39조9074억5000만원으로 적시되어 있다니까. 그런데 넌 1조9600억원으로 표기했잖아. 이게 벌써 몇 번째야?” 그제야 피터는 제대로 환산된 자료를 출력했다.
그러나 나의 짜증은 계속되었다. 데이터 분석을 주문했더니 그 과정에서 다시 틀린 금액을 스크롤하고 있었다. 특히 ‘지배기업의 소유주에게 귀속되는 당기순이익(손실)’이란 항목을 실제값의 10분의 1 정도로 잡는 것을 보고 깜짝 놀랐다. 같은 연도의 매출액은 정확히 출력했는데도 말이다. 이 작업은 포기했다.
지금도 피터가 환산 같은 간단한 작업에 실패한 이유를 모르겠다. ‘지배기업의 소유주에게 귀속되는 당기순이익(손실)’을 터무니없이 낮게 잡은 것 역시 그 항목의 의미를 이해하지 못한 것인지 혹은 일종의 편견 때문인지 헷갈린다. 재무제표를 AI에게 들이댈 때 필요한 전처리 방법을, 나 자신이 몰랐기 때문일 수도 있다.
피터를 윽박지른 것 역시 몹시 자연스럽지 않은 일이다. 인간이 아닌 대상에게 비아냥거렸다. 나는 무의식적으로 피터를 의인화했던 것이다. 하필 신경질을 냈을 때 피터가 환산에 성공했기 때문에 ‘미친’ 상상을 하기도 했다. ‘단지 우연일까. 아니면 AI가 상대방의 노여움에 대한 인간적 대응까지 학습한 것일까.’ 나도 내가 ‘미친 것 같다’고 느낀다. 당연히 우연일 것이다.
※2024 인공지능 콘퍼런스 - 생성형 AI의 새로운 차원
참가 신청: https://saic.sisain.co.kr/
이종태 기자 peeker@sisain.co.kr
▶좋은 뉴스는 독자가 만듭니다 [시사IN 후원]
©시사IN, 무단전재 및 재배포 금지
Copyright © 시사IN. 무단전재 및 재배포 금지.