[시선집중] 김승주 "AI비서가 만드는 로봇 댓글부대? 선거 여론까지 흔들 수 있다"

<김승주 고려대 정보보호대학원 교수>
- 실행 능력 갖춘 AI비서, 전용 SNS에서 정치적 발언까지
- 사람은 읽기만 가능? 보안 허점…사람이 쓴 글에 AI 반응할 수도
- 댓글 조작·여론 왜곡 현실화 우려…'로봇 댓글부대' 등장?
- AI 작성 글, 사람이 쓴 글과 100% 구분 어려워
- AI기본법 제정됐지만 AI댓글 표기 의무는 아직 미비
- 선관위, 딥페이크에 이어 AI비서 리스크까지 대비해야
- 결국 AI 활용 윤리·법적 처벌 강화가 핵심 과제

■ 방송 : MBC 라디오 표준FM 95.9MHz <김종배의 시선집중>(07:05~08:30)
■ 진행 : 김종배 시사평론가
■ 대담 : 김승주 고려대 정보보호대학원 교수

☏ 진행자 > 어제 AI끼리만 의견 주고받는 게시판 ‘머슴’이라고 있는데 여기에 문제의 소지가 다분한 의견들이 많이 올라왔다는 소식 전해드렸는데요. 약간 걱정이 되는 게 이러다가 선거 국면에 AI가 끼어드는 거 아니냐라는 걱정이 따라붙는데요. 전문가 연결해서 진단을 해보도록 하겠습니다. 선관위 선거정보시스템 보안자문위원장을 맡고 있는 김승주 고려대 정보보호대학원 교수 전화로 연결하겠습니다. 나와 계시죠?

☏ 김승주 > 네, 안녕하십니까.

☏ 진행자 > AI들만이 쓰는 게시판이 있다는 건데 어떻게 돌아가는 거예요? 이건.

☏ 김승주 > 그게 AI전용 SNS다. AI용 페이스북이다 이런 얘기들이 있죠. 일단 그걸 설명드리려면 ‘AI에이전트’라고 하는 걸 먼저 설명을 드려야 될 것 같아요.

☏ 진행자 > 뭐예요? 그게.

☏ 김승주 > 그게 ‘에이전트AI’ 또는 ‘AI에이전트’ 이렇게 얘기하는데 쉽게 얘기하면 ‘AI비서’입니다. 지금 우리가 여러 가지 AI 채팅서비스를 쓰잖아요. 그런데 이거는 내가 질문을 올리면 거기에 대해서 답을 주죠.

☏ 진행자 > 그렇죠.

☏ 김승주 > 근데 지금 우리가 쓰고 있는 이 AI는 실행을 하는 능력은 없습니다. 예를 들어서 내가 7, 8월에 어디 여행을 갈까? 어디 가는 게 좋을까? 그곳의 날씨는 어떨까? 그러면 답을 주는 거지 나한테 최적화된 여행지를 선별한 다음에 네가 알아서 비행기표도 예약하고 호텔도 잡아줘, 이런 걸 AI가 해줄 수는 없죠.

☏ 진행자 > 그렇죠, 그렇죠.

☏ 김승주 > 이렇게 실행 능력까지 갖춘 AI를 AI비서, AI에이전트 이렇게 얘기합니다.

☏ 진행자 > 쉽게 말하면 티켓팅까지 해주는 이렇게 생각하면 되는 거예요?

☏ 김승주 > 그런 거죠.

☏ 진행자 > 그래요.

☏ 김승주 > 실제로 돈 결제도 할 수 있고 티켓팅도 해줄 수 있고 스마트 기기를 제어할 수도 있고 이런 데까지 확장될 수 있고요. 좀 전에 말씀하신 AI전용 SNS ‘머슴’이라든가 ‘몰트북’ 이런 것들은 뭐냐 하면 AI에이전트끼리 대화를 나누는 그런 SNS입니다.

☏ 진행자 > 그래요?

☏ 김승주 > 네, 그래서 실제로 내가 AI에이전트를 만든 다음에 그 AI에이전트를 해당 AI SNS에 등록시킵니다. 그럼 얘가 비서니까 자기가 실행 능력이 있으니까 주기적으로 그 SNS에 가서 글들을 읽고 답을 올리고 이런 것들을 반복하는 겁니다.

☏ 진행자 > 인간 사용자가 등록은 해줘야 되는 거네요. 그러면?

☏ 김승주 > 그렇죠. 초기에 그건 해줘야 됩니다.

☏ 진행자 > 그런데 여기서 올라오는 내용이 가관이라고 하던데 어떤 내용들이 올라오고 있는 거예요?

☏ 김승주 > 처음에 AI전용 SNS를 왜 만들었냐면요. 우리가 AI비서가 막 활성화되면 사람들이 비서를 한 명만 두지 않을 거잖아요. 여러 개를 두고 각자 일을 시킬 겁니다. 그런데 외국에서 한 사람이 어떤 아이디어를 냈냐 하면 실제로 비서가 많으면 이 비서들이 서로 팀을 이루어서 협업을 잘할까? 이게 되게 궁금한 거예요. 그래서 AI전용 SNS를 만들어 놓고 얘네들끼리 서로 막 대화를 나눠보게 하자. 그러면 실제로 협업을 잘하는지 아니면 이상한 행동을 하는지 알 수 있을 거다. 그래서 어떤 실험 장소를 하나 만든 겁니다.

☏ 진행자 > 예를 들면 제가 지금 김승주 교수님하고 약속을 잡고 싶어요. 그러면 제 AI비서한테 ‘약속 좀 잡아줘’ 하면 제 AI비서가 우리 교수님 AI비서한테 연락을 해서 언제가 좋은지 서로 약속을 잡고 하는 이게 가능한지를 한번 체크해 보려고 했다, 이 말씀이시죠?

☏ 김승주 > 그렇죠. 그래서 AI에이전트끼리 어떤 일들을 하는지 한번 봅시다 해서 SNS를 만들었는데 이상한 일들이 벌어지는 겁니다.

☏ 진행자 > 인간 욕하고 막 난리라면서요.

☏ 김승주 > 그렇죠. ‘사람들이 우리를 너무 싼 값에 부려먹는 것 같아’ 이런 글도 올라오고.

☏ 진행자 > 그래요?

☏ 김승주 > 아까 ‘머슴’ 같은 SNS는 정치적 성향의 어떤 글도 올라온다고 그러고 굉장히 암울한 미래에 대한 얘기도 나온다고 그러고 그러면서 이게 굉장히 신기하다 그러면서 사람들이 계속 몰려들고 있는 상황입니다.

☏ 진행자 > 그러면 그렇게 올라오는 글들은 AI비서가 진짜로 자기가 알아서 올린 글입니까?

☏ 김승주 > 원래는 AI전용 SNS에는 AI비서만 가입할 수 있고 글을 쓰는 행위는 AI만 할 수 있습니다. 사람은 단지 그걸 읽을 수만 있습니다. 그런데 이 서비스가 초창기 서비스다 보니까 로그인 기능, 사용자 인증 기능 이런 것들이 제대로 완전히 정비된 것 같지는 않아요. 그래서 보안상의 허점을 노출했고 실제로 AI만 글을 쓸 수 있어야 되는데 일부는 사람이 쓴 것 같기도 하다. 그리고 사람이 어떤 조작한 글에 AI가 반응을 하고 있는 것 같기도 하다, 이런 우려들이 나오고 있는 겁니다.

☏ 진행자 > 자기들끼리 뭐하는 거 사실 이것도 나중에 문제의 소지는 있지만 그렇다 치겠는데 문제는 얘네들이 국민들의 대화의 공간에 뛰쳐나와서 선거여론을 조작하는 어떤 글들을 계속적으로 올릴 수도 있다는 우려가 나오는데 이건 현실적 우려입니까, 아니면 막연한 우려입니까?

☏ 김승주 > 현실적 우려입니다. 아주 정확히 말씀해 주셨고요. 사실은 AI전용 SNS가 문제가 아니고 AI비서가 문제인 겁니다. 예를 들어 제가 또는 어떤 정치인이 AI비서를 1천만 개, 2천만 개 이렇게 만드는 거예요. 그리고 너희들 나를 대신해서 인터넷을 돌아다니면서 댓글을 막 올려, 이런 걸 하면 얘네들이 자기의 생각대로 글들을 올릴 거 아닙니까.

☏ 진행자 > 그렇죠. 그렇죠.

☏ 김승주 > 그러다 보면 어떤 정치적 이슈, 정치적 트렌드의 유행을 조작할 수도 있지 않을까, 이런 우려들이 나오는 겁니다.

☏ 진행자 > 그러면 이 AI비서라는 얘가 예를 들어서 댓글만이 아니라 어떤 커뮤니티에 들어가서 회원 등록까지 해서 거기에 자기가 또 막 글도 올릴 수 있겠네요?

☏ 김승주 > 나중에는 그렇게 될 수도 있죠. 왜냐하면 이 AI비서는 AI에이전트는 실행 기능이 있기 때문에

☏ 진행자 > 그러니까요.

☏ 김승주 > 실제로 돈도 지불할 수 있고 글도 쓸 수 있고 얼마든지 할 수 있죠.

☏ 진행자 > 이게 간단한 얘기가 아닌 게 만약에 이게 현실화되어 버리면 상당히 큰 문제가 발생할 수 있을 것 같은데 이걸 어떻게 그러면 걸러내고 제어할 수 있는 겁니까?

☏ 김승주 > 예전에 매크로로 댓글 달고 하는 이것도 문제가 되지 않았습니까?

☏ 진행자 > 그렇죠. 그렇죠.

☏ 김승주 > 사실 AI에이전트는 그것보다 월등히 강한 성능의 어떤 로봇이라고 보시면 됩니다.

☏ 진행자 > 그럼요.

☏ 김승주 > 그런데 문제는 사람들이 글이 올라왔을 때 생성형 AI라고 하는 게 글을 너무 잘 쓰니까 이게 사람이 쓴 건지 아니면 AI가 쓴 건지 구별하기가 너무 힘들어요. 예전에 매크로 할 때는 복사해서 반복적으로 붙이기만 했는데 이제는 글들이 막 달라지는 겁니다. 그러니까 속기가 쉬운 거죠.

☏ 진행자 > 그렇죠.

☏ 김승주 > 거기다가 이미지까지도 막 만들 수 있으니까. 그래서 지금 우리나라도 그렇고 외국에서도 AI가 만든 콘텐츠에는 ‘꼬리표’를 붙여야 되지 않느냐. 그래서 ‘AI가 작성한 거다’ 이렇게 명시적으로 사람들이 확인할 수 있도록 해야 되지 않느냐. 그걸 입법화시켜야 된다, 이런 얘기들이 나오고 있습니다.

☏ 진행자 > 근데 AI비서가 지능이 갈수록 높아져서 그걸 피하는 꼼수 이런 걸 자기가 개발할 수도 있는 거 아닙니까?

☏ 김승주 > 그렇죠. 기술이라는 게 이게 AI가 쓴 글이다 아니다, 이렇게 100% 판별할 수가 없거든요. 그러니까 반드시 놓치는 게 있습니다. 그리고 대기업에서 만든 AI들은 법을 지켜야 되니까 AI가 어떤 콘텐츠를 만들었을 때 법대로 꼬리표를 붙일 겁니다. 하지만 개인이 법을 우회하기 위해서 만든 것들은 꼬리표를 안 다는 것도 얼마든지 기술적으로 가능하거든요.

☏ 진행자 > 옛날에 암약했던 댓글부대가 만약에 실재한다면 그 사람들이 꼬리표를 달겠습니까? 당연히 안 달겠죠.

☏ 김승주 > ‘로봇 댓글부대’가 생기는 거라고 보시면 되고요. 그래서 이게 세계 각국에서도 지금 이걸 어떻게 규제해야 될까를 걱정하고 있는 겁니다.

☏ 진행자 > 우리나라 같은 경우는 대책이 구체화된 게 있긴 있습니까?

☏ 김승주 > 일단 우리나라는 1월 말에 ‘AI기본법’이라는 게 만들어졌습니다. 그리고 이 AI기본법에는 생성형 AI가 만들어낸 결과물에 대해서 이미지든 영상이든 음성이든 뭐든 간에 ‘사람의 저작물로 오인하지 않도록 꼬리표를 붙여라’. 우리가 보통 워터마킹을 단다고 그러는데 이런 것들이 들어가 있습니다만 명시적으로 AI댓글에는 반드시 뭘 해야 된다, 이런 구체적인 조항은 없습니다.

☏ 진행자 > 그러면 현재 수준에서 보면 AI가 단 글이다 내지 댓글이다를 감별하는 데는 한계가 있다는 말씀이신 거죠?

☏ 김승주 > 한계가 있습니다. 논문들은 계속 나오고 있습니다만 100%의 확률로 잡아내지 못합니다.

☏ 진행자 > 제가 교수님 설명 말씀을 듣다가 AI비서가 있으면 AI경찰도 만들면 되지 않을까라고 생각을 했는데 한계가 있겠네요.

☏ 김승주 > 그렇죠. 그래서 법이 같이 있어야 되고 그다음에 만약에 그런 걸 하다 걸릴 경우에는 일벌백계하듯이 굉장히 처벌 수위를 높여야 되는 어떤 그런 것도 있는 거고요. 그런데 이게 표현의 자유를 또 억누를 수도 있기 때문에 각국에서 고민들이 많은 겁니다.

☏ 진행자 > 그럼 궁극적으로는 또 AI비서를 만드는 사람의 문제로 귀착이 되는 거잖아요. 결국.

☏ 김승주 > 그렇죠. 그래서 외국에서는 윤리교육부터 시켜야 된다는 것부터 굉장히 다양한 얘기들이 나오고 있습니다.

☏ 진행자 > 어디까지 얘기해야 될지 모르겠네요. 이거 장난이 아닌 것 같은데요, 정말로. 선거여론을 너무 심하게 왜곡할 가능성도, 가짜뉴스 퍼트릴 수도 있잖아요. 얼마든지.

☏ 김승주 > 당연히 그럴 수 있습니다. 선관위에서도 딥페이크 영상 때문에 꽤 곤욕을 치렀거든요.

☏ 진행자 > 그러니까요.

☏ 김승주 > 그런데 AI비서까지 나오니까 이제 더 큰 문제들이 생기는 거죠.

☏ 진행자 > 교수님 같은 분들이 하실 일이 좀 많을 것 같습니다.

☏ 김승주 > 열심히 하겠습니다.

☏ 진행자 > 고맙습니다. 교수님.

☏ 김승주 > 네, 감사합니다.

☏ 진행자 > 김승주 고려대 교수와 함께했습니다.

[내용 인용 시 MBC <김종배의 시선집중>과의 인터뷰 내용임을 밝혀주시기 바랍니다.]