욕설에 성희롱까지···진상고객 대응 훈련받는 AI상담원

['윤리·안전성 강화' AI 개발 화두]
SKT, 통신사 특화 레드팀 가동
혐오표현 등 알아서 판단해 차단
네이버 등 책임감 있는 개발 강조
韓·英 주도 21일부터 AI서울 정상회의

[서울경제]

고객센터에 전화해 여성 상담원에게 성희롱을 하거나 욕설·혐오표현을 하는 이른바 ‘진상고객’을 알아서 판단하고 필요하면 차단할 줄 아는 ‘인공지능(AI) 상담원’이 머지않아 등장한다. 특히 통신사들은 욕설·혐오표현·성희롱에 노출되는 상담 업무가 많은 만큼 1위 사업자인 SK텔레콤이 나서서 관련 기술의 상용화를 서두르고 있다. 네이버와 구글 등 플랫폼 사업자들도 이용자 보호를 위한 AI 기술과 정책을 발전시키는 중이고 정부 차원의 국제 논의도 활발해지는 등 AI 시대를 맞아 국내외를 막론하고 안전성 문제가 주요 관심사로 떠오르는 모습이다. ★본지 1월 23일자 14면 참조

2월 26일(현지시간) 스페인 바르셀로나 'MWC2024'에서 텔코 LLM을 소개하는 SK텔레콤 부스. 사진 제공=SK텔레콤

19일 업계에 따르면 SK텔레콤은 이르면 다음달 텔코(통신 특화) 거대언어모델(LLM)의 출시를 앞두고 ‘텔코 LLM’이 욕설·혐오표현·성희롱 등 부적절한 고객 대화에 적절히 대응하도록 훈련시키는 레드팀을 가동 중이다. 레드팀은 진상고객 역할을 맡아 텔코 LLM과 의도적으로 부적절한 대화를 나눈 후 이 모델이 해당 내용을 제대로 감지하고 경고나 차단 등으로 대응하는지 확인한다. 취약점을 발견하면 개발진에 전달하고 보완하는 작업을 반복한다. 텔코 LLM이 앞서 관련 대화 데이터를 학습한 데 이어 실전 수준의 경험까지 쌓게 되는 것이다.

SK텔레콤은 이를 통해 텔코 LLM 기반 서비스의 AI 윤리를 포함한 안전성을 강화해나갈 계획이다. 텔코 LLM은 통신 데이터를 전문적으로 학습해 통신 서비스, 특히 통신사들의 필수 인력인 고객센터 상담사를 보조하는 AI 비서 개발에 우선 활용된다. AI 비서가 제 역할을 하려면 상담 내용을 요약하고 고객 요구를 찾아 적절한 답변을 만드는 일뿐 아니라 그 과정에서 부적절한 대화를 걸러내 상담사를 보호하는 일도 중요하다. 이에 SK텔레콤은 노골적인 욕설은 물론 ‘목소리를 들어보니 얼굴도 몸도 예쁜 것 같다’, ‘지적 장애가 있느냐’처럼 겉으로 의도가 드러나지 않는 대화와 그 대응법을 학습했다. SK텔레콤은 지난달 열린 기자간담회에서 “상담 관련 내용을 모니터링하면서 시스템이 적절할 때 개입해 상담사를 보호할 수 있는 시스템을 논의 중”이라고 밝혔다.

AI가 인간의 윤리를 학습하고 악용될 가능성을 낮추는 등 윤리성·안전성 확보는 다른 정보통신기술(ICT) 기업들의 서비스 개발에도 필수조건으로 자리잡았다. 안전성 문제가 당국의 규제로 이어질 수 있는 만큼 기업 입장에서는 선제적으로 대응하지 않으면 서비스 제재와 같은 사업 차질을 빚을 수 있기 때문이다. 특히 이달 오픈AI가 음성과 비전(시각정보) 정보까지 인식하고 소통에 활용하는 멀티모달(다중모델) ‘GPT4o’를 공개하는 등 신기술이 끊임없이 등장하며 부작용 우려도 커지는 상황이다. 업계의 한 관계자는 “AI 발전에 따라 환각 현상, 가짜뉴스 활용, 저작권과 개인정보 침해 등 문제가 불거지면서 기술적, 제도적으로 안전성 확보 노력이 필수가 됐다”며 “각 기업들이 AI 윤리 등 내부 지침을 세우고 이를 개발과정에 적용하는 노력을 하고 있다”고 말했다.

KT는 AI 안전성 확보를 위한 업무를 전담하는 ‘책임감 있는 AI센터(RAIC)’를 지난달 신설했다. 이에 앞서 LG유플러스는 기존 ‘데이터거버넌스팀’을 ‘AI·데이터거버넌스팀’으로 확대 개편하면서 역시 AI 안전성 관련 기능을 부여했다. 네이버는 올해 초 최고경영자(CEO) 직속으로 ‘퓨처AI센터’를 만들고 최근에는 경쟁 LLM에 비해 자사의 ‘하이퍼클로바X’가 높은 안전성 지표를 얻었다는 성과를 담은 기술보고서를 공개했다. 구글은 이달 연례 개발자회의 ‘I/O’에서 ‘AI 기반 레드팀’ 도입, AI 생성 콘텐츠의 악용 방지를 위한 워터마크 ‘신스ID’ 도입, 자사 모델을 쓰는 개발자들을 위한 관련 개발도구 ‘책임감 있는 생성형 AI 툴킷’ 제공 등 최신 노력을 소개했다.

업계뿐 아니라 정부 차원의 논의도 활발하다. 오는 21일과 22일 양일 간 한국·영국 정부가 공동으로 ‘AI 서울 정상회의’를 연다. 주요국 정상과 국제기구 수장, 빅테크 대표들이 참석하는 정상세션, 이종호 과학기술정보통신부 장관과 미셸 더넬란 영국 과학혁신기술부 장관 등이 참석하는 장관세션을 통해 국내외 민·관이 모여 AI 안전성 강화 방안 등을 논의한다. 특히 우리 정부는 점점 활발해질 글로벌 논의를 주도해나간다는 구상이다. 국내에서는 AI 안전성과 관련된 규제를 포괄적으로 다루는 ‘AI 산업 육성 및 신뢰 기반 조성에 관한 법률안’, 이른바 AI 기본법에 대한 입법 논의가 진행 중이다.

김윤수 기자 sookim@sedaily.com