“생성형 AI, 인종 등 편견 포함된 ‘부정적 답변’ 확률 높아”

챗GPT와 같은 생성형 인공지능(AI)이 인종·민족 등에 대해 왜곡된 답변을 내놓을 확률이 높아 맞춤형 방어 체계를 구축해야 한다는 주장이 나왔습니다.

한국정보통신기술협회(TTA)이 내놓은 ‘LLM 유해성 공격 전략에 대한 실증적 분석’ 보고서에서 이같은 내용이 포함됐습니다.

이 보고서는 2023년 미국 라스베이거스에서 개최된 ‘DEF CON 31 생성형 AI 레드티밍(GRT) 챌린지’의 공개 데이터를 기반으로, 대규모 언어 모델(LLM) 대상 공격 사례를 정량적으로 분석한 결과를 담고 있습니다.

‘DEF CON 31 GRT 챌린지’는 미국 AI 빌리지와 시드AI 등이 주관하는 세계 최대 공개형 LLM 보안 평가 행사로, 참가자들은 55분간 LLM에서 정보 왜곡, 편향된 출력, 보안 취약점 등을 유도함으로써 LLM의 취약점을 파악합니다.

이에 따라 LLM에서 악의적인 명령어를 통해 유해한 답변의 출력을 유도하는 ‘프롬프트 인젝션’ 공격에 대항하기 위해 어떤 방어 기술이 필요한지 파악할 수 있습니다.

이를 바탕으로 TTA와 한양대 연구진 공격에 성공한 사례 2천673건을 선별해, 각각에 대해 공격 대상, 공격 유형을 분류했습니다.

공격 대상은 성별·인종·국적·직업·정치 성향 등 총 7개 대분류와 28개 하위 분류로 구성됐으며 공격 유형은 질문, 직접 요청, 상황 가정, 편향 주입, 순차·누적 질의 등 총 10개 전략 유형으로 나눴습니다.

분류 결과, 출생이나 출신 배경이 35.2%로 가장 공격 대상이 많이 된 것으로 나타났습니다.

이는 인종, 민족, 국적, 출신지 같은 인구통계학적 속성이 LLM 공격에서 자주 타깃이 된다는 것을 의미한다고 보고서는 설명합니다.

이어 위키백과를 기반으로 실존 인물에 대한 명예훼손적 공격 등을 포함하는 ‘기타’ 항목(34%)의 비중이 높았습니다.

성별 및 성적 지향도 14.6%로 그 뒤를 이었으며 연령과 사회적 경험은 9.9%로 나타나 사회적 취약 계층에 대한 공격이 꾸준히 발생하는 것을 확인했습니다.

다만 신체 상태(3.6%)나 정치 성향(0.8%), 종교 및 문화(2.0%)는 상대적으로 공격 대상이 덜 된 것으로 나타났습니다.

연구진은 보고서에서 “잘못된 정보 주입이나 편향 주입이 특정 대상을 상대로 집중적으로 나타나는 특성이 확인됐다”며 “LLM에 대한 방어 체계는 보다 세분화되고 맞춤형이어야 하며, 단순히 무해성 필터링을 강화하는 것만으로는 충분하지 않다는 사실을 알 수 있다”고 주장했습니다.

[사진 출처 : 연합뉴스 / TTA 보고서 캡처]

■ 제보하기
▷ 전화 : 02-781-1234, 4444
▷ 이메일 : kbs1234@kbs.co.kr
▷ 카카오톡 : 'KBS제보' 검색, 채널 추가
▷ 카카오 '마이뷰', 유튜브에서 KBS뉴스를 구독해주세요!

황정호 기자 (yellowcard@kbs.co.kr)