사실만 학습한 AI, 인간 못 따라간다

미국 MIT·캐나다 토론토대 연구진
사실만 학습한 AI, 사회적 규범 학습한 경우보다 정확도 낮아

미국과 캐나다 공동 연구진이 인공지능(AI)에게 사실만 학습시키면 오히려 판단 정확도가 떨어진다는 연구 결과를 발표했다. 이번 연구 결과는 특히 법률 AI의 평가 정확도를 높이는 데 활용할 수 있을 전망이다. /pixabay

인공지능(AI)의 판단력을 높이기 위해서는 사람의 개입이 필요하다는 연구 결과가 나왔다. 사실을 있는 그대로 학습한 AI보다 사람이 개입해 규범을 알려주는 경우가 더 정확한 판단이 가능하다는 설명이다.

미국 매사추세츠공대(MIT)와 캐나다 토론토대 연구진은 이달 10일(현지 시각) 국제 학술지 ‘사이언스 어드밴시스’에 “AI의 판단력을 높이려면 사실만 학습하기 보다는 사실에 기반한 사회적 규범을 동시에 학습해야 한다”는 연구 결과를 공개했다.

AI 기술이 발전하면서 실생활에서 활용되는 사례는 점점 늘고 있다. 가령 미국은 이미 경찰과 법원에서 AI를 도입해 활용하고 있는데, 학습 데이터의 편향이 계속해서 문제가 되고 있다. 가령 인종에 따른 재범률을 AI로 예측하면 흑인이 백인보다 재범률이 2배 이상 높은 것으로 나타나지만, 실제로는 흑인 폭력전과자의 재범률은 백인과 큰 차이가 없다.

그러나 법률AI를 제작한 기업들은 학습에 사용한 데이터와 알고리즘을 공개하지 않고 있다. AI가 잘못된 판단을 내리는 이유는 알 수 없지만, 법정에서는 피고의 형량을 결정할 때 AI의 평가 결과를 반영하고 있다. 올바른 판단을 할 수 있는 AI의 개발이 필요한 상황이다.

연구진은 이런 차이가 AI에 사회적 규범을 학습시키지 않았기 때문이라고 분석했다. 이를 설명하기 위해 연구진은 데이터에 어떤 설명(라벨링)을 붙이는지에 따라 AI의 판단력이 어떻게 변하는지 확인하는 실험을 했다. 스무 명의 실험 참가자는 드레스코드, 식습관, 반려동물과 관련된 사진 3장과 연설문의 내용에 설명을 붙였다. 참가자 중 절반은 단순히 사실을 바탕으로 내용을 묘사하는 질문에 답했고, 나머지 절반은 규범을 위반했는지에 대한 평가와 함께 그 이유를 표시하도록 했다.

가령 음식 사진에 대해 사실만 답한 참가자들은 각각 ‘당분이 많은가’ ‘튀긴 음식인가’ ‘채소가 충분한가’라는 질문에 대해 예·아니오로 설명을 달았다. 반면 규범을 답한 참가자들은 ‘적절한 식습관인가’라는 질문에 예·아니오로 답한 후, 그 이유에 해당하는 항목을 고르게 했다.

이렇게 만들어진 총 4만개의 데이터를 AI에 학습시킨 후 사회적 규범에 대해 판단하게 했다. AI의 판단 결과는 3373명의 참가자를 모집해 사회적인 규범과 일치하는지 평가했다.

평가 결과 사실과 규범을 동시에 학습한 AI는 사실만 학습한 경우보다 정확도가 최대 5.54% 더 높았다. 특히 식습관·반려동물·연설문에서는 규범을 학습했을 때 정확도가 약 10% 높아지는 것으로 나타났다.

연구진은 데이터의 종류에 따라 AI가 정확도가 다른 이유에 대해서는 국가·인종·성별에 따른 문화적 차이 때문이라고 분석했다.

아파르나 발라고팔란 MIT 컴퓨터과학과 박사과정 연구원은 “기술이 발전하더라도 AI에 판단을 온전히 맡길 수 없다는 것을 보여주는 연구 결과”라며 “인간의 개입이 AI의 판단력을 더 높일 수 있다”고 말했다.

참고자료

Science Advances, DOI: https://doi.org/10.1126/sciadv.abq0701

- Copyright ⓒ 조선비즈 & Chosun.com -