AI 챗봇이 더 이상 ‘만능 상담사’ 역할을 할 수 없게 됐다. 오픈AI가 최근 ChatGPT의 이용 정책을 개정해 의료·법률·금융 관련 구체적인 조언을 금지하고, 이를 ‘교육용 도구(Educational Tool)’로 명확히 규정했다. 이는 기업이 막대한 법적 책임을 피하기 위한 조치로 풀이된다.
10월 29일(현지시간) NEXTA 등 외신에 따르면, ChatGPT는 이제부터 약물명이나 복용량 제시, 법적 서류 작성, 투자 조언 등을 할 수 없다. AI모델은 대신 ‘원리 설명’이나 ‘전문가 상담 권유’에 그친다. 오픈AI는 “AI가 실제 전문가의 판단을 대체할 수 없으며, 잘못된 답변이 심각한 피해를 초래할 수 있다”고 밝혔다.
AI의 ‘그럴듯한 오류(confident fabrication)’는 오래전부터 논란이었다.
예를 들어, 사용자가 “가슴에 멍울이 있다”고 입력하면 ChatGPT가 암 가능성을 언급할 수도 있지만, 실제로는 단순 지방종일 수 있다. AI는 신체 검사를 할 수도, 의료 과실 책임을 질 수도 없다. 심리 상담이나 법률 자문, 세무 계획 같은 민감한 영역에서도 마찬가지다.
이번 조치는 단순한 서비스 변경이 아니라 AI 시대의 책임 경계선을 명확히 한 결정이다. ChatGPT는 ETF 개념을 설명할 수는 있지만, 개인의 소득·부채·투자 성향을 고려한 맞춤형 조언은 불가능하다. 또한 사용자가 입력한 개인정보—예를 들어 사회보장번호나 은행 계좌—가 학습 데이터에 포함될 위험도 존재한다.
오픈AI는 특히 실시간 상황 대응이나 고위험 의사결정에도 AI를 의존하지 말라고 경고했다. 가스 누출 경보가 울렸을 때 ChatGPT에 묻기보다는 즉시 대피해야 한다는 것이다. 실시간 정보 업데이트 한계와 ‘환각(hallucination)’ 문제도 여전하다.
윤리적 문제 역시 남는다.
ChatGPT를 이용한 과제 대필이나 시험 부정행위는 탐지 기술 발전으로 쉽게 적발될 수 있다. 예술 창작에서도 ‘AI 작품을 자신의 창작물로 속이는 행위’는 비윤리적이라는 지적이 나온다. 결국 오픈AI의 이번 결정은 'ChatGPT는 강력한 학습·보조 도구일 수 있지만, 인간 전문가를 대체할 수 있는 존재는 아니다'라는 AI의 본질적 한계를 인정한 공식 선언에 가깝다.
글 / 김지훈 news@cowave.kr
(c) 비교하고 잘 사는, 다나와 www.danawa.com