"챗GPT, 해결해줘"...애꿎은 AI구독료만 날릴 수 있습니다

[나의 AI 탐구생활] 똑똑한 AI 만드는 프롬프트 엔지니어링의 중요성, 내가 뭘 원하는지부터 알아야

AI는 이제 우리 삶에 스며들었습니다. 모두가 AI를 사용하는 지금, 중요한 건 '무엇을 쓰느냐'가 아니라 '어떻게 쓸지'를 고민해야 합니다. 정답은 없지만, 이 탐구 생활을 통해 해법을 찾아가는 과정을 함께 나누고 함께 고민해 보고자 합니다. <기자말>

[신상호 기자]

▲ AI의 성능을 떨어뜨리는 대표적인 질문, "해줘"입니다. ⓒ 신상호

"AI, 해줘"

과제나 프로젝트를 할 때, 제미나이나 챗지피티 등 인공지능(AI)을 활용해 보신 경험은 누구나 한 번쯤 있으실 겁니다. 빨리 해결하고자 하는 급한 마음에 "해줘", "풀어줘" 등 단순한 명령어(프롬프트)를 남발하기도 하지요. 아시는 분은 아시겠지만, 그렇게 단순하게 물으면 AI로부터 만족할 답을 얻지 못할 가능성이 큽니다. 유료 구독자라면 구독료에 맞는 성능을 누리지 못할 수도 있겠지요. 왜 그럴까요? 그렇다면 어떻게 질문해야 할까요? 차근차근 얘기해 보겠습니다.

거대언어모델(Large Language Model,LLM) AI가 보편화되면서, 생성형 AI에게 질문하는 방법도 '연구 과제'가 되는 세상입니다. 프롬프트 엔지니어링(Prompt Engineering)이라고도 하는데, 생성형 AI 모델로부터 최적의 결과물을 얻기 위한 질문(프롬프트)을 설계, 개발하는 것입니다. 요즘 유튜브에 보면 AI 성능을 잘 활용하기 위한 다양한 프롬프트들이 공유되고 있고, 심지어는 잘 설계됐다고 주장하는 프롬프트를 '유료'로 판매하는 경우도 있습니다. 이렇게 공유되는 프롬프트들은 다양한 형태가 있는데, 분명한 공통점은 "해줘"라는 형태의 단순한 질문으로 이뤄지지 않는다는 겁니다.

아무런 예시나 맥락 없이 "이거 해줘"라고 질문을 던지는 방식은, 프롬프트 연구에서도 'AI 성능을 떨어뜨리는 질문'으로 결론이 나 있습니다. 상하이 AI 연구원들이 지난 2024년 쓴 논문(ProSA: Assessing and Understanding the Prompt Sensitivity of LLMs)을 보면 생성형AI는 프롬프트의 미세한 뉘앙스 차이에도 민감하게 반응합니다.

논문은 생성형 AI의 '불안정한 천재(Unstable Geniuses)' 현상을 짚었습니다. 성능이 뛰어난 최신 AI모델들의 경우, 복잡하고 고도화된 추론이 필요한 영역에서는 질문 방식에 따라 답변이 널뛰는 경향을 보입니다. "해줘", "그냥 알아서 잘해줘"라는 식의 예시 없이 추상적이고 막연한 질문(Zero Shot)은 모델을 혼란에 빠뜨려 성능 저하를 자초할 수 있다고 논문은 경고합니다 .

실제 생성형 AI는 띄어쓰기에조차 답변 결과가 달라질 수 있습니다. 그만큼 사용자가 입력하는 명령에 민감하다는 겁니다. USC 정보과학연구소 연구팀의 논문(The Butterfly Effect of Altering Prompts: How Small Changes and Jailbreaks Affect Large Language Model Performance)을 보면 챗지피티의 경우 프롬프트 시작이나 끝에 공백을 넣었을 때 1만 1000건의 테스트 중 500건 이상의 예측 결과가 변했습니다.

특히 아무런 가이드라인이 없는 상태에서 복잡한 문제를 해결해 달라고 질문을 던지면, AI는 어떤 방향으로 사고할지 확신하지 못한 채 피상적인 답변만을 내놓게 된다는 게 상하이AI 연구팀의 결론입니다. 창의적 글쓰기나 데이터 시각화처럼 창의성이나 깊은 추론을 요구하는 영역의 경우, 단순히 "해줘"라고 하면 모델은 수많은 가능성 사이에 방황하다가 뻔한 답이나 피상적 답을 선택할 가능성이 큽니다. 마치 식당 가서 "아무거나"를 주문하는 것과도 비슷합니다.

질문에 맥락 및 배경 정보 넣으면 더 정확한 답 얻을 수 있어

ⓒ AI 생성 이미지

그렇다면 생성형 AI가 최적의 성능을 활용해 우리에게 만족할 답을 할 수 있도록 하기 위해선 어떻게 질문을 해야 할까요? 구글은 이와 관련해 다음과 같은 프롬프트 원칙을 제시합니다. 1) 명확한 목표 및 목적을 설정할 것. 2) 맥락 및 배경 정보 제공할 것. 3) 원하는 답변의 예시 등을 제공하는 퓨샷 프롬프팅을 활용할 것. 4) 구체적으로 작성할 것. 5) 단계적 추론 과정을 상세하게 제시할 것.

가령 "지구 온난화로 인한 해수면 상승 영향을 논의해라"보다는 "산업화 이전 시대에 비해 현재 지구 온도가 섭씨 1도 올랐다는 점을 고려해 해수면 상승이 미칠 수 있는 영향에 대해 논의하라"와 같이 배경 맥락 정보를 함께 제시하거나, "감동적인 시를 써달라" 대신 "사랑에 대한 주제로, 1930년대 모더니즘적 경향을 반영해 10줄의 시를 써달라"처럼 구체적인 수치까지 제시한다면 더 만족할 결과를 얻을 수 있을 겁니다. 추론 과정을 제시하는 형태의 경우, "일론 머스크처럼 사고하라", "파인만 기법을 활용하라"등의 프롬프트를 추가하는 것도 가능한 방법입니다.

똑똑하고 명확한 질문이 똑똑한 답변을 얻을 수 있는 거죠. 결국 AI가 AI답게 잘 기능하도록 하는 것은 사용자에게 달려 있습니다. 어떤 주제에 대해 고민할 때, 그 주제에 대해 구체적인 궁금증을 정리하고, 내가 어떤 결과물을 원하고 어떻게 활용하길 원하는지에 대한 '그림'을 그리는 것은 결국 사용자가 해야 할 몫입니다.