“프롬프트까지 제출하세요”…AI 시대, 코딩테스트가 달라진다

프로그래머가 노트북으로 코드를 작성하는 모습. 사진은 기사 내용과 직접적인 관련 없음. 게티이미지뱅크

AI가 코드를 대신 작성하면서 개발자를 뽑는 시험도 다시 만들어지고 있다. 정답 코드를 얼마나 빨리 짜는지보다 AI를 어떻게 쓰고, 틀린 결과를 찾아내며, 낯선 문제를 해결하는지를 보려는 기업들이 등장했다.

AI 기업 앤트로픽은 실제로 자사 AI 때문에 개발자 채용 과제를 여러 차례 손봤다. 앤트로픽 성능최적화팀은 2024년부터 지원자에게 가상의 가속기용 코드를 최적화하도록 하는 과제를 냈다. 같은 제한시간을 줬더니 클로드 오퍼스 4가 대부분의 지원자보다 좋은 결과를 냈고, 뒤이어 나온 오퍼스 4.5는 최상위 지원자의 성적까지 따라잡았다. 앤트로픽은 현재까지 과제를 세 버전으로 바꿨다고 지난 1월 공개했다.

AI를 막는 대신 아예 면접장 안으로 들인 기업도 있다. 미국 배달 플랫폼 도어대시는 지난 3월 기존 코딩 면접을 60분짜리 ‘AI 보조 엔지니어링 세션’으로 바꾼다고 밝혔다. 지원자는 AI 도구를 쓰면서 기존 코드의 문제를 해결하고 화면을 공유해 자신이 무엇을 하는지 설명한다. 평가자는 AI 사용 방식과 결과 검증, 디버깅, 문제 범위 판단, 의사결정 과정을 살펴본다.

● AI 금지 34%, 허용 46%…기업들도 아직 ‘정답’을 못 찾았다

AI를 코딩시험에서 허용할지를 두고는 아직 기준이 엇갈린다. 기술인력 평가 플랫폼 CoderPad가 올해 세계 개발자와 채용 담당자 등 650명 이상을 대상으로 조사한 결과, 채용 면접과 평가에서 AI를 전면 금지한다는 응답은 34%였다. 29%는 제한적으로, 17%는 폭넓게 허용했다. 20%는 시험에 따라 다르게 결정한다고 답했다.

국내에서도 평가 방식은 아직 제각각이다. 송하주 국립부경대학교 소프트웨어융합혁신원 원장은 “코딩 시험을 아예 안 보는 곳부터 이전과 동일하게 보는 곳, AI를 써도 되는 곳과 그렇지 않은 곳까지 편차가 상당히 크다”며 “제각각이라는 것 자체가 아직 어느 쪽도 확신을 갖지 못했다는 뜻”이라고 말했다.

온라인 테스팅 기업 그렙의 임성수 대표는 “국내에서는 개발자 채용 자체가 많이 줄었고, 채용 때 코딩테스트를 시행하는 기업 수도 빠르게 감소하고 있다”며 “기존 알고리즘 코딩테스트 대신 AI를 활용한 개발 역량을 평가하려는 시도는 늘고 있지만 무엇을 어떻게 평가해야 할지에 대해서는 아직 명확한 답을 찾지 못하고 있다”고 말했다.

반면 임 대표가 파악한 미국 채용 현장에서는 기존 코딩테스트에 실무 과제를 더하는 방식이 나타나고 있다. AI를 썼다면 사용한 프롬프트까지 제출받아 완성된 결과뿐 아니라 답을 만들어낸 과정도 평가하는 사례가 있다는 것이다.

앤트로픽도 모든 채용 과정에서 AI를 똑같이 취급하지 않는다. 공식 채용 지침상 이력서 작성이나 면접 준비에는 AI를 이용할 수 있지만 과제는 별도 허용 안내가 없는 한 AI 사용을 금지한다. 실시간 면접도 원칙적으로 AI를 쓸 수 없다. 반면 앞서 성능최적화팀의 개발자 과제처럼 AI 활용을 명시적으로 허용하는 시험도 있다. 평가 목적에 따라 AI 사용 기준을 달리 두는 것이다.

개발 현장과 채용시험 사이의 간극도 커졌다. 임 대표는 “업무 현장에서는 AI 활용 없이 성과를 만들기 어려워지고 있지만 국내 채용 평가에서는 ‘공정함’을 해칠 수 있다는 우려 때문에 AI 사용을 제한하는 경우가 많다”며 “공정성을 유지하면서 AI 활용 능력을 어떻게 평가할지에 대한 논의가 이제 시작되고 있다”고 말했다.

교육 현장에서도 비슷한 문제가 생긴다. 과제와 실습에서 AI를 어디까지 허용할지는 학과와 교수마다 다르고, 전통적인 시험으로 돌아가거나 구술 평가를 확대해야 한다는 의견도 나온다.

송 원장은 AI 활용 능력을 평가하는 방향으로 갈 가능성이 높다고 봤다. 문제는 AI를 허용하면 결과물만으로 지원자의 실력을 가려내기가 더 어려워진다는 점이다.

그는 “주어진 상황을 어떤 문제로 인식했는지, 요구사항을 어떻게 정리해 지시했는지, 나온 결과를 어떤 근거로 받아들이거나 고쳤는지를 봐야 한다”며 “평가하는 쪽의 부담이 훨씬 커지는 방향”이라고 말했다.

● AI가 정답을 만들면 사람에게는 무엇을 물어야 할까

AI 사용을 허용하는 기업들이 보는 것도 비슷하다. CoderPad 조사에서 채용 담당자들이 AI를 사용한 지원자의 실제 역량을 판단하는 기준으로 가장 많이 꼽은 것은 ‘AI가 만든 오류를 찾아 고치는 능력’으로 66%였다. 설계상의 선택과 결과가 맞는 이유를 설명하는 능력이 56%로 뒤를 이었다. AI 결과를 반복해서 개선하는 능력과 예외·실패 상황에 대처하는 능력은 각각 28%였다.

도어대시가 새 면접에서 보는 항목도 AI가 정답을 얼마나 빨리 만들어내느냐와는 거리가 있다. 낯선 코드에 얼마나 빨리 적응하는지, AI의 답을 검증하는지, 오류를 어떻게 추적하는지, 제한된 시간 안에 문제 범위를 어떻게 정하는지 등을 평가한다. 모든 과제를 끝내는 것보다 판단과 작업 과정이 중요하다고 회사는 설명한다.

임 대표는 AI가 만드는 코드의 양과 실제 제품의 가치가 반드시 함께 늘어나는 것은 아니라고 지적했다. 그는 “AI가 작성하는 코드의 품질은 빠르게 좋아지고 있고 대규모로 코드가 만들어지고 있지만, 가치 있는 실제 서비스가 그만큼 비례해서 나오고 있지는 않다”며 “AI로 코드를 작성하는 것과 쓸 만한 제품이나 서비스를 만드는 것은 별개의 이야기”라고 말했다.

이 때문에 개발자에게 요구되는 역량도 달라지고 있다는 게 임 대표의 설명이다. 그는 예전에는 코드 품질을 정교하게 끌어올리는 개발자가 높은 평가를 받았다면 최근에는 제품 전체의 구조를 이해하고 문제를 찾아 완성할 수 있는 능력의 중요성이 커졌다고 봤다. 이를 ‘빌더(builder)’ 역량이라고 표현했다.

임 대표는 “기존에는 섬세한 코드 품질을 만들어낼 수 있는 개발자가 높이 평가됐다면 지금은 전체적인 제품 구조를 이해하고 이슈를 미리 파악해 빠르게 제품을 완성할 수 있는 개발자가 높이 평가되고 있다”고 말했다.

그는 “과거에는 프론트엔드와 백엔드로 개발자 역할을 나눴다면 이제는 자신이 만드는 제품이나 서비스가 어떤 인프라를 사용하고 사용자에게 어떻게 전달되는지, 이용자가 늘었을 때 어떤 문제가 생기는지까지 이해할 필요가 있다”고 말했다.

송 원장은 ‘명세(specification)’ 능력을 강조했다. 그는 “바이브코딩이 소프트웨어 구현 단계를 대체해 간다고 보면 이제 개발자에게는 기능에 대한 명세를 포함한 설계 능력이 가장 중요해진 것 같다”며 “무엇을 만들 것인지 정확히 규정하지 못하면 AI에게 지시할 수도, 나온 결과가 맞는지 판단할 수도 없다”고 말했다.

직접 코드를 만들어본 경험의 가치도 사라지지 않는다고 봤다. 송 원장은 “아직은 코드 개발을 이전에 경험해 본 사람들이 바이브코딩도 잘하는 것 같다”며 “결과물이 제대로 동작하지 않아도 원인을 짚지 못하면 같은 요구를 조금씩 바꿔가며 반복하다 처음으로 돌아가는 경우를 자주 본다”고 말했다.

앤트로픽도 비슷한 문제에 부딪혔다. 회사 측은 최근 성능 엔지니어의 실제 업무에서 복잡한 디버깅과 시스템 설계, 성능 분석, 결과 검증의 비중이 커지고 있다고 설명했다. 이런 능력은 단시간의 코딩시험만으로 측정하기 쉽지 않다.

대학도 평가 방식을 고민하고 있다. 국립부경대는 SW중심대학 사업을 진행하면서 일부 교과목을 이론 중심에서 실무 중심으로 바꾸고 있다. 송 원장은 “교육 현장에서도 구현을 얼마나 잘 시키느냐보다 문제를 정의하고 명세로 옮기는 훈련을 어떻게 시킬 것인가가 앞으로의 과제”라고 말했다.

그렙과 국립부경대 소프트웨어융합혁신원은 지난달 AI 교육과정과 역량평가 방식을 함께 개발하기 위한 산학협력 업무협약을 맺었다. 과제 결과물만으로 학생의 실력을 판단하기 어려워진 만큼 교육 전후 실제 역량 변화를 측정하는 방안도 검토하고 있다.

코딩테스트 자체가 사라질지는 아직 알 수 없다. 다만 AI가 정답 코드를 만들어내는 상황에서는 결과만으로 개발자의 실력을 가리기 어려워졌다. 실제 채용 현장에서는 문제를 어떻게 정의했는지, AI가 내놓은 답을 어떻게 검증하고 고쳤는지까지 평가하려는 움직임이 나타나고 있다.

최현정 기자 phoebe@donga.com