AI를 도구로 쓸 줄 아는 것과, AI를 활용해 성과를 만들어내는 것은 전혀 다른 이야기다. 이 간극을 메우기 위해 10년 넘게 '공정한 평가'라는 한 방향을 바라봐온 기업이 있다. 온라인 시험 플랫폼 '모니토'와 개발자 평가 서비스 '프로그래머스'로 국내 역량 평가 시장을 선도해온 그렙이다. 최근 전 직군 대상 AI 역량평가 서비스를 출시하며 업계의 폭발적 반응을 얻고 있는 그렙의 윤성혜 AI역량연구본부장을 만나 AI 시대 평가의 현주소를 들어봤다.
개발자에서 교수로, 다시 실무로…'공정한 평가'를 만드는 사람들
그렙은 학벌이나 지역 같은 바꿀 수 없는 조건과 무관하게, 현재의 역량으로 공정하게 평가받을 수 있는 시스템을 제공하는 기업이다. 윤 본부장은 "과거의 한 시점에 발생했거나 바꿀 수 없는 것들과 무관하게, 현재 이 사람을 평가해 주려는 노력이 중요하다"고 말했다.
윤 본부장의 이력도 독특하다. 10년간 개발자로 일하다 학위를 취득한 뒤 국민대에서 교수를 지냈고, 다시 실무로 복귀했다. 교안 대신 라이브 코딩으로 수업해 학생들의 호응을 얻었지만 "세상이 너무 빨리 변하는데, 내가 가진 실무 경험이 언제까지 장점일까" 하는 고민이 깊어져 현장으로 돌아왔다. 그 소식을 들은 그렙 대표의 합류 제안으로 지금의 AI역량연구본부를 이끌게 됐다.
"해야 될 것 같은 불안감은 있는데, 기준이 없었다"
AI 시대가 열리며 기존의 인재 평가 방식에 대한 의문이 쏟아졌다. AI가 허용되지 않는 환경에서 사람에 대한 역량을 측정하는 게 맞느냐는 질문이 2~3년 전부터 이어졌지만, 정작 무엇을 어떻게 평가해야 하는지에 대한 기준은 없었다. 윤 본부장은 "처음에는 기업들도 몰랐다. 분명히 필요한 건 알겠는데, 어디서부터 어떻게 시스템을 도입해야하는지에 대한 문의가 많았다"고 그녀는 회상했다.
시간이 흐르면서 시장의 니즈는 두 가지로 수렴됐다. AI로 실질적 업무 성과를 낼 수 있는 수준인지 판단하는 것. 그리고 할루시네이션이나 정보 유출 같은 리스크를 인지하며 안전하게 활용하는 능력을 확인하는 것이다. 문제는 이 역량이 객관식·주관식으로는 절대 측정할 수 없다는 점이었고 서술형 채점은 비용과 인간의 피로라는 구조적 한계에 부딪혔다.
AI가 바꾼 건 역량만이 아니다, 평가하는 방법도 바꿨다
그렙의 해법은 역설적이게도 다시 AI로 돌아가는 것이었다. 올해 2월 개발자 시험에 AI를 활용할 수 있는 'AI 어시스트'를 출시한 데 이어, 마케팅·기획·전략 등 전 직군 대상 AI 역량평가 서비스를 선보였다. 핵심은 응시자가 AI와 실시간으로 소통하며 과제를 수행하는 과정 전체를 평가한다는 점이다.
예를 들어 고객사의 VOC 데이터를 분석해 개선 우선순위 보고서를 작성하게 하면, 데이터 분석 능력은 물론 우선순위를 정한 논리적 판단력까지 측정할 수 있다. 윤 본부장은 "AI가 인간보다 나은 점은 지치지 않는다는 것"이라며 "평가 기준을 정교하게 설계하면 자동 채점에 매우 뛰어나다"고 말했다. 다만 AI 기본법에 따라 채점 결과를 그대로 쓰지는 않는다. AI가 기준별로 정규화된 결과를 보여주면, 최종 판단은 사람이 내리는 하이브리드 구조다.
출시 한 달 만에 폭발적 반응…"시장은 기다리고 있었다"
시장의 반응은 예상을 뛰어넘었다. 전 직군 AI 역량평가 서비스 출시 직후 문의가 쏟아졌고 이미 도입이 확정된 기업들도 나왔다. 윤 본부장은 "출시 전에도 미팅 때마다 '이거 진짜 안 할 거냐'는 질문을 자주 받았다"며 "기업들이 다른 서비스도 찾아보셨지만, 원하시는 수준의 솔루션이 없었던 것 같다"고 말했다. 그렙이 3년간 신중하게 준비한 데는 이유가 있다. 시장이 빠르게 변하는 데다 그렙이 세운 기준이 업계의 표준이 될 수 있기에 그 무게감이 적지 않았기 때문이다.
흥미로운 것은 그 기다림의 시간이 오히려 고객사들을 전문가로 만들었다는 점이다. 윤 본부장은 "3년간 기업 담당자분들이 직접 여러 서비스를 비교·연구하면서 전문가가 되셨다"며 "출시 후 피드백의 수준이 놀라울 정도로 높아 덕분에 서비스가 굉장히 빠르게 발전하고 있다"고 전했다.
위기를 견뎌낸 시간이 만든 내실…"이제는 결실을 맺어야 할 때"
지금의 그렙이 있기까지 순탄한 길만 있었던 것은 아니다. 2023년 투자 시장이 극도로 얼어붙으면서 당시 180명 규모였던 조직에서 구조조정을 단행해야 했다. 윤 본부장은 "학교에 있다가 온 입장에서 20대 젊은 친구들이 그 어려움을 감당하는 모습이 너무 마음이 아팠다"고 회상했다.
그러나 그 힘든 시기를 견뎌낸 결과, 그렙은 내실과 기술력 모두 한층 단단해졌다. 특히 어려운 시기에도 출제진과 연구 역량을 내부에 축적하는 전략을 놓지 않은 것이 지금의 경쟁력으로 이어지고 있다. 윤 본부장은 "AI 시대가 도래하면서 소프트웨어 서비스의 변화에 대한 기대감이 커졌고 지금은 전반적으로 AI에 대한 스타트업 투자 시장도 그렇게 얼어붙어 있다고 보지는 않는다"고 전망했다.
한국형 대규모 데이터가 글로벌 경쟁력 될 것으로 기대
그렙의 다음 목표는 AI 역량평가 서비스의 고도화다. 윤 본부장이 주목하는 것은 한국 시장의 구조적 강점이다. "글로벌은 수시 채용이 많아 데이터가 천천히 쌓이지만, 한국은 한 번에 3천 명이 시험을 보기 때문에 서술형·프롬프팅 평가를 훨씬 빠르게 고도화할 수 있다"는 분석이다.
온라인 감독 솔루션 '모니토'도 진화 중이다. 스냅샷이 아닌 행동 맥락을 종합 분석하는 컨텍스트 기반 AI 감독 기술을 연구하고 있으며, 이것이 완성되면 감독 비용이 획기적으로 줄어 온라인 시험 전환의 장벽이 한층 낮아질 전망이다.
윤 본부장은 AI 시대의 역량에 대해서도 분명한 시각을 갖고 있다. "AI를 그냥 쓰는 것은 일을 잘하는 게 아니다. 어떤 문제를 풀고 싶은지, AI를 어떻게 적용해 효율적으로 풀 수 있는지, 어떤 성과를 만들 건지를 통합적으로 사고하는 것이 진짜 AI 역량"이라고 그녀는 말했다. 도구는 시대에 따라 달라질 뿐, 문제를 찾고 해결하는 근본은 변하지 않는다는 것이 그녀의 확신이다. 10년간 '공정한 평가'를 고수해온 그렙이 AI 시대의 새로운 기준을 만들어갈 수 있을지 기대된다.
헬로티 김재황 기자 |
