애피어(Appier)의 AI 에이전트 연구 논문이 세계 AI·머신러닝 학회 NeurIPS에 채택됐다. 이번 연구는 AI가 필요한 도구를 직접 만들고 활용한 뒤 결과를 바탕으로 다시 개선하는 학습 방식을 제시했다.
AI 네이티브 AaaS(Agentic AI as a Service) 기업 애피어는 연구 논문 ‘거대언어모델 에이전트를 위한 도구 생성과 활용의 공동 최적화(Joint Optimization of Tool Creation and Use for Large Language Model Agents)’가 NeurIPS에 채택됐다고 1일 밝혔다.
이번 논문에서 애피어는 강화학습 프레임워크 ‘SMITH(Schema-grounded Multi-task Iterative Tool Honing)’를 제안했다. SMITH는 AI가 도구를 생성하는 과정과 실제로 사용하는 과정을 하나의 학습 체계로 묶은 것이 특징이다.
기존에는 AI가 도구를 직접 만들 수 있더라도 도구를 만드는 모델과 이를 사용하는 모델이 나뉘는 경우가 많았다. 이 경우 도구가 실제로 잘 작동하는지, 다른 모델이 설명을 이해하고 정확하게 호출할 수 있는지에 대한 피드백을 도구 생성 과정에 충분히 반영하기 어렵다는 한계가 있었다.
SMITH는 도구의 생성과 사용, 검증, 개선을 반복하는 구조로 이런 문제를 해결한다. 도구에 대한 설명이 모호하거나 파라미터 설계가 적절하지 않은 경우, 또는 실행에 실패하면 해당 결과가 다시 모델에 전달된다. 이를 바탕으로 AI는 도구의 설명과 구조를 계속 개선한다.
연구 결과 도구를 만들고 사용하는 능력을 함께 학습하는 방식은 두 과정을 각각 따로 학습하는 방식보다 높은 성능을 보였다.
SMITH는 먼저 4개의 간단한 예제로 문제 해결 방식을 학습하고 이를 토대로 도구를 생성한다. 이후 학습 과정에서 접하지 않은 16개의 더 어려운 문제를 풀게 해 새로운 상황에서도 해당 도구를 활용할 수 있는지를 검증한다.
새로운 문제를 성공적으로 해결한 도구는 여러 AI 에이전트가 함께 사용할 수 있는 공유 도구 라이브러리에 추가된다. 이후 성능이 더 높은 도구가 나오면 기존 도구를 대체한다. 이를 통해 각 에이전트가 새로운 과제를 수행할 때마다 도구를 처음부터 다시 만들 필요 없이 검증된 도구를 재사용할 수 있다.
실험에서는 약 40억 개 파라미터 규모의 소규모 모델이 만든 도구가 학습 과정에서 접하지 않은 과제에서 연구에서 비교한 다른 모든 방법보다 높은 성능을 기록했다. 약 300억 개 파라미터 규모의 모델이 필요할 때마다 새로운 도구를 즉석에서 생성하는 방식보다도 높은 성능을 보였다.
소규모 모델이 만든 도구는 다른 규모의 모델에서도 활용할 수 있었다. 약 3억 5000만 개 파라미터 규모의 경량 모델이 해당 도구를 사용했을 때도 새로운 과제를 처리했으며, 더 큰 모델에 같은 도구를 적용했을 때도 성능이 향상됐다.
토큰 사용량도 크게 줄었다. 실험 결과 기존 단계별 추론 방식에서 평균 3206토큰이었던 출력량은 약 100토큰으로 감소했다. 애피어는 이를 약 32배의 효율 향상으로 설명했다.
반복적으로 수행하던 추론 과정을 재사용 가능한 도구로 바꾸면서 유사한 문제를 처리할 때 전체 추론 과정을 처음부터 반복할 필요가 없어졌다는 설명이다. 이를 통해 과제 수행 성능을 유지하면서 추론 속도를 높이고 컴퓨팅 비용을 낮출 수 있다.
애피어는 이 같은 방식이 기업의 반복 업무에도 적용될 수 있다고 설명했다. 재무 지표 변환과 데이터 처리, 보고서 조회, 규정 확인, 고객 문의 분류 등 반복적으로 수행되는 업무 방식을 도구로 만들어 여러 에이전트가 함께 활용할 수 있다는 것이다.
광고·마케팅 분야에서는 고객 데이터와 개인화, 고객 서비스, 광고 구매 등을 담당하는 에이전트가 같은 도구와 비즈니스 규칙을 활용해 협업하는 방식으로 적용할 수 있다. 새로운 시장에 진출하거나 신규 광고주를 온보딩할 때도 기존의 문제 해결 경험을 재사용할 수 있다.
치에옌 린(Chieh-Yen Lin) 애피어 리서치 사이언티스트는 “SMITH가 모델에 도구 사용법을 학습시킬 때 모델은 내부 코드가 아닌 도구에 대한 설명과 파라미터 정보만을 참조한다”며 “따라서 설명이 얼마나 명확한지, 해당 도구를 올바르게 호출할 수 있는지가 학습 과정에서 직접적인 피드백으로 작용한다”고 설명했다.
이어 “실험을 통해 다른 모델들도 이러한 도구를 활용하면 문제를 더욱 효과적으로 해결할 수 있음을 확인했다”며 “앞으로는 환경과 지속적으로 상호작용하며 더욱 다양한 과제를 수행할 수 있는 모델을 구축하는 것이 목표”라고 말했다.
치한 위(Chih-Han Yu) 애피어 공동 창업자 겸 CEO는 “인간은 문제 해결 경험을 도구로 만들어 활용함으로써 매번 처음부터 다시 시작할 필요가 없도록 해왔다. 이제 AI 에이전트도 같은 방식으로 진화하고 있다”며 “이번 연구는 AI 에이전트가 스스로 도구를 만들고 개선하는 것은 물론, 효과가 확인된 도구를 다양한 규모의 모델이 함께 활용할 수 있음을 보여준다”고 말했다.
이어 “이번 NeurIPS 논문 채택은 애피어의 선도적인 연구와 혁신을 다시 한번 인정받은 결과”라며 “앞으로도 에이전틱 AI의 실제 적용을 확대해 기업이 측정 가능한 성과를 창출할 수 있도록 지원할 것”이라고 덧붙였다.
헬로티 이동재 기자 |
