AI 모델 경량화 및 최적화 기술 기업 노타(대표 채명수)가 문샷AI의 초거대 AI 모델 '키미 K3(Kimi K3)'를 경량화해 구동에 필요한 GPU를 최대 절반으로 줄인 모델 2종을 공개했다고 6일 밝혔다.
키미 K3는 2조 8,000억 개의 매개변수를 갖춘 프론티어급 오픈웨이트 AI 모델로, 전문가 혼합(MoE) 구조를 채택해 연산 효율을 높였다. 그러나 구동에 엔비디아 최신 고성능 GPU B300 8장이 필요해 기업과 개발자가 활용하기에 비용·인프라 부담이 컸다. 키미 K3는 학습 단계부터 가중치와 활성값을 각각 4비트·8비트로 낮춰 설계돼, 일반적인 양자화 방식만으로는 추가 압축이 제한적이었다.
노타는 자체 개발한 '비균일 전문가 프루닝(Non-uniform Expert Pruning)' 기술로 이 문제를 해결했다. 모델 층별 특성과 모듈 중요도를 분석해 핵심 전문가는 보존하고 기여도가 낮은 모듈만 선별 제거하는 방식으로, 모든 층을 동일 비율로 줄이던 기존 방식과 달리 층별 제거 비율을 다르게 적용해 성능 저하를 최소화했다. 이를 통해 전문가 모듈을 각각 25%, 50% 줄인 경량화 모델 2종을 완성했으며, 구동에 필요한 B300 GPU 수가 기존 8장에서 각각 6장과 4장으로 줄었다.
성능 보존도 확인됐다. 층별 전문가를 동일 비율로 제거하는 REAP 방식보다 노타의 50% 경량화 모델이 대다수 벤치마크에서 더 높은 성능 보존율을 기록했다. 고난도 과학·추론 능력 평가 GPQA-Diamond에서 2.52점, 지시 수행 능력 평가 IFEval에서 2.22점 더 높았다. 경량화 모델 2종은 글로벌 AI 플랫폼 허깅페이스에서 공개됐으며, 앞서 노타가 공개한 업스테이지 '솔라 오픈2' 경량화 모델은 허깅페이스 공개 2주 만에 누적 다운로드 6만 8,000회를 기록했다.
김태호 노타 CTO는 "솔라 오픈2에 이어 프론티어급 모델인 키미 K3까지 성공적으로 경량화해 주요 성능을 유지하면서 필요한 GPU를 최대 절반으로 줄였다"며 "다양한 프론티어급 AI 모델을 한정된 연산 자원에서도 효율적으로 활용할 수 있도록 기술 적용 범위를 확대하겠다"고 말했다.
헬로티 김재황 기자 |
