사이냅소프트가 구글 리서치에서 공개한 최신 벡터 양자화 알고리즘 '터보퀀트(TurboQuant)'를 자사 AI 솔루션 '사이냅 OCR IX'에 성공적으로 적용했다고 밝혔다.
사이냅 OCR IX는 시각언어모델(VLM)과 AI 에이전트 기술을 결합해 비정형 문서의 맥락을 이해하고 데이터를 추출하는 AI Agentic OCR 솔루션이다. 그러나 LLM이나 VLM 운영 시 긴 문서를 처리할수록 AI의 단기 기억 장치인 'KV 캐시(Key-Value Cache)'가 방대한 메모리를 차지해 고가의 고성능 GPU가 요구된다는 한계가 있었다.
사이냅소프트는 이러한 인프라 구축 부담을 해결하기 위해 모델 인식 정확도 손실을 최소화하면서 KV 캐시를 고도로 압축하는 터보퀀트를 사이냅 OCR IX의 VLM 엔진에 적용했다. 이를 통해 동일 GPU 환경에서 더 긴 컨텍스트와 더 큰 배치를 병목 없이 빠르고 안정적으로 처리할 수 있게 됐으며 고가의 GPU 서버를 별도로 구축해야 했던 고객들의 TCO(총소유비용)를 낮추는 데 성공했다.
GPU 인프라 구축 자체가 제한적인 환경을 위해 '사이냅 OCR IX CPU 버전'도 함께 지원한다. 자체 개발 모델의 특성에 맞춘 정밀 프로파일링으로 연산 효율을 극대화해 품질 손실을 1% 이하로 억제하면서도 CPU 서버만으로 분당 약 100건 수준의 추론 처리가 가능하도록 성능을 확보했다. GPU 장비를 새롭게 도입하기 부담스럽거나 기존 서버를 활용해야 하는 기업에 최적의 선택지를 제공한다는 설명이다.
전경헌 사이냅소프트 대표는 "단순히 자체 기술력에만 머물지 않고 글로벌 빅테크의 최신 연구 성과인 터보퀀트를 기민하게 상용화하여 기존 VLM의 한계를 극복했다"며 "CPU 버전까지 아우르는 유연한 인프라 지원을 통해 기업들이 도입 비용 걱정 없이 에이전틱 OCR 환경을 구축하고 실질적인 업무 자동화를 이룰 수 있도록 적극 지원하겠다"고 전했다.
헬로티 구서경 기자 |
