가젤, 할루시네이션 문제 개선과 함께 RAG 적용으로 정확한 답변 제공
에이프리카가 28일 프라이빗 LLM 시장 공략을 시작한다고 밝혔다.
업무 특성상 폐쇄형 환경에서 시스템을 운영해야 하는 공공기관과 민간기업은 데이터 유출 문제 및 할루시네이션 문제로 인해 LLM을 현업에 적용하는데 어려움이 있다. 현재 초거대 AI를 공공 서비스 전반에 활용하려는 디지털플랫폼정부 정책이 확대되고 있음에도, 이런 문제들은 업무 현장에서 넘어야 하는 큰 장애물이다.
이에 에이프리카는 폐쇄형 환경에서 보안에 안전하고 환각현상이 없는 LLM 서비스가 가능하도록 프라이빗 LLM 구축 서비스를 시작한다. 공공기관이나 민간에서는 업무 특성상, 개별 산업과 관계된 법령, 법규를 참고해야 하는 일이 많다. 예를 들어, 플랜트 압력용기를 설계할 때는 산업안전보건법, 에너지이용합리화법, 고압가스안전관리법에 의해 검사받게 되며, 저장탱크의 경우 소방방제청 위험물안전관리법 검사를 받게 된다.
에이프리카는 우선 이런 법령, 법규를 전문적으로 훈련한 자체 개발한 LLM 모델인 '가젤(Gazellm)'을 출시한다. 가젤은 LLM에서 일반적으로 발생하는 할루시네이션을 바로잡고, 정확한 답변을 제공하기 위해 검색 증강 생성 기술인 RAG(Retrieval-Augmented Generation)을 적용한다.
특히, 임베딩 모델과 프라이빗 LLM을 파인튜닝해 높은 검색 정확도와 정확한 답변을 생성해 사용자가 신뢰하는 내부지식에 기반한 생성형 답변을 제공한다. 에이프리카 인공지능 연구소는 프라이빗 LLM 컨설팅부터 MLOps 플랫폼 치타를 기반으로 LLM시스템 구축까지 원스톱 서비스를 제공할 예정이다. 특히 각 산업군 별로 도메인 특화 엔진 개발이 가능하도록 학습데이터 구축부터 파인 튜닝까지 전과정을 지원할 예정이다.
에이프리카는 인공지능 개발 플랫폼(MLOps) '치타'에 LLM 특화 기능을 개발해 2024년 상반기 LLMOps 제품을 출시할 예정이다. 현재는 언어모델을 산업현장에 적용하기 위해서는 데이터 사이언티스트가 데이터를 분석하고, 복잡한 파인튜닝 과정을 거쳐야 하며, 학습할 데이터가 새로 생성되거나 증가하면 사람이 개입하여 모델 업데이트를 지속해야 한다. 향후 출시할 LLMOps에서는 사용자가 문서 데이터만 입력하면 LLM모델을 재훈련하고 자동 배포되는 RAG 파이프라인의 전 과정을 자동화하는 LLMOps 체계를 제공할 예정이다.
에이프리카의 이규정 대표는 “공공기관, 금융기관 등 폐쇄형 환경에서 LLM 기술을 적용하려는 시도가 크게 늘고 있다”며, “인공지능 개발 플랫폼 치타는 다양한 공공기관, 민간기관에서 전문적으로 인공지능 전문가들이 AI를 개발하는데 활용되며, 에이프리카는 생산기술연구원, 경찰청, 광주과학기술원, 현대글로비스 등 기존 고객을 중심으로 RAG 기반의 프라이빗 LLM을 구축하고, 이를 전 산업분야로 확대하겠다”고 전했다.
한편, 에이프리카는 11월 29일부터 12월 1일까지 운영되는 2023년 대한민국 소프트웨어대전에서 모회사인 브레인즈컴퍼니와 대형부스를 운영할 계획이다. 부스에서는 에이프리카와 브레인즈의 다양한 제품을 전시하고 제공하며, 부스 내에서 운영하는 세미나를 통해 Private LLM 구축전략을 소개하고 및 LLM 데모 시연을 할 계획이다.
헬로티 서재창 기자 |
