LLM 파인튜닝 기능, 프롬프트 관리 기능, 벡터데이터 관리 등을 순차적으로 지원
에이프리카가 6일 LLMOps 플랫폼을 바탕으로 엔터프라이즈 LLM 시장에 본격적으로 진출한다고 밝혔다.
챗GPT의 등장으로 생성형 인공지능(AI)이 확산되면서, 기업들은 물론 공공에서도 초거대언어모델(LLM)을 도입하려는 시도가 늘어나고 있다. 대규모 데이터셋으로 훈련한 수천억 개의 매개변수를 가진 LLM을 도입하여 활용하기 위한 방안으로 LLMOps가 주목받고 있다.
일반적인 MLOps가 하나의 AI 모델을 개발하고 최적화해 서비스를 제공하는 방법론이라면, LLMOps는 이를 LLM에 적용해 기업의 내부 보안 정보 유출 방지와 같은 특정 요구에 맞는 LLM 선정 및 학습, 배포 등 운영을 위한 사이클을 통합 관리하는 체계다. 따라서 이 LLMOps를 효과적으로 구현하기 위해서는 MLOps와 LLM에 대한 기술과 경험이 필수적이다.
에이프리카는 이미 2019년부터 MLOps 플랫폼 소프트웨어 '치타'를 개발해 경찰청, 광주과학기술원, 현대글로비스 등 주요 공공기관 및 기업에 공급함으로써 AI 모델 개발에 필요한 데이터 관리부터 모델 개발, 배포와 HPC 인프라 운영까지 전 과정을 지원한다. 작년 11월에는 자사의 인공지능연구소를 통해 보안강화와 환각현상 방지에 초점을 둔 기업 전용 프라이빗 LLM 서비스 '가젤 LLM'을 출시하며, 기존 MLOps 솔루션 분야를 넘어 프라이빗 LLM 분야까지 비즈니스 폭을 넓혀가고 있다.
에이프리카의 LLMOps 제품은 자사의 치타 플랫폼을 기반으로 LLM 특화 기능이 추가되는 형태며, 우선 RAG 기반의 LLM을 배포 모니터링 하는 기능을 시작으로 LLM 파인튜닝 기능, 프롬프트 관리 기능, 벡터데이터 관리 등을 순차적으로 지원될 예정이다.
이를 통해 폐쇄형 환경에서 내부 보안 데이터로 LLM 기술을 접목하고자 하는 기업이나 머신러닝 엔지니어를 보유하지 않은 기업도 손쉽게 LLM을 도입할 뿐 아니라 문서 데이터만 입력하면 LLM 모델을 재훈련하고 자동 배포되는 RAG 기반의 LLM 파이프라인 전 과정을 자동화하게 된다.
강선근 에이프리카 대표는 “LLMOps 플랫폼은 LLM을 효과적으로 활용하고자 하는 모든 기업에 필수적인 도구"며, "치타가 LLM 시장에서 핵심 LLMOps 제품으로서의 위치를 공고히 하고, 기업이 복잡한 기술적 장벽 없이 언어모델을 도입하고 활용하도록 적극적으로 도울 것”이라고 밝혔다. 한편, 에이프리카는 2월 27일 열리는 'Gen AI Seoul 24' 전시에서 자사의 가젤 LLM과 LLMOps 제품을 소개할 예정이다.
헬로티 서재창 기자 |
