"메가존클라우드 경험 및 기술력을 AWS 서비스에 결합해 LLM 한계 극복"

 

메가존클라우드가 생성형 AI를 도입하고자 하는 기업을 위해 설계부터 구축, 운영까지 지원하는 기업 맞춤형 생성형 AI 엔드 투 엔드 서비스 ‘GenAI360’ 오퍼링을 출시했다.

 

GenAI360은 기업의 생성형 AI 활용 전략 수립 및 파일럿 과제 수행 등 컨설팅, 기업별 환경을 고려한 최적 플랫폼 선정과 데이터 학습 및 검증, 기업 내 활용 대상 서비스 개발 및 가이드 제공, 생성형 AI 운영 전략 수립 및 서비스 운영 등으로 구성된다. 

 

 

메가존클라우드는 7월부터 9주간 사내 HR 헬프데스크에 접수된 질의응답을 한국어 특화 LLM에 학습시키고, 관련 문서 및 사내 가이드는 RAG(검색 증강 생성)를 적용해 신뢰할 수 있는 답변을 생성하도록 하는 프로젝트를 수행했다. 

 

그 결과, 첫 질문에 대한 답변의 정확도는 평균 75% 이상으로 확인됐고 이후 질문 수정 및 추가 질문을 통해 향상된 답변의 정확도는 90% 이상인 것으로 평가돼 질의응답과 관련된 단순·저효율 업무가 실제로 감소되는 성과를 확인할 수 있었다.

 

메가존클라우드는 이번 성과를 기반으로 RLHF(인간 피드백 기반 강화 학습)를 통해 답변 품질을 향상시키는 고도화 작업을 추가 진행하고 있다. 이 파일럿 프로젝트는 아마존 세이지메이커, 아마존 켄드라 등 데이터 분석 및 AI/ML을 위한 다양한 AWS 서비스를 근간으로 한 클라우드 기반 아키텍처로 구성됐다. 비용 효율적인 아키텍처 구성 및 답변 품질을 향상시키는 학습 방법 등을 위해 AWS와 생성형 AI 분야의 기술 협력을 강화했다. 

 

메가존클라우드는 이 과정을 통해 기업들이 생성형 AI 도입 시 고려해야 할 사항과 구축 과정에서 마주할 수 있는 문제점에 대한 해결 방안 등 고객 서비스에 활용할 수 있는 실질적 노하우를 축적했다. 비용 최적화, 기업의 고유한 데이터 적용 및 기준 시간, 유의어 사전 등을 포함한 프롬프트 엔지니어링, 환각 현상, 리소스 비용 최적화 및 구현 방법 등이 대표적 사례다.

 

메가존클라우드 AI & 데이터분석센터 공성배 센터장은 “LLM에 대한 높은 관심에 비해 비즈니스 가치가 검증된 사례는 많지 않은 게 사실”이라며 “메가존클라우드의 경험과 기술력을 AWS 서비스에 결합해 LLM의 한계를 극복하고 비즈니스적 가치를 고객에게 명확하게 제공할 것”이라고 말했다. 

 

헬로티 서재창 기자 |