레드햇과 구글클라우드는 레드햇의 오픈소스 기술과 구글클라우드의 맞춤형 인프라 및 구글의 개방형 모델 제품군인 젬마(Gemma)를 결합해 엔터프라이즈 애플리케이션용 AI를 향상하기 위한 협력을 확대한다고 오늘 발표했다.
양사는 AI 확장을 위한 엔터프라이즈급 사용 사례 개선을 위해 ▲오픈소스 프로젝트 ‘llm-d’ 론칭 ▲구글 클라우드 TPU 및 GPU 기반 가상머신에서 vLLM 지원 통해 AI 추론 성능 강화 ▲‘젬마 3’ 모델 배포판에서 vLLM에 대한 0일차 지원 제공 ▲구글 클라우드 상에서 레드햇 AI 인퍼런스 서버 지원 ▲레드햇이 구글 A2A 프로토콜의 커뮤니티 기여자로서 참여해 에이전틱 AI 활성화 등의 분야에서 협력할 예정이다.
젬마 3를 시작으로 레드햇은 구글의 개방형 모델 제품군인 젬마의 초기 테스터로 참여해 vLLM에 대한 즉각적인 지원을 제공한다. vLLM은 생성형 AI 애플리케이션의 출력 속도를 높이는 오픈소스 추론 서버다. 레드햇은 vLLM의 선도적 상용 기여자로서 생성형 AI 애플리케이션을 위한 보다 비용 효율적이고 반응성(responsive)이 뛰어난 플랫폼을 제공한다.
또한 구글 AI 포트폴리오를 지원하는 고성능 AI 가속기인 구글 클라우드 TPU를 이제 vLLM에서 완전히 사용할 수 있다. 이 통합을 통해 개발자는 빠르고 정확한 추론에 필수적인 성능과 효율성을 달성하면서 리소스를 최대화할 수 있다.
AI 연구에서 실제 배포로의 전환에 따라, 조직은 다양한 AI 생태계의 복잡성과 분산 컴퓨팅 전략으로 전환해야 할 필요성에 직면해 있다. 이를 해결하기 위해 레드햇은 구글이 창립 기여자로 참여한 llm-d 오픈소스 프로젝트를 출시했다.
이 프로젝트는 vLLM 커뮤니티 성과를 기반으로 생성형 AI 추론의 새로운 시대를 선도하며 이기종 리소스 전반에서 확장성을 높이고 비용을 최적화하며 워크로드 효율성을 향상하는 동시에 지속적인 혁신을 촉진하는 것을 목표로 한다.
이제 구글 클라우드에서 레드햇 AI 인퍼런스 서버 사용이 가능하며 최신 업스트림 커뮤니티의 개선 사항을 기업에 제공한다. 레드햇의 엔터프라이즈용 vLLM 배포판인 레드햇 AI 인퍼런스 서버는 기업이 하이브리드 클라우드 환경 전반에서 모델 추론을 최적화할 수 있도록 지원한다.
또한 레드햇은 개방형 AI에 대한 공동의 노력의 일환으로 구글의 A2A 프로토콜에도 기여하고 있다. 이는 다양한 플랫폼과 클라우드 환경에서 최종사용자 또는 에이전트 간의 원활한 커뮤니케이션을 위한 애플리케이션 레벨 프로토콜이다. 레드햇은 A2A 생태계에 적극적으로 참여함으로써 사용자가 에이전틱 AI를 통해 AI 워크플로우를 역동적이고 효과적으로 유지할 수 있도록 지원한다.
브라이언 스티븐스 레드햇 AI 부문 수석 부사장 겸 최고기술책임자는 “양사는 이번 협력 확대를 통해 양사의 전문성과 플랫폼을 결합, 획기적인 AI 혁신을 주도하기 위해 최선을 다하고 있다”며 “vLLM과 레드햇의 오픈소스 기술을 구글 클라우드 및 젬마 모델에 제공함으로써 개발자는 최적화된 추론 기능을 기반으로 보다 정확하고 고성능의 AI 솔루션을 구축하는데 필요한 리소스를 확보할 수 있다”고 말했다.
마크 로마이어 구글 클라우드 AI 및 컴퓨팅 인프라 부문 부사장 겸 총괄은 “레드햇과의 협력 확대는 개방형 혁신 촉진과 AI 잠재력을 고객에게 제공한다는 양사의 공통 비전의 결과”라며 “새로운 AI 추론 시대에 접어들면서 양사는 조직이 AI 추론을 보다 효과적으로 확장하고 비용 효율성과 고성능을 갖춘 에이전틱 AI를 구현할 수 있는 길을 열고 있다”고 전했다.
헬로티 이창현 기자 |
