글로벌 오픈소스 솔루션 기업 레드햇이 기업의 에이전틱 AI 개발과 운영을 지원하기 위해 ‘레드햇 AI’ 포트폴리오를 업데이트했다.

 

레드햇은 레드햇 AI 실험 단계와 실제 운영 환경 사이의 간극을 줄이기 위해 ‘레드햇 AI 3.4’를 이달 중 출시한다고 13일 밝혔다.

 

레드햇 AI 3.4는 하이브리드 클라우드 전반에서 AI 모델과 에이전틱 워크플로우를 확장하기 위한 통합 플랫폼이다. 레드햇은 이번 업데이트를 통해 개발자와 운영자가 같은 환경에서 모델 개발, 배포, 추론, 거버넌스, 보안 관리를 수행할 수 있도록 지원한다는 방침이다.

 

 

이번 업데이트의 핵심은 ‘메탈-투-에이전트(metal to agent)’ 플랫폼이다. 이는 하드웨어 인프라부터 AI 모델, 에이전트 운영까지 연결하는 통합 기반을 의미한다. 레드햇은 이를 통해 기업이 AI 파일럿 단계를 넘어 전체 인프라에서 확장 가능한 AI 운영 체계를 구축할 수 있다고 설명했다.

 

레드햇 AI 3.4에는 서비스형 모델(Model-as-a-Service, 이하 MaaS) 기능이 강화됐다. 개발자는 선별된 모델에 단일 거버넌스 인터페이스로 접근할 수 있고, 관리자는 모델 사용량을 모니터링하고 정책을 적용할 수 있다. 해당 기능은 vLLM과 llm-d 기반 고성능 분산 추론 위에서 운영된다.

 

에이전틱 AI 운영을 위한 에이전트옵스 기능도 새롭게 도입됐다. 에이전트옵스는 AI 에이전트의 개발부터 운영까지 통합 추적, 가시성, 신원 관리, 라이프사이클 관리를 제공한다. 에이전트가 어떤 판단 과정을 거쳐 특정 결과에 도달했는지 확인하고 감사할 수 있도록 지원하는 것이 핵심이다.

 

레드햇은 AI 에이전트가 일정 수준의 자율성을 갖고 동작하는 만큼, 기업이 에이전트의 행동과 도구 호출, 추론 과정을 파악할 수 있어야 한다고 설명했다. 레드햇 AI 3.4는 암호화 신원 관리 기능을 통해 에이전트의 행동을 검증된 신원과 연결하고, 최소 권한 기반 운영을 지원한다.

 

프롬프트 관리와 평가 기능도 강화됐다. 레드햇 AI 3.4는 프롬프트를 핵심 데이터 자산으로 관리하는 통합 도구를 제공한다. 개발자와 관리자는 모델과 에이전트를 구동하는 입력값을 중앙 레지스트리에 저장하고 관리할 수 있다.

 

평가 허브도 새롭게 제공된다. 평가 허브는 대규모 언어 모델(LLM), AI 애플리케이션, 에이전트를 대상으로 품질, 정확성, 안전성, 리스크를 평가하는 통합 제어 환경이다. 해당 기능은 생성형 AI와 예측형 AI 활용 사례를 위한 실험 추적 및 아티팩트 관리를 제공하는 MLflow 기반으로 구현됐다.

 

보안 기능도 확대됐다. 레드햇 AI 3.4는 채터박스 랩스 기술과 가락(Garak) 프로젝트를 활용해 자동화된 안전성 테스트와 레드팀 기능을 제공한다. 이를 통해 탈옥, 프롬프트 주입, 편향성 등 모델과 에이전틱 시스템의 위험 요소를 점검할 수 있다. 엔비디아 네모 가드레일과의 연동을 통해 런타임 안전성도 지원한다.

 

추론 성능 개선도 포함됐다. 레드햇 AI 인퍼런스는 분산 추론 기능에 요청 우선순위 지정 기능을 추가했다. 이에 따라 인터랙티브 작업과 백그라운드 작업이 같은 엔드포인트를 사용하더라도, 부하 상황에서 지연 시간에 민감한 요청을 우선 처리할 수 있다.

 

이번 업데이트는 추측 디코딩 기능도 정식 지원한다. 레드햇에 따르면 해당 기능은 품질 저하를 최소화하면서 응답 속도를 2~3배 높여 인터랙션당 비용을 줄이는 데 도움을 준다. 지원 환경은 레드햇 오픈시프트를 넘어 코어위브, 애저 등 쿠버네티스 서비스로 확대됐다.

 

하드웨어 지원 범위도 넓어졌다. 레드햇 AI 3.4는 엔비디아 블랙웰 GPU와 AMD MI325X 아키텍처에 대한 0일 차 지원을 제공한다. 레드햇 AI 인퍼런스 온 IBM 클라우드 지원도 포함돼 다양한 하드웨어와 클라우드 환경에서 일관된 운영 기반을 제공한다.

 

레드햇은 이번 업데이트가 기업의 AI 운영 방식 전환과 맞물려 있다고 설명했다. 많은 기업이 외부 AI 서비스를 단순히 사용하는 ‘토큰 소비자’에서, 자체 인프라 위에서 AI를 운영하는 ‘토큰 제공자’로 전환할 필요성을 인식하고 있다는 것이다. 다만 개발자와 인프라 관리자 사이의 협업 문제, 거버넌스 공백, 비용 증가가 AI 확산의 장애물로 남아 있다.

 

조 페르난데스 레드햇 AI 비즈니스 유닛 부사장 겸 총괄 관리자는 “에이전틱 시대는 레드햇 플랫폼이 기존 애플리케이션 실행에서 지능형 자율 시스템 운영으로 진화하는 전환점을 의미한다”며 “레드햇은 AI 추론, MaaS, 에이전트옵스를 위한 메탈-투-에이전트 기반을 제공해 기업이 통제력을 유지하면서 대규모 혁신을 추진하는 데 필요한 운영 안정성을 제공한다”고 말했다.

 

헬로티 이동재 기자 |