오케스트로 그룹이 테크 컨퍼런스 'OPUS 2026'에서 AI 인프라에 대한 고객의 관심이 GPU 확보에서 추론 성능과 운영 효율로 이동하고 있음을 확인했다고 밝혔다.

 

지난 7월 28일 서울 코엑스 오디토리움에서 열린 OPUS 2026에는 공공기관, 금융사, 제조·통신 대기업, IT 서비스 기업 등의 IT 관계자 2,000명 이상이 참석했다. 행사에서는 GPU 자원 배분과 응답 지연 개선, 복잡한 추론 환경의 효과적인 운영 방안에 대한 문의가 집중됐으며 기존 자원을 활용해 추론 성능과 운영 안정성을 높이려는 수요가 공통적으로 나타났다.

 

이러한 흐름은 행사 이후 기업·공공기관 IT 종사자 1,703명을 대상으로 진행한 조사에서도 확인됐다. AI 인프라 또는 추론 환경 운영 시 가장 큰 부담으로 GPU 서버 비용(36.9%)과 AI 인프라 전문 인력 부족(36.5%)이 꼽혔다. AI 인프라 구축·운영 경험이 부족하다는 응답도 22.2%를 차지했다. AI 추론 플랫폼 선택 시 고려 요소로는 추론 성능과 응답 속도(20.2%), GPU 활용률과 비용 효율(19.2%), 기존 인프라 및 클라우드 환경과의 연계성(16.7%) 순으로 나타났다.

 

 

오케스트로는 이 같은 현장 수요를 종합한 결과 AI 인프라 경쟁력을 판단하는 기준이 GPU 확보 자체에서 실제 운영 성과로 옮겨가고 있다고 분석했다. 응답 속도와 처리 성능을 높이는 동시에 운영 비용과 복잡성을 관리할 수 있는지가 핵심 기준으로 떠오르고 있다는 설명이다.

 

이에 오케스트로는 AI 추론 운영 플랫폼 '콘체르토 AI(CONCERTO A.I.)'를 앞세워 이러한 수요에 대응하고 있다. 콘체르토 AI는 분산 서빙 기반의 추론 최적화와 실시간 자원 배분을 통해 응답 지연을 줄이고 보유한 GPU 자원의 활용 효율을 높인다.

 

김민준 오케스트로 그룹 의장은 "OPUS 2026은 금융·제조·IT 등 다양한 산업의 기업과 공공기관이 AI 인프라를 운영하며 겪는 과제와 시장의 변화를 직접 확인한 자리였다"며 "한정된 자원에서도 AI 서비스의 응답 성능과 처리 효율을 높일 수 있는 해법을 지속적으로 제시해 나가겠다"고 말했다.

 

헬로티 구서경 기자 |