데이터브릭스는 유니티 카탈로그가 아파치 아이스버그 REST 카탈로그 API에 대한 기본 지원을 포함해 아파치 아이스버그 테이블을 전면적으로 지원한다고 23일 밝혔다. 이를 통해 외부 엔진에서도 아이스버그 관리 테이블을 읽고 쓸 수 있게 되어, 성능 최적화와 세분화된 거버넌스가 모두 가능해졌다.
또한 데이터브릭스는 유니티 카탈로그를 비즈니스 사용자에게 확장하는 두 가지 신규 기능도 발표했다. 기업 운영의 핵심인 비즈니스 지표와 KPI를 이제 유니티 카탈로그 매트릭스를 통해 일급 데이터 자산으로 정의할 수 있게 되었으며, 비즈니스 사용자를 위해 새로운 큐레이션 기반 내부 마켓 플레이스가 도입돼 비즈니스 도메인별로 구성된 가치 높은 데이터, AI 및 AI/BI 자산을 손쉽게 탐색할 수 있도록 지원한다.
유니티 카탈로그는 개방형 표준을 기반으로 구축되어 모든 테이블 형식과 엔진에서 원활하게 작동하도록 설계됐다. 데이터브릭스는 아파치 아이스버그에 대한 전체적인 지원을 퍼블릭 프리뷰 형태로 제공하며 아파치 아이스버그와 델타레이크 생태계를 통합해 단일한 거버넌스 접근 방식을 제공한다.
이번 프리뷰에는 세 가지 주요 기능이 포함됐다. 첫째, 기업은 유니티 카탈로그의 아이스버그 REST 카탈로그 API를 통해 어떤 아파치 아이스버그 호환 엔진에서든 읽고 쓸 수 있는 관리 테이블을 만들 수 있다.
이러한 테이블은 유니티 카탈로그의 모든 기능을 활용할 수 있으며, AI 기반 예측 최적화를 통한 비용 대비 최고의 성능을 제공하고, 데이터브릭스 내부 및 트리노, 스노우플레이크, 아마존 EMR 등의 외부 엔진에까지 걸친 통합 거버넌스 및 정책 적용을 지원한다.
둘째, 유니티 카탈로그의 선도적인 레이크하우스 페더레이션 기능을 통해 외부 카탈로그에서 관리되는 아이스버그 테이블에 원활하게 접근할 수 있으며, 이 테이블들을 네이티브 테이블과 함께 탐색하고 거버넌스 적용이 가능하다.
셋째, 아이스버그 테이블은 델타셰어링 생태계의 모든 이점을 누릴 수 있으며, 조직 간 안전하고 매끄러운 공유가 가능하다. 이러한 기능은 데이터 형식에 의해 발생하는 사일로를 제거하며 이 모든 기능을 동시에 제공하는 카탈로그는 업계에서 유니티 카탈로그가 유일하다.
기술 사용자를 위한 데이터 플랫폼은 빠르게 발전하고 있지만, 실제로 비즈니스 의사 결정을 내리는 현업 팀들은 여전히 데이터 시스템과 단절된 상태에 머물러 있다. 기술 팀은 테이블, 파일, 컴퓨팅, 코드 중심으로 작업하는 반면 비즈니스 사용자는 BI 도구, AI 챗봇을 활용하거나 KPI와 지표를 중심으로 업무한다.
이렇듯 전혀 다른 언어 체계 속에서 비즈니스 사용자는 어떤 데이터를 신뢰해야 할지 혼란을 겪고, 간단한 질문조차 엔지니어에 의존하게 된다. 비즈니스 맥락에 대한 통합된 기반이 없다면 기업은 반복 작업, 의사결정의 지연, 데이터와 실행 사이의 간극이라는 지속적인 문제에 직면하게 된다.
이러한 문제를 해결하기 위해 유니티 카탈로그 매트릭스는 기존 BI 도구에 내재되어 있던 비즈니스 지표 정의를 데이터 플랫폼으로 통합한다. 이를 통해 조직 내 모든 구성원이 비즈니스 성과를 일관되고 정확하게 해석할 수 있는 기반이 마련된다.
기존의 폐쇄적인 BI 의미 계층과 달리 유니티 카탈로그 매트릭스는 SQL을 통해 직접 접근할 수 있어, 조직 내 누구나 선택한 도구에 관계없이 동일한 기준으로 지표를 확인하고 분석할 수 있다. 유니티 카탈로그 매트릭스는 모든 고객에게 퍼블릭 프리뷰 형태로 제공되고 있으며 오는 여름 정식으로 출시될 예정이다.
마테이 자하리아 데이터브릭스 공동창립자 겸 CTO는 “이번 업데이트를 통해 우리는 아파치 아이스버그 및 모든 개방형 테이블 형식에 대해 업계 최고의 카탈로그를 제공하며, 외부 엔진에서도 관리 테이블을 자유롭게 읽고 쓸 수 있는 유일한 플랫폼이 됐다”고 강조했다.
이어 “고객이 어떤 테이블 형식을 선택하든 우리는 이를 접근 가능하고 최적화되며 거버넌스가 가능한 형태로 제공한다”며 “또한 비즈니스 사용자에 초점을 확대한 이번 발표를 통해 모든 사용자가 데이터 + AI를 보편화된 방식으로 활용할 수 있도록 지원하고자 한다”고 말했다.
헬로티 이창현 기자 |
