클라우데라가 카카오페이와 협력해 데이터 플랫폼 성능을 강화했다. 클라우데라는 카카오페이의 데이터 플랫폼을 최신 버전으로 업그레이드하고 분석, 실시간 데이터 서비스, 이종 쿼리를 위한 3단계 클러스터를 구축해 쿼리 성능을 30% 향상시켰다고 밝혔다. 이번 협력을 통해 카카오페이는 오픈 데이터 레이크하우스를 구축하고 데이터 처리 시간을 단축하면서 금융 서비스 전반에 안정성과 확장성을 확보했다.
카카오페이는 결제, 송금, 대출, 투자, 보험 등 다양한 금융 서비스를 제공하는 국내 대표 생활 금융 플랫폼으로, 대규모 실시간 데이터와 배치 데이터를 처리할 수 있는 플랫폼을 운영하고 있다. 데이터 품질 향상과 분석 역량 강화를 위해 클라우데라 기반으로 플랫폼을 고도화했으며 이를 통해 데이터 기반 의사결정과 보안 역량을 강화했다.
특히 카카오페이는 아파치 아이스버그를 도입해 대규모 고성능 분석 환경을 구축했다. 아이스버그는 스냅샷 기능을 제공해 데이터 삭제 실수 시에도 과거 상태로 복구가 가능하며 아파치 임팔라와 결합해 데이터의 조회 및 업데이트 기능을 지원한다. 이를 통해 데이터 수정 및 삭제가 가능해졌고 안정적이고 유연한 데이터 관리가 가능해졌다.
윤성환 카카오페이 시니어 데이터 엔지니어는 “아파치 아이스버그 아키텍처는 데이터를 읽어오기 전에 메타데이터를 조회하고 필터링해 쿼리 처리를 위한 데이터 양을 대폭 감소시켰다. 이는 쿼리 성능 향상으로 이어져 사용자로부터 성능이 약 30% 향상됐다는 피드백을 받았다”고 말했다. 또한 그는 “오픈소스 데이터 사용에는 어려움이 따른다. 하지만 클라우데라는 사전에 검증된 패킹을 제공해 오픈소스를 활용하며 겪는 어려움을 해결해준다. 클라우데라에 속한 데이터 전문가 또한 문제 상황을 분석해 솔루션, 관련 자료, 테스트 결과를 제공해 많은 도움이 됐다”고 덧붙였다.
최승철 클라우데라코리아 지사장은 “이번 협력은 고객사가 클라우데라를 통해 보다 안전하고 유연한 데이터 플랫폼을 구축하고, 실시간 분석과 규정 준수를 동시에 충족한다는 점을 증명한 사례”라며 “클라우데라는 앞으로도 하이브리드 데이터 플랫폼을 통해 각 산업 선도 기업들의 페인 포인트(Pain Point)를 해결하고 성공적인 기업용 AI 도입을 앞당기기 위해 지원을 아끼지 않을 예정”이라고 전했다.
헬로티 구서경 기자 |
