레이크하우스, 일원화한 거버넌스·하나의 데이터 사본으로 생산성 개선
데이터브릭스가 25일인 오늘 자사의 글로벌 연례 행사인 ‘Data + AI World Tour’를 국내에서 처음 오프라인으로 성황리에 열렸다.
‘데스티네이션 레이크하우스’를 주제로 열리는 Data + AI World Tour는 현대화한 데이터 스택을 구성하는 핵심 요소들은 물론, 기업들이 데이터 자산을 즉각 활용해 보다 효과적인 비즈니스 의사결정을 내리고 AI를 성공적으로 구현하도록 하는 데이터 레이크하우스를 집중 조명한다.
데이터브릭스의 데이터 레이크하우스는 데이터 레이크의 유연성, 비용 효율성 및 확장성을 데이터 웨어하우스의 데이터 관리 기능과 결합하여 모든 데이터에 대한 비즈니스 인텔리전스(BI)와 머신러닝을 지원하는 개방형 통합 데이터 플랫폼이다.
이번 행사는 국내 데이터 및 AI 전문가들이 참여해 서로 인사이트를 나누고 모범사례를 공유했다. G마켓, 이마트24, 데브시스터즈, ㈜한화, 메조미디어, 잡코리아, 핀다, 위버스 컴퍼니, 무신사 등을 포함한 국내 유수 기업의 데이터 및 AI 리더들이 연사로 나서 각 기업의 데이터 혁신의 여정을 공유할 예정이다.
이와 함께 데이터브릭스의 오픈소스 AI 모델 ‘돌리’의 새로운 버전인 ‘돌리 2.0’이 공개돼 화제를 모았다. 돌리 2.0은 오픈소스 명령어 추종 대형언어모델(LLM)로, 연구나 상업적 용도로 사용 가능한 명령어 학습 데이터셋을 미세 조정해 구현됐다. 데이터브릭스는 직원으로부터 크라우드 소싱된 고품질 명령어 추종 데이터셋을 미세 조정했으며, 일루더AI의 피티아 모델군에 기반한 120억 개의 파라미터 언어 모델을 사용했다.
데이터브릭스는 트레이닝 코드, 데이터 셋, 돌리 모델의 훈련된 가중치 등을 포함한 돌리 2.0의 모든 것을 상업적 용도로 사용하도록 오픈소스로 제공한다. 이를 통해 어떤 조직이던 API 액세스 비용을 지불하거나 제3자에 데이터를 공유하지 않고도 인간과 대화가 가능한 LLM을 생성, 소유 및 커스터마이징하게 됐다.
장정욱 데이터브릭스 지사장은 환영사에서 "AI를 통한 혁신과 효율 창출에 대한 관심과 투자가 확대되고 있다. 오늘날 AI는 기업 전체 가치사슬 영역에서 활용되고 있기 때문이다. 이 같은 변화의 시기에서 기술적인 측면 외에도 조직, 인력 측면의 준비는 중요하다"고 말했다.
장정욱 지사장은 "데이터브릭스는 레이크하우스 기업이다. 우리는 여러 기업과 데이터와 AI 에코시스템을 위한 개방형 기반을 구성하고 있다. 국내외 많은 기업이 우리의 잠재력을 인정하고 함께 성장하고 있다. 현재 전 세계 9000여 개 조직이 우리 플랫폼을 활용하는 것이 증거다. 우리는 데이터 요건 충족을 위한 낮은 비용과 빠른 혁신으로 기업을 지원할 것"이라고 말했다.
기조연설에 나선 에드 렌타 데이터브릭스 아태지역 총괄 수석 부사장은 "모든 기업은 데이터 중심으로 향할 것이다. 모든 영역에 대한 통합된 AI와 데이터 기반 의사결정 말이다. 대부분의 기업이 AI 역량을 확장해 비즈니스 가치를 창출하는 것이 중요하다고 말한다. 오늘날 기업들은 데이터 우선 기업이 되려고 한다"고 말했다.
이어 그는 "데이터와 AI의 성숙도는 사후 대응에서 예측, 자동화한 의사 결정으로 향한다. 우리는 지난 10년 동안 데이터 관련 문제를 해결하기 위해 노력했고 고객사에 우리의 비전을 전달하는 방안을 고민했다. 그 결과, 우리는 호주, 싱가포르, 홍콩, 일본 그리고 한국에까지 이르게 됐다. 전년 대비 90% 성장과 80% 인력 확대를 달성했고, 아태 지역 전반에 걸쳐 600여 명의 전문인력이 기술을 지원한다"고 덧붙였다.
두 번째 기조연설을 담당한 크리스 디아고스티노 데이터브릭스 글로벌 필드 CTO는 "데이터 고도화를 통해 자동화한 의사결정을 하는 데까지 가는 것은 쉽지 않은 여정이다. 오케스트레이션, 데이터 사이언스 및 머신러닝, 거버넌스, 데이터 웨어하우스, 스트리밍, BI 등의 과정에는 많은 시간과 비용이 투자된다"고 말했다.
이어 그는 "이 같은 관점에서 레이크하우스를 구축하는 것이 중요하다. 마치 아이폰의 등장과 흡사하다. 여러 전자기기의 기능을 하나의 환경에서 제공되는 것이다. 레이크하우스 플랫폼은 일원화한 거버넌스, 하나의 데이터 사본으로 오케스트레이션, 데이터 사이언스 및 머신러닝, 거버넌스, 데이터 웨어하우스, 스트리밍, BI이 가능하다"고 강조했다.
고객사로서 기조연설에 참여한 이마트24 이재경 CIO는 "지난 2021년 11월부터 진행된 이 과제는 빅데이터 인프라 구축부터 빅데이터 과제 선정, AI 모델 개발 및 서비스, 마침내 데이터 문화 구축까지 이르렀다. 과거 우리는 늘어나는 데이터에 비례하는 복잡도와 팀원과의 작업 방식 등에 대한 문제를 안고 있었다"고 말했다.
이어 그는 "우리는 AI 상품 추천 서비스를 개발했다. 점포를 대상으로 추천하는 이 서비스는 데이터브릭스 플랫폼을 활용한 데이터 및 알고리즘 최적화, 컴퓨팅 자원 최적화 작업으로 분석시간 1시간, 분석 자원 비용 7만 원으로 운용될 수 있었다. 우리는 향후 상품 기획, 물류, 마케팅, 점포 영업 관리, 점포 개발 등의 영역에도 데이터브릭스 플랫폼을 활용할 예정이다"고 덧붙였다.
이어 ‘엔터프라이즈 데이터 통합을 통한 데이터 가치 극대화’를 주제로 발표를 진행하는 한기선 ㈜한화 DT 전략팀 테크 리드는 “한화는 경영 가시성을 높이기 위해 통합 재무 대시보드를 시작으로 각 부분의 경영활동과 관련된 가시화 작업을 진행하며, 글로벌 시장 환경 변화에 따른 제품가격, 주가 예측 등을 머신러닝 영역으로 확장하는 것 또한 고려하고 있다”고 말했다.
세 번째 발표를 담당한 데브시스터즈 홍성진 CTO는 "게임 특성 상 많은 유저와 트래픽이 발생한다. 우리는 주기적인 신작 출시와 부족한 데이터 경험, 런칭 이후 급속도로 증가하는 데이터 등으로 여러움을 겪었다"고 말했다.
이어 그는 "데이터브릭스는 SQL, 파이썬 등 다양한 컴퓨터 언어에도 모두에게 생산성 높은 플랫폼을 제공했다. 데이터 추출 및 분석 경험도 개선됐다. 이에 우리는 데이터레이크를 레이크하우스로 마이그레이션함으로써 생산성을 올렸다. SQL 기반 워크플로로 생산성을 증가시켰으며, 다양한 데이터 엔지니어가 프로젝트에 기여할 수 잇는 구조로 변했다"고 덧붙였다.
한편, 이날은 데이터와 AI를 활용해 업무를 혁신한 각 조직의 데이터 팀을 선정하는 ‘2023 코리아 Data + AI 어워즈’도 열렸다. 데이터브릭스 고객사 가운데 총 다섯 팀이 수상했다. Data + AI 트랜스포메이션 어워드 부문에는 위버스컴퍼니가 수상했으며, Data + AI 비저너리 어워드 부문에서는 데브시스터즈가 수상했다. 이어 Data + AI 민주화 어워드 부문에서는 무신사가, Data + AI 이그제큐티브 어워드에서는 이마트24 이재경 CIO, Data + AI 챔피언 어워드 부문에서는 G마켓 서대홍 플랫폼 테크놀로지 매니저가 수상했다.
장정욱 지사장은 “우리는 데이터 레이크하우스의 선구자로서, 우리는 모든 사람이 데이터와 AI에 액세스할 수 있도록 하는 데 집중하고 있다. 이번 행사는 국내 데이터 및 AI 업계 리더들이 서로 인사이트를 나누고 모범사례를 공유하며, 데이터브릭스의 제품 혁신 동향을 직접 살펴볼 수 있는 아주 유익한 자리”라고 말했다.
이어 그는 “특히 이번 행사에서 처음으로 데이터브릭스 코리아 고객 어워즈를 진행해 차세대 혁신을 주도하고 있는 국내의 데이터 및 AI 팀과 업계 비전을 제시하는 리더들의 공로를 치하하게 돼 뜻깊다”고 덧붙였다.
헬로티 서재창 기자 |
