그동안 세상의 변화를 주도해 온 IT(Information Technology)의 시대를 넘어 DT(Data Technology)의 시대가 도래했다. 기하급수적으로 늘어나는 내외부의 방대한 데이터를 누가 더 효율적으로 수집, 분류, 통합, 저장, 분석, 활용해 미래를 내다보고 준비하는가가 기업은 물론 국가의 경쟁력을 가르는 핵심이 되고 있다. 이 같이 다양한 상황에서 방대한 데이터를 효과적으로 모아 분류 및 정의하고, 통합이 용이하게 저장, 분석, 활용할 수 있는 방안으로 데이터 패브릭(data fabric)이 부상하고 있다. 

최근 데이터 패브릭을 가장 적극적으로 내세우고 있는 기업이 데이터스트림즈다. 데이터스트림즈의 천승태 기술연구소장과 윤영환 사업전략본부장을 만나 데이터스트림즈의 데이터 패브릭 전략과 이를 구현하는 빅데이터 플랫폼 ‘테라원’에 대해 이야기를 나눴다.

최근 큰 관심을 모으고 있는 데이터 패브릭은 데이터웨어하우스, 클라우드 등 다양한 이기종 플랫폼의 다양한 데이터 소스를 메타 데이터를 참조해 데이터 가상화 레이어에서 하나의 쿼리로 분석할 수 있는 개념이다. 데이터 패브릭의 구현은 기업이 보유한 다양한 내·외부 데이터를 자산화해 관리하고 전 조직원이 접근, 활용할 수 있는 제반 환경을 제공해 기업의 경쟁력을 강화할 수 있는 솔루션이다.

윤영환 사업전략본부장은 “데이터의 중요성이 커지면서 정형, 비정형 데이터를 모두 데이터 레이크에 모아놨는데, 정작 모은 데이터의 70%는 한 번도 안 쓴다. 비용 부담이 감당하기 어려울 정도가 됐다. 이 같은 상황에서 현업 담당자가 IT 부서의 손을 빌리지 않고 데이터에 접근하고 분석해 원하는 정보를 얻는 셀프 비즈니스 인텔리전스(Self-BI)를 가능하게 하는 방법을 고민한 결과가 데이터 패브릭”이라고 설명했다. 

데이터 패브릭의 3가지 핵심 구성요소로 데이터 레이크, 데이터 거버넌스, 데이터 가상화가 꼽힌다.

2001년 설립해 20년 이상 자체 개발한 원천기술 기반의 데이터 플랫폼 기업인 데이터스트림즈(대표 이영상)는 다양한 데이터 관련 제품을 개발하고 사업을 수행하면서 트렌드를 예측하고 준비한 결과 데이터 패브릭의 핵심 구성요소를 이루는 모든 기술을 자체 개발, 확보했다고 설명했다. 

방대한 양의 데이터를 빠르고 정확하고 효율적으로 관리할 수 있는 데이터스트림즈의 빅데이터 플랫폼 ‘테라원(TeraONE)’은 저장 및 처리 기능의 편의성, 관리성, 성능을 대폭 개선해 글로벌 경쟁력을 갖추고 있다.

테라원은 데이터 거버넌스, 마스터 데이터 관리, 실시간 데이터 처리, 데이터 가상화, 인공지능(AI) 활용 기술 등 데이터 패브릭을 구현하기 위해 필요한 모든 기술을 모두 포함하고 있다. 

데이터스트림즈는 테라원에 포함된 기술과 제품을 개발하기 위해 창업 이후 1000억 원을 투자했다고 설명했다. 이 회사는 매년 매출의 20% 이상을 연구개발(R&D)에 투입하고 있다. 지난해의 경우 매출의 21.4%에 해당하는 65억 원을 연구개발비로 썼다.

데이터스트림즈에 따르면, 테라원은 유일하게 데이터를 모으고 관리하고 활용하는데 필요한 제품을 모두 갖췄다. 

천승태 소장은 “데이터 레이크, 거버넌스, 가상화 영역의 일부 제품을 제공하는 기업은 있지만, 모든 기술을 제공하는 기업은 데이터스트림즈밖에 없다”며 “여러 벤더의 솔루션을 쓰면 연계와 데이터 교환의 어려움 등 불편함이 생긴다. 데이터스트림즈는 모든 솔루션을 제공하기 때문에 데이터 거버넌스에서 활용할 데이터를 찾고, 찾은 데이터를 가상화 영역으로 넘겨 활용하는데 심리스(seamless)한 사용자 경험을 제공한다”고 말했다. 

천 소장은 또 “데이터스트림즈가 필요한 기술을 모두 갖춘 것은 오래 전부터 그림을 그리고 목표를 세워 꾸준히 채워 왔기 때문”이라며 “데이터스트림즈의 통합적인 기술이 과거에 비해 훨씬 더 중요한 시기가 됐고, 앞으로 필요성이 계속 커질 것”이라고 내다봤다.

테라원은 데이터스트림즈의 주력 제품인 데이터 통합 관리 솔루션 ‘테라스트림’을 중심으로 데이터 수집 허브와 오픈소스 아파치 하둡으로 구성된다. 이와 함께 아파치 하둡 배포판(무상)을 기반으로 다양한 필수 오픈소스를 탑재함으로써 데이터스트림즈의 강점인 ETL(Extract, Transform, Load) 및 인메모리 분산기술을 적용한 순수 국산 빅데이터 플랫폼으로 하둡 최상위 에디션을 제공한다.

테라원은 제품의 우수성으로 각종 수상을 이어오고 있다. 2021년 ‘산업기술진흥 유공 및 대한민국 기술대상’에서 ‘대한민국 기술대상 장관상’을, 2022년 ‘대한민국 소프트웨어(SW) 기술대상 및 IT 아키텍처 공모전’에서 ‘SW 기술대상 금상’을 수상했다. 올해는 ‘글로벌 디지털 초월제품·인재 대상’에서 개발용 SW 분야 최우수상을 받았다. 

일차적인 목표는 주요 클라우드에 모두 탑재하는 것이고, 다음 목표는 클라우드 벤더와 무관한 멀티 클라우드 서비스가 되는 것이다.

데이터스트림즈는 테라원 V4.0 구매 고객이 여러 기능 중 원하는 기능을 필요한 만큼 사용하고, 니즈가 바뀌면 손쉽게 지원 기능과 양을 조절할 수 있도록 하는 정책을 채택했다.

천승태 소장은 “테라원은 데이터가 들어가 있는 곳이면 모든 산업에 다 쓸 수 있다. 기존의 테라원은 설치형으로 고객이 인프라를 보유해야 해 대부분 데이터 규모가 큰 곳에서 활용했다. 하지만, 테라원 V4.0은 CDP 형태로 판매하기 때문에 작은 규모의 기업이나 기관에서도 효과적으로 사용할 수 있어 이전 버전의 테라원에 비해 훨씬 많이 보급될 것으로 본다”고 말했다. 

윤영환 본부장은 “고객이 테라원만 도입하면 클라우드 벤더에 무관하게 데이터 분석, 활용에 필요한 모든 서비스를 일괄적으로 받을 수 있게 하는 것이 데이터스트림즈의 최종 목표”라며 “SW 기반의 비즈니스를 런칭하는 많은 스타트업이 데이터베이스관리시스템(DBMS)에 의존한 데이터 전략을 사용하고 있는데, 데이터 패브릭 기술을 활용하면 더 파워풀한 데이터 전략을 구사할 수 있고 진정한 데이터 드리븐 비즈니스를 창출할 수 있다”고 강조했다.

강동식 기자 lavita@datanews.co.kr