▲정보/지식 통합 서비스 개념 / 자료= 데이터스트림즈
이 시스템의 핵심 기술요소는 ▲지식 통합을 위한 AI 언어모델 ▲정보/지식 통합 메타데이터 저장소 ▲데이터 패브릭 기반 데이터 통합이다. 이 세 가지 기술요소를 통합한 제품은 개발이 완료돼 내부 테스트를 거쳐 올해 2분기에 출시할 계획이다.
◆지식 통합을 위한 AI 언어모델=기업의 내부 지식을 언어모델을 활용해 데이터로 변환하는 기술로, sLLM이 기술의 핵심이다. 거대규모 AI를 활용한 데이터 변환도 기술적으로 가능하지만, 이 경우 기업 내부 데이터의 외부 제공 문제, 서비스 운영을 위한 운영비용 문제로 제약이 있기 때문에 소규모 인프라를 활용한 서비스 구성을 위해 sLLM을 기반으로 해야 한다.
이 기술의 핵심은 기업이 보유한 문서로부터 지식을 추출하고 이를 데이터로 변환하며, 결과를 정보/지식 통합 메타데이터 저장소로 전달하게 된다. 이 과정은 언어모델의 특징으로, 서비스 구축 이후에 발생하는 지식도 언어모델이 잘 활용할 수 있는 데이터 파이프라인을 잘 구성해 지식의 변화에도 대응할 수 있도록 해야 한다.
◆정보/지식 통합 메타데이터 저장소=메타데이터는 데이터의 설명정보, 부가정보를 지칭한다. 정보/지식 통합 메타데이터는 기업의 기존 정보 시스템의 데이터에 대한 정보와 언어모델이 해석한 지식 정보를 통합해 실제 데이터를 통합하기 위한 기반정보를 축적하는 저장소다.
데이터를 통합하고 활용하기 위해서는 보유한 전체 데이터에 대한 정보가 필수적으로 필요하고, 이를 최신화, 자동화하는 기술이 반드시 필요하게 된다. 정보/지식 통합 메타데이터 저장소는 이러한 데이터의 저장소뿐만 아니라 이를 최신 상태로 유지하는 모든 자동화된 기술을 함께 제공한다.
◆데이터 패브릭 기반 데이터 통합=데이터 패브릭은 실제 데이터를 통합하지 않고 데이터의 정보(메타데이터)를 활용해 사용자의 요청에 즉시 데이터를 통합하는 ‘On-demand’ 기반의 데이터 통합 및 전달 체계다. 기업의 정보 시스템의 데이터와 지식에서 추출된 지식 데이터를 미리 통합해 비즈니스 환경의 변화에 따라 지속적으로 시스템을 개선해 나가기보다 필요한 정보를 필요한 시점에 통합하는 방식으로 비즈니스의 변화에 유연하게 대응할 수 있게 된다.