专注于企业数据价值挖掘与探索

DataShuttle

数据开发流程

  • 数据生产:业务系统每天新增的数据,存储在业务系统数据库中,如mySQL、Oracle、SQL Server等
  • 数据集成:将每天业务系统新增的数据同步到统一的大数据处理平台
  • 数据整合处理:将不同业务系统数据,统一到企业级数据整合模型,已支持数据的分析、挖掘等
  • 数据提取:数据整合处理后的导出给相关业务人员,以供业务人员进行分析挖掘
  • 数据展示分享:通过报表、API等大数据方式,展现大数据分析处理的成果

DataShuttle是什么

DataShuttle提供全面的调度功能:

  • 支持时间、依赖关系,进行作业的触发
  • 支持日千万级作业量根据时间、依赖关系准确准时运行
  • 支持分钟、日、周、月、季度及自定义的作业周期

调度托管

功能概述

通常数据开发全流程包括数据产生、数据集成、数据整合与分析、数据提取、数据展示分享。

DataShuttle是一款重要的数据平台产品,为你提供数据集成、数据开发、数据治理、元数据查询等全方位的数据服务,提供一站式开发管理及调度页面,为你提高数据使用便捷性,让你专注于企业数据价值挖掘与探索。

DataShuttle是基于Hadoop数据存储平台+Spark计算引擎,为你提供离线的数据整合、分析、挖掘等功能。

你可是使用DataShuttle完成数据集成、转换、传输等功能,从不同的数据存储系统加载数据,并完成数据加工。

你还可以使用DataShuttle提供的相关数据逻辑梳理模板,让DataShuttle自动帮您完成元数据采集、元数据分析。

DataShuttle还可以根据您对数据逻辑的梳理,自动帮你完成数据治理的大部分功能,并提供数据质量监控规则接口。

多节点类型

DataShuttle支持数据同步、Shell、Perl、Python、SparkSql、HadoopMR、HiveSql等多种节点类型,通过各节点之间的相互依赖,完成对数据集成、转化、分析、同步等功能。

可视化开发

DataShuttle通过可视化代码开发、工作流设计,通过简单的拖拽即可完成复杂的数据逻辑处理。

监控

  • 提供可视化的作业监控管理界面,支持以DAG形式查看作业运行的全局状态
  • 可自定义监控报警信息

数据治理

数据作为企业越来越重要的资产,那么提高资产质量的需求也就应运而生,为此在企业的数据建设中越来越重视数据治理环节。

DataShuttle可为您提供一下数据治理的主要功能:

  • 元数据管理
  • 数据质量管理
  • 数据资产价值管理
  • 数据安全管理
  • 数据标准管理
  • 数据交换管理

整体功能架构图

DataShuttle与传统数据集成整体架构对比如下图: