开发者社区

汉云社区是面向开发者的开放型技术社区,以交流专业、优质的技术为己任,欢迎优秀的行业开发者一起切磋。

车联网数据仓库系统简介

汉云平台 2020 03 11

 

系统背景

为了更好地管理和分析车辆上传的数据,建立基于HAWQ的数据仓库系统。

 

系统架构

 

系统架构说明:

系统设计的目的是将零散的各个事业部不同数据进行合理的整合、清洗、统一加工,将零散的工作归一化,提升工作效率和数据产出效率。

  • 数据源:当前主要的数据来源是各个事业部上传的车辆数据
  • 数据加工/ETL:统一字典信息,对异常数据进行统一的清洗过滤
  • 数据整合存储层:数仓核心层,仓库内部存在多个数据层次,通过对数据一层一层的处理,达到将数据合并到统一的查询视图的效果。更多细节请参考架构内部简图。
  • BI应用层:基于数仓的数据分析、数据报表可视化等应用
  • 数据访问层:根据不同业务,建立不同的分析方法,提供数据。

 

架构内部简图

 

在内部简图中可见,我们将数据仓库存储结构分为三个层次:EXT、RDS、TDS

  • EXT:外部数据源模块,外部数据的统一入口,可以是Hive外部表,数据通过PXF插件进入HAWQ系统。
  • RDS:经过初步整合的数据缓冲区,相对EXT层次数据而言,RDS层数据已经进行了清洗和规整。
  • TDS:在RDS的基础上对数据进行深度层次的加工,按照贴合业务的各种维度模型建立,在此层次上可以针对不同维度对数据进行深度挖掘分析。

 

 

 

联系我们

产品咨询
0/200

紧急问题请联系 0516-80582888

我们会有专人与您联系