物流职业数据中台实战-兼谈数据中台施行方法论

1.项目布景

1.1 职业布景

物流职业已走过规划增加时期，正在进入传统企业不断进化，新物种全面鼓起，互联网巨子争相入局的竞赛新年代——方针利好与黑科技促进完善才能基底，商流革新倒逼物流晋级，也由此迎来最好也是最困难的年代。

跟着新式企业的活跃入局，“互联网+物流”形式得以快速鼓起，作为职业的新鲜血液，这些新进入者在本钱的助力下，依托其立异的商业形式、活跃灵敏的商场拓宽进程的确对传统物流企业带来必定冲击，也进一步推动了整个物流工业生态的丰厚和开展。

阿里巴巴推出的数据中台着重两个概念：事务数据化和数据事务化。正是新式互联网企业以技能和事务为抓手赋能职业的切入点。

1.2 传统物流公司信息化的窘境和传统解决计划

从粗豪式运营到精细化办理，物流公司信息化建造是企业革新要害中心。在互联网年代物流企业信息化建造面对的首要问题有：

图1.1企业信息化面对的问题

针对企业信息化的应战，传统解决计划是企业级数据办理。数据办理是一套继续改进办理机制，涵盖了人员，流程和技能，是一系列改动数据运用行为的进程。
可是传统数据办理是一个冗长的，杂乱的进程，并且需求许多人力和资源投入。有很大的缺点如：

1.施行周期长
2.达至预期方针的不确定性
3.对相关人员素质（技能，对数据财物认知等）依靠过高
4.过长的施行周期，无法习惯短平快的互联网竞赛等。
5.每一次数据办理都是对企业一切信息系统的一次重构和整合
6.脱离事务场景从标准层面的数据办理，无法直接发生事务价值。

而数据中台技能是经过一序列信息技能，特别是数据处理技能进行数据的收集、加工、整合后，构成企业界部一套标准一致的可复用同享数据调集，最终高效的把数据封装成服务供给给事务或是下流系统运用，然后完结D2V的理念。数据中台着重数据的整合复用及同享，可以树立在不对原有系统推倒重建的基础上构建同享数据服务。

1.3 驻云科技数据中台计划的优势

阿里云作为数据中台的概念输出者，是许多客户构建数据中台的榜首挑选。驻云是阿里云的最大合作伙伴之一，具有丰厚全面的数据中台构建办法论及施行经历。如阿里云与驻云科技合作构建某物流企业的数据中台。
该物流企业是业界抢先的零担物流渠道。最早由区域合伙、联盟开展而来，现在主营事务是全国公路零担物流网络服务，致力于为客户供给高性价比的归纳物流服务。
该物流企业树立数据中台效能：协助企业树立完善的信息化解决计划，全面支撑公司事务开展，标准作业流程、进步作业效率,削减重复劳动，确保数据的准确性，经过数据剖析，为办理供给有价值的决策依据。

2. 数据中台施行

数据中台施行全流程概览。

图2.1 数据中台施行流程

2.1 需求和事务调研

需求调研是个绵长又不特别明晰的阶段,由于客户关于自己想要的东西,不是经过调研就明晰的,而是跟着交给的进程渐渐明晰的. 所以当时阶段最要害的作业界容是经过调研清楚详细的事务状况,数据状况,从而明晰整个项目的交给鸿沟,而不是弄清楚交给细节.
需求和事务调研中心产出的交给件是数据财物调研表。
包括但不限于以下信息

需求和事务调研中心需求产出一个客户事务大局文档及相关目标系统作为内部施行中心文档。大局事务文档首要内容包括但不限于：

·客户一切事务部分及其事务介绍
·客户中心事务流程介绍

·客户一切事务系统及其功用介绍且标出重复建造部分

依据该物流企业中心事务流程咱们在需求和事务调研阶段总结出物流企业常见事务流程如图2.2

图2.2物流企业常见事务流程

图2.3 物流中心目标主题

2.2 数据域界说

数据域是指面向事务剖析，将事务进程或许维度进行笼统的调集。其间， 事务进程可以概为一个个不行拆分的行为事情，在事务进程之下，可以界说目标; 维度是指衡量的环境，如买家下单事情，买家是维度 。
阿里巴巴的OneData系统是一整套数据整合及办理的办法系统和东西。阿里巴巴的工程师在这一系统下，构建一致、标准、可同享的全域数据系统，防止数据的冗余和重复建造，躲避数据烟囱和不一致性。凭借这一一致化数据整合及办理的办法系统，咱们构建了阿里巴巴的数据公共层，并可以协助类似大数据项目快速落地完结。
凭借OneData系统，依据物流职业详细的事务大局及其数据资源调研表，咱们遵从高内聚低耦合的架构规划战略。规划企业数据域也即公共数据中心。首要包括：

1. 用户域

2. 财政域

3. 营销域

4. 运送域

5. 场站域

6. 网点域

7. 金融域

8. 企管域

依据现有已分数据域，咱们可将数据财物依据详细的事务区分到所归属的数据域中，为底层数据架构树立标准。

2.3 主数据界说

·特征一致性
·辨认唯一性
·长时刻有用性
·事务稳定性

从物流职业使用场景来看，咱们总结出如下物流职业主数据：

·用户
·商家
·订单
·车辆
·方位

阿里巴巴OneID系统依据行为中心数据，归纳人口学、社会学理论知识及业界标签分类系统，构建用户社会学标签及事务场景标签，对“ID”进行全方位描写，更生动的了解用户，更好的服务及触达用户。在对外赋能的进程中，不只使用在to C 场景中对顾客的描写，也可以使用在to B 场景中对租户等的描写。

结合阿里巴巴OneID办法论咱们为上文中说到的某物流企业构建用户，商家，订单，车辆，方位的一致ID为上层使用供给快捷数据服务。

2.4 架构规划

依据物流企业的事务和需求调研咱们构建了，物流企业的数据域和主数据架构系统。如图2.4

图2.4 架构规划

第二层是公共层，即公共数据中心。一切的数据的清洗、加工、处理都将在公共层完结。首要公共层横向区分为公共明细层和公共汇总层，其间公共明细层是依照不同维度生成的明细数据，公共汇总层是依据上层事务使用的输入，对数据进行轻度汇总。一同公共层又会纵向的，依据不同的事务主题区分为不同的数据域，每个数据域又区分不同的事务进程，每个事务主题的数据都会在各自的数据域进行加工和处理。

第三层是使用层，使用层会分为萃取数据中心和主题中心，其间萃取中心是以各个事务目标为中心的标签系统，主题数据中心是依据不同的上层使用，经过公共汇总层的模型构建出来的面向各个使用的使用层数据模型。最上层的事务使用都会经过一致的数据服务，从使用层调取数据。

2.5 数据仓库模型规划与标准界说

数据仓库模型规划大局一览如图

图2.5 数据仓库模型规划与标准界说

模型规划的基本原则首要有

· 高内聚低耦合：
将事务附近或许相关、粒度相同的数据规划为一个逻辑或许物理模型，将高概率一同拜访的数据放一同 ，将低概率一同拜访的数据分隔存储。 

· 中心模型与拓宽模型别离：
树立中心模型与扩展模型系统，中心模型包括的字段支撑常用的中心事务，扩展模型包括的字段支撑个性化或少数使用的需求 ，不能让扩展模型的字段过度侵人中心模型，避免损坏中心模型的架构简洁性与可维护性。 

· 公共处理逻辑下沉及单一：
越是底层共用的处理逻辑越应该在数据调度依靠的底层进行封装与完结，不要让共用的处理逻辑露出给使用层完结，不要让公共逻辑多处一同存在。

· 本钱与功用平衡：
恰当的数据冗余可交换查询和改写功用，不宜过度冗余与数据仿制。

标准界说

构建企业的目标系统，目标系统：原子目标，派生目标，润饰类型，润饰词，时刻周期组成系统之间的联系。

图2.6目标系统

2.6 开发进程办理与标准界说

1) 代码开发

将规划阶段产出的ETL规划文档、数据探查陈述，结合开发自己的数据探查成果，一同依据本身对事务和数据的了解，转化为详细的代码。依据规划阶段产出的规划文档里关于作业流节点的规划和调度规划文档，在DIDE里新建作业流节点。

作业流节点类型包括：CHECK(虫洞)、同步中心、虚拟节点、ODPS SQL、ODPS PL、SHELL、ODPS MR、EXSTORE。依据需求，UDF、UDAF、UDTF类型还需求新建资源和注册函数。依据规划阶段产出的规划文档里关于需求与规划完结的论述，转化成详细的代码；针对不同的功用规划，需求编写SQL、SHELL、JAVA、PERL、PATHON、MR等代码。

代码开发完结，提交的一同将依据预设好的扫描规矩对作业流节点进行相关的查看(禁用要害字查看、命名标准查看、数据引证标准查看、注释标准查看等等)，查看成果分为：经过、正告但经过、正告不经过。

2) 单元测验

代码开发完结之后，开发人员需求对代码进行单元测验，单元测验阶段需求进行：标准性查看、代码质量/BUG查看、数仓特别需求查看、目标特性查看。测验完结之后开发同学还需求收拾发布操作文档,以便后边进行发布作业。输出代码、单元测验陈述、发布操作文档。。

3) CODE REVIEW

2.7数据质量办理

开发完结后的数据运营进程需求耐久的数据质量办理，用来确保数据的质量继续可用。如图2.7

图2.7 数据质量办理

3. 数据中台使用

经过数据中台的数据整理和目标系统的树立，可以为运营剖析供给直接有用的服务。如数据大屏和BI报表

3.1 数据大屏使用

经过数据中台产出目标系统，某物流公司大屏作用展现

3.1数据大屏使用

3.2 自动化BI报表

依据老练的目标系统构建商业智能BI剖析报表，如结合阿里云quick BI产品构建部分运营剖析报表。可由事务人员直接在数据门户中经过迁延拽的方法完结事务运营剖析。

3.3 数据服务

用户也可构建一套数据运营渠道兼具门户功用，为企业界部供给一个可视化的数据同享服务。数据运营渠道经过OneService服务来一致对接办理数据中台供给的上层数据使用服务。

4.总结与回忆

数据中台的建造节奏是个前松再紧后又松的进程,并且是跟着事务的改变而改变的绵长的进程,建成的标志咱们认为有两个: 榜首个是目标的复用性,BI取数脱离被迫的依据事务人员的指挥,事务人员可以从中台直接取到大部分目标数据;第二个是数据使用的建造脱离了从零起步,可以直接依据中台的成果快速建造所需的数据使用。