首页 物流新闻 【事例】服务邮政快递业安全监管 星环科技助力国家邮政局“绿盾”大数据渠道建造

【事例】服务邮政快递业安全监管 星环科技助力国家邮政局“绿盾”大数据渠道建造

国家邮政局寄递途径安全监管“绿盾”工程,旨在打造安全监管“大脑”,建造高质量的安监信息系统。 2019年5月27日,邮政业大数据安全监管与公共服务途径荣获“2019中国政府信息化杰…

国家邮政局寄递途径安全监管“绿盾”工程,旨在打造安全监管“大脑”,建造高质量的安监信息系统。





2019年5月27日,邮政业大数据安全监管与公共服务途径荣获“2019中国政府信息化杰出成就奖”,完成了从揽收、运送、投递到投诉和申述等各环节全生命周期的数据管控,成为职业监管的“智囊团”、安全的“守护神”。



01
用户与项目布景


2018年2月,国家发改委批复了邮政寄递途径安全监管“绿盾”工程建造项目(一期)概算出资,国家邮政局批复了开始设计计划。



“绿盾”工程建造项目(一期)的建造内容首要包含:完善和建造运转监测、安全预警、行政法律、应急指挥、公告服务和决议计划支撑等6大事务运用系统,完善和建造云核算、大数据和归纳运维等运用支撑系统,健全专业法律手法,并装备便携式法律设备,改造国家邮政局机房,并建造异地灾备中心等。





大数据办理途径是“绿盾”工程的重要建造内容之一,首要为上层运用和邮政监管的海量数据资源供给一致收集、存储、处理、剖析和办理的运用支撑途径,为“绿盾”工程建造系统及国家邮政局相关系统供给安稳、高效、先进、安全的根底途径支撑。



国家邮政局邮政寄递途径安全监管的“绿盾”工程方针便是安全监管更智能,监测预警更有用,规制系统更完善,信息安全有保证,服务支撑更有力。



02
需求与问题




为完成邮政海量数据资源的收集、存储、办理、处理和剖析运用,依据运用需要和实践环境,“绿盾”大数据办理途径项目将依据现在老练的大数据办理剖析技能,进行开发、适配和定制装置,建成邮政办理与服务大数据办理途径。





“绿盾”大数据办理途径应能供给多源异构的数据收集、分布式数据存储办理、实时/离线核算结构等,供给大数据办理、开发和核算的才能,可支撑数据仓库、用户画像、常识图谱、深度学习、文本剖析等高档运用的构建。



国家邮政局原有的信息系统,链接很多快递企业、电商途径的线上线下门店、网站和移动端的物流数据,各个运用系统都有自己独立的途径。

跟着安全监管链接系统的添加,对监管运用和数据类型不断扩大,以及存量数据的不断增加,各系统之间数据办理、功用瓶颈问题现已日益突显

,首要表现在以下几个方面:




-数据存储空间缺少;

-数据孤岛问题严峻,事务交融困难;

-事务系统办理涣散,运维杂乱,大局视角差。

-缺少有用数据安全管控。

-现有技能架构无法支撑新式的数据类运用等。

03
处理计划



依据邮政寄递途径安全监管“绿盾”工程大数据途径建造的需求,星环科技依据自有的大数据途径与技能,为国家邮政局供给了如下的大数据途径技能结构。






01数据收集


一致的数据收集满意企业实时海量数据收集使命,供给高并发量、高牢靠性的数据收集服务。数据收集模块支撑多数据源、大规模并行数据收集,以及牢靠毛病处理和康复。



02音讯行列




03流处理引擎


流式处理引擎向用户供给以时刻窗口为单位及事情形式的实时性数据处理编程接口和数据流转化接口,屏蔽底层的分布式使命调度细节,并供给数据流的牢靠性、安全性和容错性保证。





04核算事务查询库


依据事务的不同需求,供给不同品种的数据库来满意运用需求,既可支撑传统的MapReduce批处理作业,又供给通用SQL接口及开源类API,支撑内存缓存存储、高并发及时查询,为上层页面展现运用,供给核算、机器学习等分布式运算服务。






05存储层




06安全认证




07途径办理


大数据途径办理包含组件办理、使命监控、组件监控、资源运用状况等,经过途径办理界面,可以监控途径各组件的运转状况,检查资源运用状况,包含分布式存储节点运转状况及资源运用状况,数据处理使命运转状况等。

04
运用效果与价值



现在国家邮政局“绿盾”工程项目大数据途径现已正式上线运转一年时刻,共支撑上线四大首要运用系统,共有节点数百多个,触及场景流式处理、批处理、及时查询、报表查询等。





“绿盾”工程项目建造了一致的大数据途径,处理了用户原系统各自为营、多途径、数据孤岛的问题,全组件的安全一致装备办理,既处理了用户原开源途径缺少安全防护的问题,又简化了整个途径的安全管控。

Slipstream+AgroDB完成了流式作业、批处理作业的一致,共用一张成果表,单表的流式入库功用达到TPS百万等级,推迟性控制在秒等级内,做到实时查询事务和数仓事务的准实时性,处理了厂商流式处理与批处理一体化的需求。2020年双十一事务顶峰期内,途径运转安稳,做到一切使命零积压。




作为国家发改委重点项目,国家邮政局邮政寄递途径安全监管“绿盾”工程建造项目接入数据量大,运用场景丰厚,辐射面广,在国家层面及政府职业界影响深远。星环科技为项目建造的大数据途径总结的Slipstream+AgroDB流批一体化计划,运用UDTF多线程的方法在不加大音讯行列负载的状况下增大并发度、进步吞吐量计划,经过Slipstream Studio、Slipstream checkpoint功用实时监控使命的TPS、揉捏量状况、各时刻维度流量计划,以及多用户下全组件安全形式下的权限细分计划等,丰厚了Stuido在流使命监控上的一些盲点,完善了产品的功用与特性,都是可复用的典型场景计划,具有广泛的职业运用远景。

相关阅览


-

【事例】咱们用TDH+Sophon把工厂“搬”进高校实验室,推动产学研一体化

-

【事例】构建应急指挥系统,完成生产过程实时监控

-

【事例】星环智能剖析东西 Sophon,助力上海农商行建立决议计划型人工智能途径






简介 评测 出资 训练 巡展 媒体报道 认证考试 用户大会




TDH TDC Sophon 流式核算 图数据库 闪存数据库




技能支撑 深化机器学习 技能干货 文言大数据 小白学AI   


本文来自网络,不代表快递资讯网立场。转载请注明出处: http://www.llaiot.com/logistics-news/1420.html
上一篇
下一篇

为您推荐

返回顶部