京东物流体系自动化运维渠道技能揭密

 

简略来了解，主动化运维便是要经过机器的方法来简化全体的运维进程，特别是优化重复类型的作业，以进步运维功率，削减因人工而引起的失误操作。跟着运维办理的杂乱度和难度增大，主动化运维也根本成为了运维渠道演进的必经之路。但怎样落地主动化运维渠道，不同的企业由于运维开展阶段和事务体量的不同，都有不一样的完结途径。

InfoQ：能够先介绍下现在京东物流体系主动化运维渠道的一些根本状况吗？

赵玉开： 京东物流体系主动化运维渠道从 2014 年开端发动到现在已阅历了三各阶段，到现在办理了 MySQL、JMQ、 Redis 及自研运用等多种实例。

众所周知，京东事务开展迅猛，每周都需求开仓，数量多达十几个。最初开仓进程特别冗长和杂乱，开仓进程中触及到研制人员布置体系、运营人员手动填写多种恳求、运维人员不只要担任中间件装置，还要担任整个流程中每个环节的发展承认及和谐，这直接导致了开仓慢，且触及到的各部分都需求投入许多的人力本钱。

一期上线后，得到了流程中各环节触及部分的欣赏，并在得到咱们活跃反应后，敏捷进入到二期项目。二期项目完结后，数据的初始化问题和研制日常批量布置问题也得到了处理，体系的主动化程度已能够满意日常的作业需求。

InfoQ：谈谈你们的主动化运维架构？以及具体触及到的技能栈？

赵玉开： 咱们的主动化运维的中心组件是 SaltStack， 咱们根据 SaltStack 做了许多自定义的模块、Grains 和 Runner， 经过这些自定义的模块、Grains 以及 Runner 来支撑咱们的开仓、布置、数据同步等功用。

如下图是一个指令履行进程图， 分为两个部分， 上面部分为布置在 IDC 的模块， 下半部分则是布置在仓库机房的模块。

咱们先逐一介绍布置在 IDC 部分的模块：

1. Web 运用 Java 技能， 为用户供给操作界面， 操控操作权限， 运用 Activiti 作业流引擎驱动各种流程， 下发开仓进程中的主动化运维指令。

2. Salt-API-Proxy 是 Salt-API 的署理层， 经过 Nginx 完结了反向署理， 在 Nginx 的装备中对发送指令的服务器 IP 做了约束， 别的能够经过装备指向作业的 Salt-API 服务器。

3. Salt-API 担任和 Salt-Master 交互发送 SaltStack 的 Runner 与 Module 的 API 指令， Runner 指令是运转在 Salt-Master 服务器上的， 能够读取 master 装备， 也能够在一个 Runner 中和谐履行多个 Module 运转成果。

4. Salt-Master 有两个责任， 一是承受 salt-api 指令， runner 在本地履行， module 下发指令到对应的 salt-minion， 另一责任是运维同学手动下发指令， 完结一些十分见的 minion 装备作业。

仓库部分和 IDC 之间经过 VPN 联通， 每个仓库的服务器上都装置了 SaltStack 的 minion 端， minion 端是一个 Python 进程， 担任接纳 Master 的 Module 指令， 并在本地履行。别的 minion 端在履行指令进程中需求将履行进程中的输出及时的输出给用户端， 让用户能够经过 Web 端检查履行进程的状况， 即运维的可视化， 咱们是经过 minion 端的可视化模块， 将履行进程输出经过 HTTP POST 方法发送给 Web 端， Web 端将 POST 内容存储到使命履行进程输出表中， 前端经过轮询方法读取输出表中的增量音讯显现给用户端。

咱们选用的技能栈是 Java + Python。  前端界面展现、 作业流、权限操控、使命下发这些都是用的 Java 的 Spring MVC + MyBatis； 后端用的是 Python + Shell， Python 写了许多的 SaltStack 自定义模块。

InfoQ：为什么最初要挑选 SaltStack 而没有挑选 Ansible？

赵玉开：

1. API 的易用性方面和 SaltStack 有距离， 咱们的主动化运维体系一开端就有一个方针， 将开仓布置以及推行版别这些功用开放给物流运营人员， 所以有必要做好前端用户体会， 这需求好用的 API， SaltStack 刚好有。

2. 功能，规范 SSH 衔接的时分比较耗时，ZeroMQ 传输的速度会快许多。

InfoQ：在运用布置主动化这块，你们是怎样做的？

赵玉开： 运用布置大致分为这么几个过程： 打包、下发文件、更新装备、中止发动实例、备份布置版别， 具体如下。

1. 咱们运用的公司一致的打包体系， 打包体系打好包， 布置使命批阅经过，主动化运维体系就能够经过 API 取得打包文件， 然后将布置包上传到版别服务器， 并解压缩，放到对应版别目录下。

2. 经过 SaltStack 的 API 下发布置指令给布置方针服务器， 布置指令是一个 SaltStack 自定义模块， 该模块首先会履行 rsync 指令从版别服务器上同步改动文件。

3. 文件下发之后更新装备， 经过 Web 接口恳求主动化运维的 Web 端下发装备文件， 然后更新装备文件， 咱们线上的装备文件是经过环境变量来装备的， 所以不论有多少个仓库， 都不需求更新装备文件， 只要在特别需求是设置环境变量， 就能够根据当时作业单位的不同改动下发的装备文件的内容。

4. 调用运用的 stop.sh 脚本中止当时实例， 再调用 start.sh 脚本发动实例， 这里有一个约好， 不论是 Web 运用还对错 Web 运用有必要在布置目录有一个 bin 目录下面有 start.sh 和 stop.sh 两个文件。

5. 假如过程 4 履行成功， 那么将此版别的文件备份到当时服务器上， 以备回滚运用。

InfoQ：主动化运维处理了你们哪些问题？没有处理哪些问题？

赵玉开： 主动化运维处理了咱们开仓周期长，人力本钱高的问题， 提高了全国布置推行的功率， 大大削减了运维搭档的重复性作业， 把对老练版别的推行作业交给了运营人员， 削减了研制搭档在推行上线作业上的时刻。

现阶段正在探究怎样经过主动化运维技能快速排查问题， 别的便是咱们未来会有一些主动化的物流作业单位，怎样用主动化运维渠道办理好这些主动化的设备和设备软件也是咱们在探究的。

赵玉开： 做过一些复盘， 每一期开发完毕下一迭代开端的时分都会做复盘， 对现有问题进行总结， 一起搜集下一步的需求。  现在看最深入的体会是做主动化运维体系一定要做好元数据的办理，元数据要办理好服务器信息特点、 运用信息、运用装备、实例办理以及作业单位， 这些元数据要在一开端就做好， 能主动化搜集的要主动化搜集， 动态的参数一定要动态操控， 比方 Redis、MySQL 都有主从关系， 元数据中要存储这个主从关系， 可是不能写死， 有必要有机制来更新主从关系， 不然 Redis 岗兵程序更新了 Redis 主从关系， 或许 MySQL DBA 由于某些原因切换了 MySQL 的主从， 主动化运维体系的元数据没有做对应更新，再履行指令时就会出问题， 乃至产生事端。

未来方案有两个方面：

1. 持续经过主动化运维体系来提高运维功率、 下降研制对运用运维的投入。

2. 做主动化物流作业体系的主动化运维， 管好其间的设备和软件服务。

赵玉开： 这次大会我会给咱们介绍下京东物流主动化运维渠道的技能架构， 并具体介绍主动化开仓、批量布置的技能细节。