布景
background
在微服务的概念盛行之前，API网关就现已存在了，开始是作为敞开渠道，面向协作伙伴供给OpenApi。跟着后来微服务的盛行，API网关作为体系鸿沟，将一切的服务集合在一起，是一致的进口，这就要求API网关能够满意不同类型运用、不同场景的需求；在技术上，也面临着可用性、灵活性、安全性等不同的应战。
跟着中通内部运用的很多开发，越来越多的事务体系需求能够快速开发接入，并且要确保安全安稳。所以咱们决议选用网关来署理后端服务，一起抽取一致管控服务的流控、鉴权、负载均衡等等，现在市面上现已存在一些开源的网关体系，比方Spring Cloud、Kong等等，因为现在体系中现已存在很多的dubbo服务，所以咱们决议经过自研网关来完成网关的通用功用以及一些定制化的开发。
运用场景
在中通，网关主要有以下几种运用场景：
1. 面向第三方协作渠道：
咱们将内部的下单、物流查询等接口经过API网关供给给商家、协作伙伴调用；
3. 面向WEB运用：
一般在前后端别离的场景下运用，后端开发人员开发服务经过API网关露出给前端。
4. 跨言语服务调用：
中通内部存在多种言语并存的状况，有跨言语调用的状况。
架构与规划
Architecture and Design
规划方针
1. 动态装备：
能够动态新增API；
2. 弹性化：
动态限流与熔断，协助后端抵御流量顶峰；
3. 安全性：
满意不同场景下的鉴权、安全需求；
4. 无状况：
更好的支撑横向扩展；
5. 高可用：
网关作为体系内的单点，有必要做到高可用。
以下是中心功用结构图
特色与优势
1. 安全性：
网关可为开发者供给多种授权拜访API的方法，然后来消除后端代码的授权问题。网关现在支撑中天SSO、签名、时刻戳、JWT等验证方法。
2. 弹性：
网关可协助开发人员约束API的并发数和每秒最大恳求数，然后让后端操作能够抵御流量顶峰。还能够经过缓存 API 调用的输出来防止每次都调用后端，然后提高功用，并缩短终端用户遇到的推迟。
3. 生命周期办理：
在发布了 API 之后，开发人员可能会需求构建和测验增强现有功用或添加新功用的新版别。API 网关 支撑能够一起操作修正每个API 版别，以便在发布新 API 版别之后，现有运用能够持续调用从前的版别。Api网关还支撑自界说切换版别的规矩以便线上灰度测验。
4. 协议转化：
网关供给将Dubbo服务转为HTTP协议接口的功用；网关还供给将恳求数据投递到用户指定MQ的功用以满意低推迟的需求。
5. 操作监控：
当 API 发布并处于运用状况后，网关会为开发者供给目标操控面板，监控对服务的调用状况。包括了 API 调用次数、推迟数据和错误率。你还能够在kibana中指定关键词查找某次调用，也能够经过kibana来自界说计算API的调用状况。
6. 专为开发者规划：
7. 节省时刻：
网关供给完善的API文档、调用调试、Mock等功用，开发人员无需自己编写接口文档。
分层完成
中通网关在逻辑上分为四层
1. 接入层，担任恳求参数的解析
2. 拦截器层，担任完成网关鉴权、灰度、限流等中心功用
3. 映射层，担任将恳求参数映射转化为后端服务所需求的参数
4. 调用层，担任将转化后的参数调用后端服务的功用
高可用
网关作为一个单点，一旦产生毛病是灾难性的，咱们选用了以下的规划来添加保证网关的高可用性：
1. 限流与熔断：
咱们给API供给了不同维度的限流，依据用户和API的维度，能够对每个用户每分钟（每小时、每天）的调用量做约束，也能够对每个API的并发数量做约束。 在任何分布式环境里，毛病是难以防止的，咱们常常遇到后端服务反常或许超时的状况，这时咱们经过引进hystrix来阻隔API，使得一个API呈现毛病时，不会连累API网关形成整个API网关毛病。又因为咱们一个API网关包含了几百个API，假如运用线程池的方法，线程会过多，所以咱们选用信号量的方法。咱们经过apollo装备中心对hystrix的装备进行办理，使得hystrix装备能够被动态修正。
2. 线程阻隔：
咱们将耗时较长的API阻隔开来，放入独自的线程池中履行，当其呈现超时或许其他反常时，不会影响其他API的调用。
3. HTTP服务的负载均衡：
因为dubbo自带了负载均衡战略，所以咱们对http服务做了负载均衡。现在咱们对http服务供给了两种战略，一种是一般的轮循，一种是能够感知服务节点状况的轮循，咱们参阅了netflix ribbon的规划，会定时的拜访http服务，假如服务不可用，则将其从可用列表中移除，假如可用，则将其添加到可用列表中去。
4.
弱依靠第三方服务：咱们对一切的API装备、以及Session信息做了本地缓存，在数据库、Redis呈现反常时也不影响接口的拜访，由此来下降因第三方服务、中间件不安稳导致的网关毛病
网关模块
1. Gateway Web：
网关API进口；
2. Gateway Portal：
一致的办理界面，开发人员能够在此创立装备API。
日志与反常
为了让后端开发人员能便利的查询API调用日志，咱们将API调用的参数、耗时、反常等打印到logback，经过logkit收集到kafka，然后消费收集到elasticsearch，经过kibana对日志进行查询和展现。除此之外，咱们还定时的对日志进行不同维度的计算（调用量、错误率等），在操控台中展现查询。
WEB运用SSO插件
这套处理方案有以下的功用：
1. 一致交互前后端交互规范；
3. 供给一致的数据签名、是非名单、防刷等安全防护；
4. Apicenter供给一致的文档生成、模仿调用、数据mock功用；
5. 供给前端规划器，经过拖拽组件创立前端页面。
下图是接入Web运用接入网关之前与接入之后的状况：
接入之前：
接入之后：
技术细节
全异步化
同步调用受限于线程数量，而线程资源名贵，在 API 网关这类高并发运用场景下，必定份额的 API 超时就会让一切调用的 RT 升高，异步化的引进完全的阻隔 API 之间的影响。网关在 Servlet 线程在进行完 API 调用前置校验后，运用Dubbo和AsyncHttpclient 建议长途服务调用，并完毕和回收到该线程
1. 运用异步Servlet
2. 运用异步Dubbo
3. 运用异步HTTP库（AsyncHttpclient）
灰度
原理
网关支撑同一个API有多个版别，在API被调用时，灰度操控相关的拦截器会在后端服务被调用前履行脚本，依据履行成果确认版别。 为了便利开发人员编写，咱们支撑js和groovy两种言语的脚本。
运用场景
遇到的问题
problem
dubbo初始化导致heap溢出
没有供给者的Dubbo服务不能不断的初始化，咱们有一次线上好几个节点一起呈现了毛病，排查出来是dubbo服务不断的初始化形成的内存溢出。是因为线上一个Dubbo服务下线了，可是网关的API没有下线，并且调用方也没有中止调用，就导致这个dubbo服务一向不断的初始化。咱们先将API下线，并调整了同一个服务两次初始化的间隔时刻暂时处理了这个问题。
后端服务超时导致网关堵塞
因为servlet默许是堵塞式调用，后端服务很多超时，导致网关线程被占用无法开释，无法接纳新的恳求，经过异步Servlet和多级线程池的方法，阻隔后端服务对网关形成的影响
总结
summary
网关在中通现状
中通的API网关现在服务了内部的很多体系——掌中通、掌上神州、网投体系等，现在日均调用量到达13亿，峰值调用约3万qps。
未来的展望
1. 未来网关将会作为中台处理方案的一员，运用于中通的各种体系，不管是移动端仍是浏览器Web端，都有网关的身影；
2. 网关将会供给一系列SDK东西，包括API的创立，文档的生成与检查，服务的Mock与测验等，为开发人员供给便利的服务。
