京东云有一套高效的调度系统也叫阿基米德

京东云有一套高效的调度系统也叫阿基米德神探联盟第二季,胡紫微,360图书馆个人图书馆, 阿基米德曾说过：“给我一个支点，我就能撬起整个地球。”在京东云，阿基米德是一套高效 的调度系统，这套系统调度着全球最大规模Docker集群、最大规模Kubernetes集群。 京东拥有超过900万S

阿基米德曾说过：“给我一个支点，我就能撬起整个地球。”在京东云，阿基米德是一套高效 的调度系统，这套系统调度着全球最大规模Docker集群、最大规模Kubernetes集群。

京东拥有超过900万SKU的自营商品，京东物流为5.9万家企业客户提供一体化供应链服务，仅2021京东618期间，累计下单超过3438亿元，窥一斑而见全豹，能够调配如此庞大规模业务背后的系统，其背后的应用数量和复杂程度可想而知。简单的调度分配资源算法已经无法满足复杂的调度需求，阿基米德调度系统应运而生。

目前，阿基米德调度系统已经全面接管京东的应用资源调度，每日调度百万台容器实例运转，服务履约率达到98.3%。2021年京东618，京东云在支撑京东全线业务正常运行下，超大规模集群的CPU资源利用率提升3倍，单位订单资源成本下降30%，内存平均使用率提升57%，交付效率提升150%......

撬动数据中心的支点

在行业首个混合云操作系统京东云云舰中，阿基米德作为核心调度系统，是资源交付的基石，负责整个京东数据中心的资源调度，是撬动整个数据中心的支点。

举例最直观的的感知：京东的电商场景中，购物车、订单、详情等，涉及到的每一台容器分布，包括容器编排、单机计算资源、内存资源，均由阿基米德分配和调度，特别是618、11.11的超大流量场景下，少数容器编排错误都有可能给业务带来致命影响，调度器需负责把控峰值时每一台容器计算的质量，其重要性可想而知。

经历京东体系复杂场景的多年磨练，阿基米德可实现最优的集群全局调度、最优的一次作业调度，不仅能确保全局资源编排和成本最优、资源运行最稳定，还能在集群内选择最合适的宿主机，以最佳的资源使用、最少的相互干扰（如 CPU 分布、IO 争抢），来运行提交的计算作业。

五大技术支撑，成就领先调度能力

1、基于预测的智能调度

阿基米德在核心功能——调度方面，利用机器学习、深度学习智能算法，对应用的资源使用情况进行画像统计，并对应用的未来资源使用情况进行预测，以对应用进行合理部署，实现资源的优化调度。

具体来看，阿基米德采用强化机器学习算法，可根据应用的历史数据，提取其资源使用的特征，进而将不同的应用进行归类，形成应用画像。综合应用标签和批处理任务的描述，对未来一段时间的任务调度进行提前规划，使得业务能够正常运行的同时，资源得到充分的利用，有效防止了批处理任务与长期服务的资源竞争。

阿基米德的智能调度可以成倍提升资源利用率成倍提升，极大降低企业采购成本，以今年618为例，阿基米德调度实现CPU利用率3倍的提升。

2、精准驱逐与碎片整理

资源碎片在几乎每台服务器上都有发生，不同批次采购的服务器规格性能不同，服务器上的CPU或者内存配额没有同时分配完，就会出现资源碎片。

同时在长期服务中，特别是面向用户的任务，会出现明显的高峰低谷，而且不同长期服务的资源消耗也不同，因此集群中的时空资源利用率不均是常态。

针对资源碎片和时空分布不均问题造成的资源浪费，阿基米德采用批处理任务进行统一填充式调度，完成资源碎片的充分利用、资源的时空复用，保障长期服务稳定存在，以及低频度迁移。同时阿基米德会时刻保持一定的资源储备，应对突发流量的资源需求。

3、调度器仿真系统及回放

为充分模拟真实事件状况和实际操作过程，阿基米德支持通过模拟器+线上数据回放，对调度请求进行仿真模拟，形成新的数据建模，并优化调度方案，为智能调度提供更优方案。

以最小成本、最快速度，阿基米德可分三步完成1：1机器资源和请求要求的调度需求模拟，培养真实复杂场景的调度能力。

仿真剧本管理模块：用以采集清洗线上真实数据，生成仿真剧本，并可以支持纯模拟剧本生成。

仿真调度模拟模块：将仿真数据灌入，经过调度算法调度，模拟调度过程，最终生成调度结果。

调度算法评测模块：对调度过程和结果进行监测和评测，并通过可视化图表对调度过程进行展示。

4、离在线混合部署

伴随京东购物节规模指数级增长，添置服务器成为浩资巨大的烧钱工程。高出日常峰值的机器过后闲置，又不可避免地造成资源浪费。

阿基米德支持将延迟不敏感的离线计算任务和延迟敏感的在线服务，部署到同一集群上运行，让在线服务的空闲资源充分被离线计算任务所使用，在线业务、离线业务共享混合云操作系统云舰的资源池。

通过应用分级、DiskIO限速、Job调度管理、Pod流量限速等方式，阿基米德可保证离线业务不会影响在线业务，提高资源利用率。

5、多样化IP地址管理

通过用户annotation配置，阿基米德可实现多应用场景的IP地址管理，包括IP地址随机分配，用户指定pod IP地址，用户应用分组内IP保留和用户自定义私有IP池等。

复杂场景实践，数智化基础设施降本增效

在零售行业，针对离在线任务的不同运行需求（在线任务资源占用少、响应要求快，离线任务占用资源大、响应要求慢），阿基米德混合部署两个集群，把不同类型的任务调度到相同的物理资源上，借助智能调度及资源隔离等方式保障SLO（服务等级目标service level objective），极大降低成本。

在金融行业，尤其是支付场景，阿基米德让各种配置不同的设施能够在交易高峰期，以秒级速度将在线服务器的各种软件、应用转移到离线服务器中，极大提升资源利用率。

在互联网行业，经常出现流量高并发的业务场景，阿基米德通过冷热节点混部方式，充分释放冷节点CPU利用率，有效满足日志等数据处理需求。遇到购物节这类单量爆涨的场景，也可以通过K8S管理与调度充足计算资源支持，保证每一单平稳顺畅。

不止于资源调度，阿基米德在绿色节能方面也有卓越表现。

通常而言，机房的电力消耗主要是制冷为 CPU 降温。阿基米德会根据应用标签与调度规划，对于服务器 CPU 的主频进行相应调整，以达到节能降耗的作用，在多个核心机房进行的大规模实践中，已取得了降低能耗降低 17% 的成果。

经过多年京东业务实践，阿基米德调度系统已在大规模超复杂场景中，实现了常态化应用，并通过混合云操作系统云舰对外开放，让更多产业客户用更低的成本获得更强的计算能力，持续提升客户的数智基础设施效率。

未来，阿基米德调度系统将进一步推动优化调度算法，提升调度的准确性，在整合计算、提升效率、节能降耗方面进行更多的实践，并把更多的业务一线的调度数据和模型与业界分享。

月夜梦幻曲,西部金属材料股份有限公司,淘宝网淘宝网, http://www.xinzhiliao.com/zx/jinji/34002.html