将AI打造成服务 英特尔与金山云如何软硬协作

出乎意料，在金山云携手英特尔推出的“AI as a Service”新解决方案中，提供硬件平台的，不是英特尔而是金山云；负责软件优化的，也不是金山云却是英特尔。

造成这样“软硬角色”固化的，是赛扬、酷睿、至强等一系列硬件产品的强大，使我们未曾注意到，原来英特尔有一个超过15000人的软件工程师团队。同样，对并不了解云计算市场的人士，金山也只是一家软件公司而已。殊不知，其集团旗下的金山云，早已跻身中国公有云市场前三甲。

从云计算的发展成熟到如今AI兴起，金山云与英特尔一直保持着紧密合作。面对当下企业的“AI应用热、AI应用难”现象，双方则通过将IaaS层的基础设施与优化版的TensorFlow和Caffe框架组合，提供了“AI as a Service”新型有效的解决方案，不仅有效提高了运行效率，还在升级服务的同时降低成本，实现资源的优化配置。而AI as a Service新解决方案的出现也绝非偶然……

千变万化的市场需求

毫无疑问，人工智能的火热，使得企业要么已经部署了AI，要么在赶往AI的部署之路上，英特尔与金山云也不断从各自擅长的层面满足着企业日益增长的AI需求。

从至强E5系列到至强可扩展再到最新的二代至强可扩展处理器，英特尔所提供的数据中心级处理器除主频、核数的提高外，同时引入AVX-512、VNNI加速指令集、DAAL、nGraph等库组件或编译器，从软件角度提升深度学习、机器学习等高密度计算负载时所需的单精度浮点数能力。

金山云则借助这些不断升级的数据中心级处理器，与内存、网络等模块适配、结合、优化，提升整体架构的稳定性及性能，为用户提供更加适用AI场景的云主机平台。

此外，在AI场景上，英特尔所做的软件工作，除对底层指令集、库组件及编译器的优化外，同时也优化了对TensorFlow、Caffe、MXNet等深度学习开源框架的支持，通过借助MKL-DNN核心数学加速库技术，充分调用AVX-512指令集，以支持该场景下较为普遍的计算机视觉、语音识别、自然语言处理等应用。

不难发现，从底层云平台设施到开源框架优化，金山云与英特尔其实已为AI场景提供了有效支撑，但在“AI as a Service”新解决方案推出之前，这一系列工作却没能完全满足用户日益多样化的需求。

从用户角度而言，尽管各行各业大大小小的公司都在应用AI，但即便是互联网公司，在部署金山云的硬件平台后，由于并不具备相应的深度框架优化能力，平台的性能并不能得到充分发挥。据英特尔相关技术人员介绍，“我们此前也遇到过一些互联网公司，做人脸识别，虽然也是在至强可扩展处理上作部署，用了Caffe，但实际获得的性能并不理想”。“而基于我们与金山云长期在业务上实际的交流以及针对实际案例做调优积累的经验，我们可以合力帮助客户在金山云的云主机上针对深度学习的框架进行创新与调优。”

而这，也是困扰金山云的问题。“客户以前买我们的云主机拿去做计算，会反映CPU使用没有达到预期，但再怎么加压也跑不上去了，继而直观判断整个云主机的处理能力已经达到上限了”，金山云计算研发总监杨峰说。在这样的情况下，企业若想完成整个模型的学习或训练，只能部署更多的机器，或者，寻求英特尔提供框架优化上的帮助。

对英特尔而言，由于金山云客户众多，针对每一个客户安装优化过的TensorFlow和Caffe，对其技术人员也是一项挑战。

1+1>2的“黄金”解决方案

“既然金山云有主机，英特尔有优化过的开源框架，何不将这些优化预置在云主机上，做一套固定的实例解决用户的问题呢？”英特尔提出。这一方案很快被金山云认可，双方一拍即合。这，便是“AI as a Service”新解决方案。

在实质上，英特尔与金山云将该方案定位为IaaS增强型服务。相比传统IaaS，该方案在计算、内存、网络基础设施上增加了框架层，同时又没有PaaS层过多的API、SDK接口封装。这使得企业在做AI应用时无需关注底层设施与框架的部署，将更多资源、精力投入业务场景，同时可在优化好的TensorFlow和Caffe上根据自身需求灵活开发。

而这样的解决方案，使得企业AI应用的性能、成本、效率及体验获得全方位提升。这样带来的效果则是：业务处理性能并非简单的线性增长，而是2倍、3倍，甚至10倍、20倍的提升。 “这意味着跑相同模型，此前可能需要10台、20台主机才能完成的工作，在同样的时间下仅需要1台即可，性能的大幅提升自然意味着成本的缩减。”

测试一：TensorFlow性能对比测试

测试二： Caffe性能对比测试

同时，对于高并发的模型训练及要求实时性的互联网、金融等两类典型AI业务，金山云与英特尔携手打造的“AI as a Service”新解决方案也可满足相应的效率、时延需求。

未来不止于此

未来，英特尔的软件优化团队将通过更多Deep Learning Boost指令集、Intel Nauta系统方案等策略，以全栈式的软件优化加速AI应用。金山云继续以第一时间适配英特尔至强可拓展系列处理器、傲腾数据中心级持久内存等硬件，打造性能、成本、稳定性兼顾的AI应用平台。双方将以硬件平台的不断升级适配与软件层的不断优化，助力AI由兴起走向成熟。

注：

测试一测试二均基于金山云N3实例上，使用三台VM：

VM1（蓝色）：24vCPU，安装默认版本的TensorFLow和Caffe；

VM2（橙色）：24vCPU，安装优化版本的TensorFLow和Caffe；

VM3（灰色）：16vCPU，安装优化版本的TensorFLow和Caffe。

在测试一中，针对三个不同配置的VM，分别运行以下4个测试case：

（1）运行batch size为1的resnet50 inference

（2）运行batch size为1的inception3 inference

（3）运行batch size为1的ssd_mobilenet inference

（4）运行batch size为256的wide_deep 测试，测试基于 movielens-1M数据集

在测试二中，针对三个不同配置的VM，分别运行以下4个测试case：

（1）运行batch size为1的resnet50前向传播测试

（2）运行batch size为1的inception3前向传播测试

（3）运行batch size为1的ssd-mobilenet前向传播测试

（4）运行batch size为1的resnext50前向传播测试

（编辑：济源站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!