让超算再升级的存储系统，华为凭何？
发布时间：2021-11-06 19:12:26 所属栏目：系统 来源：互联网
导读：世界上第一台计算机叫什么？很多人可以不假思索地回答埃尼阿克 (ENIAC)。 那么，埃尼阿克 最初被用来干什么呢？少有人知道，1946年，埃尼阿克 是为了解决弹道计算问题而生，宾夕法尼亚大学花费40万美元巨资才研制出埃尼阿克 ，当时的计算机是一种战略物资。
|
世界上第一台计算机叫什么？很多人可以不假思索地回答——“埃尼阿克” (ENIAC)。
那么，“埃尼阿克” 最初被用来干什么呢？少有人知道，1946年，“埃尼阿克” 是为了解决弹道计算问题而生，宾夕法尼亚大学花费40万美元巨资才研制出“埃尼阿克” ，当时的计算机是一种战略物资。
在很长一段时间后，个人PC的普及才让计算机逐渐进入大众视野，IBM和Apple都是第一代家用电脑厂商，而计算机作为战略物资的属性以另一种名字保留了下来，也就是 HPC (High Performance Computing，高性能计算)。
HPC成为计算机科学的一个分支，使用超级计算机和并行处理技术解决复杂计算问题，主要瞄准大规模科学问题的计算和海量数据的处理，如科学研究、气象预报、计算模拟、CFD/CAE、生物制药、基因测序、图像处理等等。每年的全球HPC Top 500高性能计算机排行榜都备受瞩目。
近年来，大数据和AI等新兴应用催生 HPC 发生另一种变化，不同于上世纪计算机的向下平民化， HPC 向上拥抱更为复杂的业务负载，使得传统HPC开始向 HPDA (High Performance Data Analytics)方向演进。
在2021年华为全联接大会上，华为常务董事、ICT产品与解决方案总裁汪涛介绍了数字基础设施七大创新与客户实践，其中业界首个面向HPDA的分布式存储OceanStor Pacific引起热议，何谓高性能数据分析HPDA，HPDA又需要什么样的分布式存储？不妨一观。
HPDA：从数据中攫取价值
我们手中智能手机的算力，远超NASA在1969年登月计划中最先进计算机的算力，但相较于手机，HPC所要解决业务的复杂水平，也呈现指数级发展，一大变化就是数据的爆炸式增长，使得原有HPC架构的存储不堪其重。
传统HPC主要从仿真物理模型中计算价值，需求是无与伦比的大算力，而HPDA泛指利用HPC资源的数据密集型负载，典型特点是数据量大、时效性强以及算法复杂，从数据本身提取价值，两者业务逻辑不同，导致存储需求不同。
例如地震勘探从二维向三维的演进中，数据量增加了5-10倍；电影渲染从2K升级到8K的革命中，数据量增长16倍；卫星测绘领域，探测精准度由20米缩小到2米，数据量同比增长70倍。海量的数据，需要高性能的存储，这是HPC向HPDA演进要解决的根本性问题。
传统HPC的存储主要用来文件共享、Scratch和归档，AI业务负载则涉及到数据收集、输入、清洗、训练、推理和归档一系列复杂操作，原有存储系统并不是为这种存储工作流程而设计的，自然也就无法很好满足新存储的需求。
在关键性能要求上，传统HPC负载通常基于顺序大I/O型，AI业务负载需要顺序大和随机小I/O型的混合，用于AI训练的数据存取需要快速的随机小I/O型。
应用场景的变化催生了各种耐用性和弹性解决方案需求。例如归档需要极具高性价比的解决方案，没有苛刻的性能要求；传统的临时应用需要将临时结果转移到持久存储，需要高性能以防止出现故障；HPDA 解决方案需要混合存储需求同时满足高性能、瞬态存储和持久弹性存储的不同要求。
此外，当存储系统变得复杂化，内部多种协议发展为另一种壁垒，不同数据采用不同的访问方式，每种访问方式都需要独特的协议支持，横亘在业务负载中消耗通信时间和计算资源。
据IDC统计，全球67%的高性能计算中心（HPC）已经在使用AI、大数据相关技术，HPC与AI、大数据加速融合，如何从海量数据中更高效、更经济地释放更大的数据价值，成为迫切诉求，存储系统的改变至关重要
找寻HPDA存储新的平衡点
HPDA推动了存储架构的改变，从而匹配新业务负载的同步、空间分布式计算和存储需求，矛盾聚焦于不同 I/O 模型、支持多协议访问、各种数据访问频率、高密度高效设计等方面，归根究底是找寻存储性能、成本和效率新的平衡点。
OceanStor Pacific存储新品于2021华为全联接发布
华为发布了Huawei OceanStor Pacific 9950、Huawei OceanStor Pacific 9550两款新品，华为OceanStor Pacific系列高性能分布式存储，就是为打破HPC产业三重壁垒量身打造的HPDA存储系统。
第一重壁垒是高性能，HPC在不同流程阶段面临带宽型、OPS型业务负载需求，HPDA场景下这一情况会更加常态化，传统存储仅支持单一负载模型，形成了性能孤岛，使得流程间的数据需要在不同存储间迁移，降低了整体流程效率。
华为技术专家夏飞博士介绍，华为OceanStor Pacific系列存储搭载新一代分布式文件系统，一套存储即可实现2倍大文件高带宽，5倍小文件高IOPS性能，大大提高性能水平，同时该文件系统也能支持多种业务负载，既能兼顾客户原有的常规业务，也能很好适配企业对大数据和AI等新业务的探索，实现面向混合负载的全场景加速。
第二重壁垒是多协议无损互通，在以自动驾驶为代表的HPDA场景中，不同的流程阶段可能用到文件、大数据、对象多种服务，如何实现流程的高效数据访问成为用户面临的一大挑战。
华为OceanStor Pacific系列存储能够匹配多样化算力需求，一套系统支持多种协议，实现数据互通，减少中间环节，并且资源统一管理和运维，支撑业务敏捷响应。
第三重壁垒是大容量，随着HPDA的快速发展，海量数据的价值被进一步挖掘，用户愿意更长更久地保留数据，这对机房空间、功耗、存储成本都提出了新的挑战。
基于这种挑战，华为OceanStor Pacific全新推出了系列化超高密硬件，支持不同硬件间的数据自动分级，单位空间容量提升20%，全面降低HPC场景的存储成本。华为OceanStor Pacific系列高密大容量产品在5U空间里支持120个 3.5寸硬盘，通过高密实现60%以上的机柜空间节省，让海量数据不再成为负担。 （编辑：济源站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
