加入收藏 | 设为首页 | 会员中心 | 我要投稿 济源站长网 (https://www.0391zz.cn/)- 数据工具、数据仓库、行业智能、CDN、运营!
当前位置: 首页 > 站长资讯 > 传媒 > 正文

数字经济浪潮下UCloud新一代归档存储产品开启ZB级数据存储新时代

发布时间:2020-08-20 11:46:21 所属栏目:传媒 来源:网络整理
导读:至顶网计算频道 08月12日 新闻消息(文/李祥敬):数字经济浪潮下,各行各业都会产生大量数据。特别是5G、大型数据中心、大数据、工业互联网等新基建将带来更大的数据洪流,企业对于数据价值的关注度正在不断增加。根据IDC预计,全球年新增数据量2025年将
副标题[/!--empirenews.page--]

至顶网计算频道 08月12日 新闻消息(文/李祥敬):数字经济浪潮下,各行各业都会产生大量数据。特别是5G、大型数据中心、大数据、工业互联网等新基建将带来更大的数据洪流,企业对于数据价值的关注度正在不断增加。根据IDC预计,全球年新增数据量2025年将达到175ZB,我们将进入ZB级数据存储时代。

海量数据存储的需求下,企业也在面临着日益严峻的挑战,存储容量增大导致了企业的存储成本快速上升,数据流失和数据管理混乱的问题也逐渐被暴露。为此,UCloud正式发布新一代归档存储产品,在保证高可靠性的基础上,为用户提供了业界最低价格的归档存储解决方案,帮助更多企业存储数据资产,留住更多值得挖掘的数字财富。

存储分层趋势下的“冷数据”的热时代

根据研究机构调研,预计到2025年,全球数据总量将达到175ZB,但真正能够存储下来的数据仅有15ZB左右,将会有160ZB的数据流失,流失率超过91%。

UCloud优刻得存储平台研发总监吴斌炜告诉记者,数据本身是存在温度的,比如最热的实时图片、音视频数据通常会通过CDN分发,在短时间内被大量外部用户访问;操作日志、数据库备份的访问量则在数据生成时就不大。随着时间的推移,各类数据的访问量都会产生由热至温,由温至冷的转变。UCloud还针对存储在UFile对象存储中的各类文件,按不同种类进行请求次数的统计,形成公有云数据冷热示意图。

数字经济浪潮下UCloud新一代归档存储产品开启ZB级数据存储新时代

正是由于数据存在这样由热至冷的变化特征,企业通常使用超高性能的本地存储,结合计算节点本地内存、NVMe等新一代高速存储介质,来提升本地数据的处理效率;高性能IO型存储通常作为对外数据交换的渠道,能够适用于流媒体网站、大数据分析、移动应用、游戏等场景的数据读写;低频存储则可为各类物联网数据采集,业务日志等场景提供长期有效的存储空间,同时支持数据的实时访问;归档存储适合于长期合规性存储、医疗科学资料、备份等场景的使用,数据非实时读取,但能够降低存储成本。

“存储分层已然是大势所趋。在目前企业数据的冰山模型里,80%的数据量来源于冷数据,也正因如此,UCloud着眼于企业在云计算、人工智能、数据分析、归档、备份场景中产生的大量冷数据存储场景,致力为用户提供更优质的存储服务。”吴斌炜说。

全新自研存储架构,突破成本极限

我们知道归档存储相较于其他存储,最大的优势就是成本更低。UCloud新一代归档存储产品属于对象存储的大类下面,采用UCloud全新自研存储架构,相较标准存储降低近80%的存储成本,价格低至0.024元/GB/月,与市场同类归档存储产品相比降低近30%成本,为用户提供最低价格的归档存储解决方案。

UCloud优刻得存储平台资深研发工程师方然表示,基于云计算模式的数据存储是大势所趋。公有云上的存储成本主要由硬件成本及运营成本构成,硬件成本就是设备成本,而运营成本是存储服务上线运营期间的成本。所以,UCloud新一代归档存储产品也是从这两个方面进行创新,降低存储成本。

为了降低硬件成本,UCloud新一代归档存储在国内首次采用了西部数据的高密JBOD机型和SMR盘,并首次利用自研存储架构实现该技术落地,在保证长期数据持久存储的可靠性同时,大幅缩减存储成本,让客户能够保存更多有价值的历史数据;仅需要花原本标准存储20%的费用,企业就能够将大量数据进行长期的存档备份。

方然说,SMR盘全名为叠瓦式磁记录硬盘,相较于传统CMR磁盘,SMR磁盘最大的区别是,它的磁道是按Zone呈现的叠瓦式分布,这种分布带来的好处是可以更高密度的存储数据。与36盘传统机型相比,采用高密机型SMR盘后,单位机架的存储容量提升5.375倍,磁盘数量增加59%,单块磁盘存储空间提升150%。

UCloud在新一代归档存储中,基于多年公有云分布式存储经验积累,采用新一代自研归档存储架构,使产品可以兼容SMR、CMR盘、双活高可用、支持上下电的IO调度、EC的灵活配置和磁盘故障自动化发现;充分利用高密机型SMR盘的硬件优势,并采用自研架构降低硬件成本。

“在我们的全新归档存储架构中,我们的存储层对下屏蔽了具体的磁盘种类,封装成了以Zone为单位的存储结构,对外展示为我们的Blob层,提供以Blob为单位的创建、删除,追加写、随机读等操作。并且支持灵活的EC配比,支持磁盘上下电的IO调度系统,支持磁盘故障的自动化发现并以Zone为单位进行修复。通过这一套归档存储框架,我们可以充分利用前面说到的高密机型SMR盘等硬件设备,在硬件成本中提升存储成本的占比。”方然说。

在降低硬件成本的基础上,UCloud新一代归档存储,采用软硬件协同的理念,降低运营成本。在运营成本中,设备电费占大头。结合硬件的选型,UCloud新一代归档存储在软件层面上,自主研发了一套磁盘上下电调度系统,可以保障磁盘寿命的同时,极大降低电费成本,使磁盘能耗降低近90%, 在纯写入场景下,耗能磁盘块数为原有的5%。

UCloud在设计IO调度算法的时候,主要考虑以下两个方面:一个是磁盘本身对于上下电行为的寿命,保证磁盘在其寿命范围内上下电的频率不超过一定的数量;另外一个就是在目前这种超高密度的架构下,系统的最优网络存储配比,充分发挥所有的硬件性能能力而不会受到IO调度的影响。

在可靠性方面,UCloud新一代归档存储实现了存储节点双机头可见,在发生故障时,可以快速自动切换;通过采用大比例可灵活配置的EC,提高存储利用率150%;通过硬件加速,使EC计算相较于传统的纯软件计算,提升4-5倍吞吐。新一代归档存储还实现了全链路的CRC校验,来全面保障用户数据的安全性。

数字经济浪潮下UCloud新一代归档存储产品开启ZB级数据存储新时代

方然表示,UCloud新一代归档存储在协议支持方面进行了兼容,与企业的业务系统进行适配,方便企业将数据进行迁移备份。总之,UCloud新一代归档存储产品保证99.9%以上可的用性冗余策略,与标准存储相同的99.999999999%数据持久性,但是0.024元/GB/月相较标准存储降低近80%的存储成本,突破价格极限,为客户达到极致成本的追求以及数据可靠性的保障。

面向未来的三大类数据、九大应用场景

(编辑:济源站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

推荐文章
    热点阅读