华为云极速IO云硬盘让云存储进入微秒时代

2019-07-23 09:42 中华网

打印 放大 缩小

文/ 高端存储知识

Gartner在2018年Market Insight: Preparing for the SSD Rise and HDD Demise一文中指出:当闪存介质降到HDD每GB平均销售价格(ASP)的三倍时,闪存技术通常会出现一个拐点,会加速取代HDD。

因此,Gartner预测,2023年,所有的数据中心的10,000rpm的HDD几乎都被SSD代替。Gartner建议,现在就停止在数据中心环境中使用15,000 rpm和10,000 rpm HDD技术。

而另一方面,根据IDC的预测,2025年全球的数据圈将从2018年的33ZB狂涨到175ZB。

而这大量的数据都在公有云上。这个其实也容易理解,因为随着5G的普及,以后移动网络不再是瓶颈,所有的终端设备产生的数据将大部分保存在公有云上。

如此海量的数据要保存和处理,传统的存储架构肯定是不行的(不过公有云采用传统存储的本来就不多),分布式存储,甚至是All-Flash的分布式存储,将是未来公有云的主流存储架构。

正是看到这样的趋势,华为云顺势而发,在7月初发布了云存储All-Flash战略,并推出了全新一代极速IO云硬盘。极速IO云硬盘基于华为自研的芯片,采用大量针对Flash设计的原生算法,单盘可以达到100万IOPS,时延低至100微秒以下。

相比华为云原来提供的超高IO云硬盘,极速IO云硬盘的IOPS、带宽、时延方面都有巨大的提升——特别是时延,降低了90%,使得云盘从ms时代直接进入μs时代,就像使用本地SSD盘一样。

为什么有这么大的差异呢?其实,华为云极速IO云硬盘是引擎、架构、芯片、算法、AI等多项技术融合的成果。

华为云的智能数据底座包括五个部分:引擎、架构、芯片、算法和AI,也可以概括为“两个创新+三个加持”。“两个创新”为全新Flash-Native存储引擎和全栈架构创新,而“三个加持”则是全系列自研芯片、硬核数学算法以及AI。

全新Flash-Native存储引擎

采用Flash友好的数据布局,实现了智能全局FTL完成全局磨损均衡,可以智能控制垃圾数据回收,大幅度减少了SSD写放大,使得SSD寿命提升5倍以上,可靠性达到了11个9。

全新架构创新

全栈架构创新,实现了数据IO和控制的分离,通过芯片重构数据读写,软件实现智能调度,例如网卡可以直接写数据到SSD介质,无需CPU参与;可以利用专用的ASIC芯片进行数据的EC、压缩计算,这样原有软件消耗的60%的CPU可以通过网卡、ASIC来完成,大幅度提升了整个软件的性能。

全系列自研芯片加持

自研CPU:华为云存储充分发挥鲲鹏920系列芯片在多核、低功耗等方面的优势,实现了免锁多核调度和高并发性能和绿色节能。鲲鹏920芯片采用了7nm的制造工艺,在典型主频下,芯片的SPECint Benchmark评分超过930分,超出业界标杆25%,能效比优于业界标杆30%。鲲鹏920芯片主频可达2.6GHz,单芯片可支持64核。该芯片集成8通道DDR4,内存带宽超出业界主流46%;芯片集成100G RoCE以太网卡功能,支持PCIe4.0及CCIX接口,可提供640Gbps总带宽,单槽位接口速率为业界主流速率的两倍;

自研网卡:RDMA网络已经成为人工智能、科学计算等高性能计算、存储业务的必备技术,华为基于自研网卡突破大规模RDMA网络拥塞控制技术,支持1万+节点规模,同时大幅降低网络拥塞,长尾时延降低30%以上。

硬核算法加持

EC:云存储为了应对数据从PB级向EB级演进挑战,通过存储的核心数据冗余编码技术EC算法,可根据存储集群规模自动调整冗余策略,一方面相对副本写带宽大幅提升,同时优化数据重构下的带宽,相对传统三副本冗余方式整体带宽提升3X。

为了进一步提升数据存储效率,华为全面优化了压缩算法,可以根据不同的用户数据特征进行变长及数据差量压缩,数据压缩率相对传统算法提升3倍;

SSD LDPC算法:在华为SSD存储中,华为率先引入LDPC算法(Low Density Parity Check,低密度奇偶校验),并依托华为强大的算法团队持续优化LDPC算法能力和性能,达成业界最佳纠错能力,Flash寿命最高提升5倍。

AI加持

华为将人工智能技术融入分布式存储的全生命周期。

首先,华为云存储能够智能识别用户个性化的业务模型,进行自适应的AI调优;同时通过动态自适应QoS控制,减少多租户之间的干扰,保障租户SLA。

其次,根据业务模型和负载,智能预测性能趋势,并且根据用户提前配置的自动调整策略完成调整,免人工干预保障业务平稳。

另外,从云上大数据分析看,大部分性能波动是由于硬件故障引起的,通过AI故障预测能力,可以提前14天发现故障盘并完成自动隔离处理。

通过AI的加持,华为云可以实现对租户的IO模型和云存储系统运行状态的感知和匹配,系统可以自主调优和自我进化,让用户越用越快。

目前,华为云是业界为数不多有能力将多项技术进行整合与优化,从而提升整体服务水平的云服务提供商。其通过全栈技术能力,将所有环节进行协同与优化,最终为用户呈现出最佳的云服务。

从华为云宣传的指标来看,极速IO云硬盘非常不错,但是具体如何,还需要第三方测试一下。

至顶网评测实验室最近对华为极速IO云硬盘进行了全面的测试,我这里只选取他们测试MySQL数据库的情况。

在数据库应用测试中,至顶网选用Sysbench OLTP对华为云极速IO云硬盘与高速IO云硬盘的MySQL数据库同样进行了评测。

在测试过程中,至顶网设置了10张数据库表格,数据库的大小设置为10,000,000,测试时长为5分钟。

云极速IO云硬盘测试截图

从上面的SysbenchOLTP测试结果可以看出,华为云极速IO云硬盘MySQL数据库应用性能可以达到每秒2万,接近2.1万transactions(20938.99 per sec)的程度。每秒万次级别的数据库调用,基本上达到各大电商大促活动时的数据库调用强度。

云超高IO云硬盘测试截图

与华为云超高IO云硬盘数据库应用性能相比,极速IO云硬盘有一个数量级的性能提升。

鉴于华为云极速IO云硬盘的卓越性能,预计其在关系型数据库、NoSQL数据库、大数据+AI场景和云游戏及互联网应用将会被大量采用,大大提升最终用户的体验,让性能问题不再是上云的瓶颈。

也许大家都很关心,这么好的东西,到底贵不贵?我们是否负担得起?目前,华为云极速IO云硬盘还处于试用阶段,没有公布价格。不过,随着闪存价格的下降,应该会有一个较高的性价比。

感兴趣的朋友不妨先上华为云官网免费申请试用吧。

责任编辑:陈群(QT0001)