阿里云存储发布新引擎应对数据爆炸时代

发布时间:2019-07-10

阅读量:1233

阿里云宣布推出新一代高性能企业级存储产品家族,并对分布式存储引擎进行了全面升级。后者包括块存储、对象存储在内的云存储家族,混合云存储阵列、混合云容灾的混合云存储服务,以及高性能分布式专有存储方案。

升级具体应用在性能、可靠性、成本、自动化运维等方面,最终实现在底层提供微秒级延迟与百亿级IOPS(Input/Output Operations Per Second,即每秒进行读写操作的次数,多用于数据库等场合,衡量随机访问的性能)。基于全新一代分布式引擎,相比上一代整体IOPS性能提升50%,并新增ESSD云盘、极速型OSS、NAS Plus等新品。互联网的应用、电商、支付宝,以及万物互联,促进整个数据大爆炸,加快数据采集速度。这对于存储行业人士来讲,既是机遇也是挑战。数据爆炸时代,存储系统应该如何应对挑战?

       阿里云组建团队,探索通过存储系统满足阿里集团内部业务,包括虚拟机、阿里金融、邮箱搜索等。2009年阿里云团队开始创建分布式存储1.0,主要面对阿里集团内部挑战,提供虚拟机存储服务。据雷锋网了解,随着技术演进与业务扩大,2015年,阿里云存储引擎在五千台机器基础上进行升级,支持五千台机器存储集成,并首次在377秒过程中完成100TB的数据排序。

2016年,阿里云将存储规模和存储系统进行升级,支持1万台机器的存储规模。2018年,阿里云即将发布分布式存储引擎2.0,内部代号盘古2.0,其出发点就是面向人工智能、面向新一代的存储应用场景,构建下一代存储引擎。

新一代阿里云存储引擎,要打造世界上最全的存储产品系列,包括对象、文件、块、表格等各种存储格式,且每个存储阵列里都有不同忠烈,形成完全的产品矩阵,“这是第一条公有云产品矩阵。”其次,阿里云也在打造混合云产品线——即如何把线下存储和线上存储连很好地衔接起来。第三条产品线,就是阿里云专有云与企业存储——做到将云上分布式存储能力,输入到用户自己的数据中心内。

       安全对于阿里云来讲,是始终坚持的最重要功能——多层次、全链路、全方位的安全。即从整体安全机制来看,阿里云提供业务安全、安全运营、数据安全、网络安全、应用安全、主机安全和帐户安全,以及底层数据中心安全。

第一,不需要改动任何的代码就可以上云,就是说应用通过网络文件系统提供网络文件系统,就可以让你的代码不需要做任何的改动就可以上云。第二,完全的脱管服务,也就是说你不需要自己来看容量的规划,或者你需要扩容你也不需要做操作系统,要找到安全的等,安全运维方面工作都可以省掉,也不需要去做备份我们有一套备份的系统能够把你数据做备份。第三,开通方便,Jason表示,数据爆发时代,云存储标准除了上文所提的4V之外,易用性是普惠最重要的一点。

今天的云计算发展。包括云存储。面临各种各样新企业、新金融、新零售、新制造、人工智能、生命科学等挑战,这些应用与场景给云计算带来广泛的需求,包括低延时需求,在光谱情景范围内各种不同需求等。据雷锋网了解,正是在这样的情况下,阿里云存储提供各种不同存储抽象,比如数据库、块存储、对象存储、表格存储、人工智能、数据处理、抽象处理等,为不同行业提供广谱动力,来驱动业务的发展。

阿里云存储2.0引擎(内部代号“盘古2.0”)也是为这规模而生的,引进分布式原数据管理,使得可以轻松支持万亿级别文件,也可以轻松支持大量的小文件实现第一分布式原数据管理。同时实现更好的弹性部署,形成巨大的存储池,将不同存储介质、不同的情形组合在一块,形成一千PB、也就是亿B级别的存储容量出来。

阿里云存储2.0引擎也是分层结构——内部有单机存储层,中间是分布式存储系统,在上面做了一些文件接口的抽象,比如数据库的文件系统、快存储的文件系统、大数据的文件系统、Logfile文件接口等。再底下还有多个机房,在机房里装有高速网络互联,在这样一个架构里面可以使多个机房里的数据管理起来像一台机器一样,便捷地提供巨大的存储池给上面的应用。

具体升级包括两部分:一个是硬件升级里,引入当下最快的AVMVSD,也引入存储级别的内存MVDE,同时对网络也进行了升级,使之也具备RDMA能力。二是存储系统的升级,就是软件系统升级。软硬结合促使性能稳定、整体能力达到一个世界第一的水准。性能表现方面,以ESSD超高性能云盘为例,其可提供单盘高达100万的随机读写能力,相比SSD云盘提升了50倍,是阿里云迄今为止性能最强的企业级块存储服务,但售价不变,每GB每月仅需1元。

除了性能之外,线上线下的灵活拓展能力也变得越来越重要,数据在线产生的价值已经成为了主流。阿里云存储产品总监许呙兢表示,线上线下存储的边界正在消失,阿里云要做的是在任何地方、以任何形式向不同企业提供高效的存储解决方案。

阿里云已形成了一整套涵盖公共云、混合云、专有云在内的全线企业级高性能存储产品线,并且提供在线和离线数据搬迁服务。此前,阿里云与国家天文台合作,共同开展天文科学大数据研究。截至目前,国家天文台将3.5亿颗恒星的数据存储在阿里云OSS上,用于计算、分析,并向公众开放。