计算机世界
2021年是开放计算项目(OCP)诞生的10周年。
熟悉IT行业的人都知道,数字经济的发展离不开云计算、移动互联网等信息技术带来的低成本、高资源利用率的优势,而这背后离不开数据中心集中化、规模化的支撑。但与此同时,IT基础架构在性能、功耗、部署、管理等方面遇到的挑战也越来越多,数据中心基础架构的重构和升级已经迫在眉睫,而开放计算项目就是在这个背景下诞生的。
2009年,Facebook开始致力于打造全世界最节能的数据中心,以尽可能低的成本实现超大规模的计算能力。通过自行设计数据中心IT设备,到2011年,Facebook的数据中心实现了38%的节能效率提升,并降了24%的运营支出。随后,Facebook联合多家企业共同发起开放计算项目,希望建立起类似开源软件生态系统的协作模式,应用于硬件系统开发的全生命周期。
在此后的十年中,越来越多的公司加入到开放计算生态中,他们通过协作、互动、创意、规范和知识产权共享,一起推动绿色高效数据中心的建设,引导IT产业走向集约、高效、绿色、节能的道路。
目前,开放计算项目的社区成员已经扩展到200多家,包括数据中心设备供应商、云服务商、电信运营商、大企业、IDC供应商、系统集成商以及半导体制造商等等。研究领域也从最初的数据中心基础设施扩展到5G、边缘计算、人工智能等新兴技术和应用。
据IDC预测,开放计算基础设施的市场规模将在未来5年内保持16.6%的年复合增长率,并在2024年达到338亿美元。
企业级存储面临挑战
计算离不开数据,而数据离不开存储,那么什么样的存储架构才符合开放计算的发展趋势呢?在近日举行的第三届开放计算中国社区技术峰会上,西部数据公司副总裁兼中国区业务总经理刘钢分享了他的观点。
西部数据公司副总裁兼中国区业务总经理刘钢
刘钢指出,当今的企业级存储架构正面临四大挑战:
其一,数据正在快速增长:更多的数据产生源将带来更多的容量需求;
其二,存储性能亟待大幅提升:需要更低延时、更高IO性能、更大带宽;
其三,TCO正在增加:需要更低的每TB成本,更低的维护和管理成本;
其四,要支持更高的绿色能源系统标准:需要实现更低的W/IO和W/TB,更低的PUE。
总结起来,企业数据中心需要的存储既要有大容量,又能快速访问,既要降低成本,又要低功耗。
“但是很难有一个存储介质或存储设备可以同时满足这四个方面的需求。”刘钢强调,所以企业需要创新的数据存储基础架构,让存储技术协同发展,即硬盘和基于闪存的固态盘协同发展:一部分是HDD,支持大数据;另一部分是SSD,支持快数据。为此,西部数据推出了分层存储、分区存储和可组合的分解式架构等创新存储解决方案。
分层存储应对不同数据
不同的数据具有不同的特性,有的数据需要大容量,有的数据则需要低时延。为了帮助用户达到最佳存储效果,西部数据针对这两个数据指标,把数据分为极热数据、热数据、温数据、冷数据和极冷数据五层,给不同的数据提供不同的存储介质和设备。
极热存储:有持续低延时需求。可使用DRAM,适合各种应用。
热存储:有低延时、高IOPS、高带宽应用需求。可使用高性能SSD,适合HPC、OLTP、自动驾驶等应用。
温存储:有较高性能IOPS、带宽要求,性能峰值不稳定。可使用主流SSD/HDD,适合OLAP、AI训练、传统企业应用。
冷存储:数据量大,有高容量需要,需要多次读取。可使用大容量企业级HDD,适合存储备份、在线交易。
极冷存储:需要大块写入,写入次数少。可使用SMR HDD,适合金融、医疗、广电行业数据长期归档。
刘钢告诉记者,现在很多企业还在采用12TB和14TB容量的硬盘,不过数据中心可使用的最大容量硬盘已经达到18TB和20TB。与14TB硬盘相比,18TB硬盘在达到同样容量的时候,可以减少22%服务器部署,从而减少部署成本和运行成本,因此每TB功耗会降低21%。从整体上来说,结合部署成本和运营成本的降低,总体拥有成本(TCO)可降低17%。
正是因为看到这样的优势,今年以来很多大型数据中心都开始部署18TB硬盘,18TB硬盘正在成为主流。“事实上,很多互联网公司在去年底到今年初就切换成18TB硬盘了,这可以给传统行业提供一些经验参考。”
西部数据公司副总裁兼中国区业务总经理刘钢
刘钢指出,传统行业可能还在寻找一个平均值,目前市场上的平均值集中到了8TB硬盘,其实是因为传统行业用户没有做好数据分层,如果做好数据分层,企业会发现大容量需要用16TB,小容量需要用4TB,而不能集中放到8TB硬盘中。”
对此,刘钢表示,西部数据会把与头部互联网企业数据中心合作的经验和体会,分享给更多的行业,如金融、电信、企业新建的数据中心等等。此外,西部数据也加强了和云服务商、软件开发商的合作,让他们针对行业软件在西部数据最新的存储技术和设备上进行优化,这样他们可以把这部分技术和解决方案带到更多传统行业里去,而这些行业用户也会主动向互联网公司学习。
化解声波振动引发的性能变化
“虽然从14TB硬盘迁移到18TB硬盘会给数据中心带来成本上的好处,但是不可否认也会带来一些挑战。”刘钢补充到,当磁盘本身碟片的密度变高时,碟片之间的距离更近,磁头与碟片距离也更近,这使硬盘这个机械设备更容易受到服务器内部的噪声、振动等外界干扰的影响,造成非常大的性能变化。而且,在一台服务器里的盘与盘密度变高时,服务器为了散热,需要加大风扇的功率、频率和速度,也加剧了对高密度、大容量硬盘的干扰。“所以我们需要从整个开放计算系统的角度来考虑它会带来什么样的影响。”
经过西部数据的实际检测,发现硬盘的振动或风扇的振动带来的性能影响并不如其中的噪音带来的影响,声波产生的声压对硬盘的影响更大,约占80%,而其他结构性振动的影响只占约20%。同时,每个盘位受到的影响也不一样。
“所以西部数据在开放计算项目中也会考虑如何监测声压的变化,及其对硬盘性能带来的影响,并设计了声学振动捕捉模块,把它放在每一个盘位里,可以准确地监测哪个部分的声压是什么样。测试会帮助改进整体设计的空气流,在机箱里的流动线路。还可以改变风扇的设计来降低声压,测出大风扇或多个小风扇、风扇的位置是前中后,对于盘位的影响是什么样,会有什么样的空气流动。根据声压带来的影响再改善整个系统。”刘钢解释到。目前西部数据已经与浪潮等行业伙伴展开这方面的合作。
另一方面,西部数据还和浪潮联合推出了分布式存储解决方案,包括西部数据Ultrastar DC HC550 18TB硬盘和浪潮英信服务器NF5466M5,部署快速、运维方便,同时有助于减少分布式存储相关异常情况造成的损失,可大幅提升营业收入。
腾讯推出了分布式存储服务腾讯COS,它没有目录层次结构和数据格式限制,可以容纳海量数据。这是一款结合西部数据16T/18T HDD企业级硬盘、针对腾讯应用场景进行了优化的高密度存储服务器,该系统实现了存储桶空间的无容量上限扩展,能满足各种场景的需求。
分区存储满足计算效率
除了大数据、高密度存储,开放计算面对的挑战还有快速、高性能的计算,需要用到快数据。刘钢补充道,其中一部分是用高性能的SSD(如Ultrastar DC SN840 NVMe SSD)去满足极热数据的需求,另一部分是用主流的SSD(如Ultrastar DC SN640 NVMe SSD)去满足热数据、温数据的需求。
今天的SSD密度越来越高,容量越来越大,其中很重要的原因就是Flash技术的发展,要做好SSD,首先要有大规模的Flash生产和供应能力,才能在SSD不同的供应周期都能满足供应。
据介绍,西部数据和合作伙伴铠侠共同拥有全世界34.9%的Flash产能,同时,西部数据也构建了全球领先的千兆晶圆厂。这给西部数据带来了规模优势,让其可以投入最新的闪存技术。
如西部数据发布的第六代3D闪存技术,大幅度提高了密度,不只是层数的堆叠,还包括每一层的密度提升——横向密度提高了10%,比上一代比特密度提高了70%,极大降低了成本,同时也提高了性能。
此外,要做好SSD还需要拥有自己的控制器和固件,提供纵向一体化的极致优化,才能做到持续的高性能。西部数据SSD集成了完全自主的NAND Flash、SSD控制器和固件于一体,有利于性能和稳定性的提升优化。
据悉,为了保证存储技术的先进性,西部数据很早就收购了闪迪公司。目前,西部数据不仅有专门的闪存业务部和硬盘业务部,还有战略技术部,来对未来的新技术进行前瞻性的研发投入,并经常与头部互联网客户交流,收集用户反馈,让研发技术能够与市场需求保持一致。
分解式架构可开放可组合
众所周知,传统的服务器里通常有CPU、GPU、内存、硬盘、SSD、网络设备,但这种架构方式可能无法让宝贵的存储资源得到充分利用,运营成本也十分昂贵。
“未来的架构将会被分解,关键的资源不会依赖于某一台设备,也不会只被一台设备访问,它会被高速的网络连接,进行资源池化和共享。这就是开放式可组合的分解式架构,也是未来开放计算硬件的一个趋势。”刘钢表示。
其中存储资源也可以分解出来,让服务器集群共享。如西部数据推出的NVMe-oF-Fabric设备,能支持24个高性能的固态盘,被服务器集群使用,相当于每台服务器里都有快速的固态盘,能够提供快数据的访问,这样既能做到设备之间的数据共享,也能够降低成本。
在刘钢看来,开放计算能够带来更多的创新,鼓励更多的开放互联,最终用户可以不必局限于某一个或某一类供应商,而是能够开放地在整个平台上去选择最优的设备,提高了透明度。
“因为开放架构不再是神秘的黑盒子,用户可以看到每个部分的关键部件是什么样,如何互联,有哪些优势。作为核心部件提供商,西部数据也愿意给用户提供更多的选择。”
全线存储解决方案支持开放计算扩展
事实上,今天的开放计算已经不局限于数据中心,已经扩展到了云端、终端和边缘等部分,而西部数据可以提供完整的从芯片到系统的云-边-端的全线数据存储解决方案,应用场景包括从手机、相机、无人机,到电脑、笔记本、IoT设备,再到数据中心的高密度硬盘、SSD和平台的JBOD、JBOF等解决方案。
刘钢强调:“西部数据是一家在数据存储解决方案上能同时提供大容量、高密度的硬盘以及快速、低功耗的闪存固态盘的公司。随着开放计算扩展到数据中心以外的更多的地方,西部数据的存储产品和解决方案也会相应的支持和配合开放计算的发展。”