您现在的位置是:数据库 >>正文
冯丹教授:近数据处理新型盘框等技术创新,加速数据中心向Diskless架构演进
数据库59761人已围观
简介日前,在中国深圳举办的第20届华为全球分析师大会,长江学者特聘教授、华中科技大学计算机科学与技术学院院长冯丹对数据中心Diskless架构及近数据处理发展趋势做出了权威解读,为传统云存储、大数据等计 ...
日前,冯丹在中国深圳举办的教授近数据处技术加速s架进第20届华为全球分析师大会,长江学者特聘教授 、理新华中科技大学计算机科学与技术学院院长冯丹对数据中心Diskless架构及近数据处理发展趋势做出了权威解读 ,型盘向为传统云存储 、创新大数据等计算域和存储域不完全分离造成的数据资源浪费 ,提出了一个新的中心技术解决方向 ,帮助云和互联网数据中心降本增效,构演实现数据中心高质量演进。冯丹

冯丹教授提到 ,教授近数据处技术加速s架进传统存算融合架构下,理新企业通常采用应用与本地盘耦合的型盘向服务器一体化架构 ,存在存力效率低 、云计算创新无效数据迁移、数据资源浪费等典型问题:
1)计算域和存储域未彻底分离,中心仍各自存在独立的本地存储,往往按照最大容量预设配置,存力利用率低;
2)采用通用算力进行数据处理,IO效率低,存储域仍以CPU为中心 ,存取性能无法充分发挥;
3)数据从盘到计算域CPU,需要8次以上数据搬迁 ,无效搬迁带来了网络和算力资源的浪费;
4)在存算融合的上千节点大规模集群中,算力、容量空间配比无法均衡,扩容时需要额外迁移数据 ,不仅带来现有业务风险 ,服务器租用还会浪费投资;
5)数据爆发增长,面向结构化数据的数据缩减策略不完全适用于非结构化场景。
随着算力多样化、高性能网络和存储介质的发展,数据中心架构从以CPU中心朝着以数据为中心的Diskless架构演进。Diskless架构下,单一CPU算力发展到GPU、DPU 、XPU等多样算力,算力效率得以充分发挥;网络从IP 、NOF发展到高通量的CXL,为算力和存力等硬件解耦奠定了基础;存力也从传统HDD到SSD ,香港云服务器性能 、功耗实现全面提升。在Intel、华为、KIOXIA 、阿里云等业界芯片、存储 、云和互联网厂商的积极推进下,Diskless架构借助专用DPU/IPU等数据处理芯片和OceanDisk等专用存储模块,进一步提升数据处理和存储的效能,充分调动数据中心资源。
冯丹教授表示,资源池化共享的Diskless架构应具备以下关键技术:
1)网存协同 ,建站模板DPU硬件卸载加速,数据高效协同处理。通过DPU等专有数据处理模块,使服务器CPU全为应用服务,基础设施与应用任务解耦 ,将VirtIO、NVMe-oF等CPU计算效率低任务转移到DPU的专用加速器执行,实现资源弹性扩展。
2)数控分离+IO直通 ,实现控制流与IO流分离,IO直通到存储介质 ,进一步提升存储效率。通过数控分离,可达到极致IO访问时延 ,通过存储域IO读写数据流与IO控制处理的源码库分离,使得读写IO直通到存储介质中,减少IO处理路径,降低处理复杂度 ,极大提升存储域访问性能。计算域则可以借助DPU bypass CPU,减少数据拷贝开销,提升IO访问性能 。
3)盘控协同,盘芯片与控制器芯片配合,提升集成度,达到最佳成本和能耗。盘控协同技术的关键是要实现高性能、低成本的模板下载大盘 ,通过硬件对盘控系统内的算法进行加速,比如利用FPGA实现FTL/DIF/在线压缩/加密/EC/GC等硬化,提升性能;盘内和框内的各类驱动和缓存层合一,实现盘框一体,构建极致成本和能耗的大盘存储。
4)算子卸载,EC、数据缩减等算法通过硬件卸载到存储端,实现近数据处理。通过计算语义的卸载,存储直出语义接口 ,主机侧软件栈打薄,减少80%的IO交互次数 ,实现对整系统的CPU和网络带宽节省 。同时,在大数据/数据仓库场景 ,可以利用引擎的下推接口,下推谓词和投影等运算操作到存储资源池 ,减少无效数据的搬移 。
冯丹教授表示:“从技术趋势来看,高性能异构算力、高速网络、大存力新型盘框、算子卸载等技术的发展 ,带来了数据中心架构的变革 ,加速了以CPU为中心的耦合架构走向彻底存算分离 、资源池化共享的以数据为中心的Diskless架构,这种架构进一步简化了数据中心基础设施构建 ,能够实现存力和算力资源的集约高效发展,已经成为大规模数据中心发展的重要技术趋势 。”
华为去年发布的OceanDisk智能盘框产品,是一个标准的大存力新型盘框产品 。OceanDisk通过NoF+高速网络连接Diskless服务器,实现计算和存储独立弹性扩展,帮助客户提高资源利用率,机柜空间和设备功耗分别降低40%;内置FlashLink®智能盘框协同算法等软硬结合技术,带来最大250万IOPS,50GB/s带宽的高性能;依托华为多年存储研发实力,OceanDisk智能盘框提供硬盘亚健康管理 、智能慢盘优化等技术 ,保持大规模数据中心10万级硬盘的性能稳定 ,大幅降低运维难度 。OceanDisk作为业界首个面向Diskless架构的新型盘框,将以高性能、高可靠、绿色集约重新定义下一代云和互联网数据中心存储架构 。
Tags:
转载:欢迎各位朋友分享到网络,但转载请说明文章出处“信息技术视野”。http://www.bziz.cn/html/036a8999874.html
上一篇:安全团队需要重点演练的四大威胁
下一篇:物联网云融合安全指南
相关文章
深入了解Sigma规则以及如何编写自己的威胁检测规则
数据库Sigma是一种检测语言本文将讲述如何借助Sigma,利用社区的力量来对关键威胁和新的攻击技术做出快速反应。与YARA、Snort规则一样,Sigma是一种通用且开放的签名格式,以直接的方式描述相关的 ...
【数据库】
阅读更多什么是超大规模数据中心?
数据库超大规模数据中心可以横向整合服务器,以提高弹性和可扩展性。通过将计算、存储和虚拟化层紧密集成到强大的网络安全背后的单一解决方案中,超大规模可以根据需要提供额外的资源,从而快速无缝地扩展以满足需求。超大 ...
【数据库】
阅读更多七彩虹960海外版(领略七彩虹960海外版的强大性能和绚丽色彩)
数据库随着移动游戏的快速发展,游戏手机成为了越来越多玩家的选择。而七彩虹960海外版作为一款具有出色性能和精美外观的游戏手机,在市场上备受瞩目。本文将详细介绍七彩虹960海外版的各项亮点和特点。一:搭载骁龙 ...
【数据库】
阅读更多