重大突破：广域存储管理访问瓶颈问题终被解决！

GVDS从核心技术层面解决了长期困扰我国高性能计算环境发展的广域存储管理访问瓶颈问题，填补了我国在广域分散存储资源统一管理和跨域访问方面的技术空白。

近日，由北航牵头，联合清华大学、中国科学院计算机网络信息中心、中山大学等11家单位共同承担的国家重点研发计划“高性能计算虚拟数据空间”项目团队建立了一套面向高性能计算环境的广域数据存储与共享的完整技术体系，研发了一个可运行于国家高性能计算环境的虚拟数据空间系统GVDS，并在国家高性能计算环境中对该系统进行了初步部署和应用验证。对标欧洲的EGI OneData和美国的XSEDE GFFS这两个高性能计算环境广域存储系统，GVDS的跨域写数据和读数据性能分别是他们的1.3倍和1.6倍。在高负载压力和长时间运行过程中，GVDS能够较好地保证可靠性和吞吐量的稳定性。该研究以“面向国家高性能计算环境的虚拟数据空间系统”为题发表在《大数据》2021年第2期。

1 大国竞争的高地：国家级广域高性能计算环境

国家级广域高性能计算环境是支撑国家科技创新、经济发展、国防建设的核心信息基础设施，是大国竞争的战略高地。高性能计算水平体现了一个国家的科技综合实力，整合广域分散的高性能计算资源，建立广域高性能计算环境，对于国家高性能计算技术的领先发展、国家安全与高性能计算地位的提高至关重要。

2 取得了哪些重大突破？

在当前的国家高性能计算环境中，还存在（1）广域分散的存储资源无法统一管理、高效访问，（2）大规模高性能计算数据跨域迁移中的带宽受限，（3）广域环境中的计算任务与存储资源无法协同调度，（4）虚拟数据空间中的资源异构、数据流高并发且多源等问题。

针对上述问题，该项目团队建立了一套面向高性能计算环境的广域数据存储与共享的完整技术体系，研发了一个可运行于国家高性能计算环境的虚拟数据空间系统GVDS（图1）。 

图1 虚拟数据空间系统的总体架构

目前，虚拟数据空间已部署并汇聚了国家高性能计算环境5个超算中心的存储资源，通过统一名字空间进行统一管理。基于该虚拟数据空间，可有效提高跨中心协同工作的效率，并推动国家高性能计算环境中大型应用跨域计算模式的发展，同时提高全系统的资源利用率。此外，基于该虚拟数据空间，可通过一站式登录远程访问并执行与本地访问一致的操作，同时也可实现存储和计算的协同调度及数据和作业合理全局放置。该成果对于推动完善我国自主高性能计算环境软件技术体系，支撑建设资源共享、统一管理、高效协同的国家高性能计算环境，促进我国高性能计算环境自主可控和可持续发展具有重要意义。

阅读全文：http://www.infocomm-journal.com/bdr/CN/10.11959/j.issn.2096-0271.2021016