某理工大学地灾实验室为国家级重点实验室,实验室以国土防灾减灾和保障国家重大工程建设安全的需求为导向,主要业务类型为地震数据采集及卫星遥感图片分析,有较高的业务计算性能需求和较大的数据存储容量需求。
实验室计划建设计算虚拟化平台,地质灾害相关软件不再采用传统的物理机部署方式,而是通过云计算平台实现计算资源的动态分配,以此来满足科研和教学的不同场景需求。在整个数据处理过程中对存储会有高性能和大容量存储的需求,因此需要对客户不同的数据类型做不同的存储方案。项目需要通过更详细的设计,配置不同的产品,采用完善的方案进行规划,真正满足用户的需求。
TaoCloud×某理工大学
一站式云计算平台建设方案
方案概述
根据用户业务需求和数据特性,TaoCloud为客户提供一套完整的基础云计算平台建设方案,并根据不同业务提供不同类型的存储系统。配置9台FlexCube作为业务平台支撑层,为地震模拟、地质灾害预测等平台提供CPU及GPU算力;配置3台FASS全闪分布式存储为数据底座,为计算平台及部分业务软件提供高可靠、高带宽、高IOPS、低延时的存储服务;配置5台XDFS分布式统一存储系统,为用户卫星遥感图片提供高带宽、大容量、易扩展的存储服务。系统通过25Gb进行组网,全面提升系统IO性能。
网络拓扑
方案规划
计算资源是虚拟化云平台的核心,承担着整个平台的计算功能。通过计算虚拟化构建的计算资源池可以统一调度,极大提高资源的利用效率。大道云行超融合采用裸金属架构实现计算虚拟化,云主机之间具备隔离保护、安全密钥加密、安全策略防护等功能,云主机发生故障,不会影响其它云主机运行,以保障地灾系统业务平台的连续性和安全性。
虚拟化平台的地震模拟、地灾预测等业务对存储的IOPS和延时要求较高,大道云行的FASS分布式全闪存储系统针对IO密集型应用,采用全闪存硬件,在高可靠、弹性扩展等原生的分布式特性基础上,结合精巧高效的并行流水线设计、虚拟内存管理、微控制器技术、裸盘管理等技术,可轻松实现千万级IOPS性能,以超高的性能表现,可以轻松满足预警中心关键业务的苛刻存储性能与弹性扩展的需求。
各类地理图像、科研数据等非结构化数据对存储的读写带宽和可扩展性要求较高,大道云行的XDFS分布式统一存储系统采用全冗余架构设计,同时随着原始数据和结果数据不断增长,存储系统可以灵活扩展,通过增加相应的存储节点,即可实现存储容量及性能的无缝线性扩展。
方案优势
灵活易用的分布式架构
方案基于超融合+分布式存储的存算分离解决方案构建,这种架构将用户的应用环境中的虚拟化服务器、存储、链接网络彼此融合在统一的系统平台中,通过在虚拟化软件上运行分布式系统服务供虚拟机使用,从而实现精确的资源分配。当业务规模增大后出现问题(如性能、容量、运维、易用性问题),超融合的架构能够通过虚拟化架构解决。超融合系统更快、更易扩展、更易用,降低用户环境的整体拥有成本。
优秀的读写性能表现
FASS元数据服务基于内存K/V数据库实现,文件数据与元数据分别存储和管理,具备优秀的性能扩展能力。通过NVMe盘提供极致I/O性能,结合软件层的XPE引擎设计、微控制器技术、轻量元数据索引等机制,块存储端可达到千万级IOPS、微秒级延迟。
统一存储、便捷共享、弹性扩展
XDFS分布式统一存储方案同时提供文件、对象、块存储访问,可以满足用户各类应用的存储访问需求。随着业务的增长,方案可以按需配置相应的集群规模,以最小的投入满足业务性能需求。方案前后端相对独立,用户可以根据业务对非结构化数据的性能和容量要求,对XDFS存储底座配置不同的硬件规格,以经济灵活的配置,满足业务的实际资源需求。随着集群规模的扩展,存储系统的整体性能呈线性增长。
底层信息化平台建成后,为前端地灾类业务提供高性能、弹性扩展、高可靠的计算和存储服务,与地灾实验室智慧监测预警平台充分对接,支持业务应用对计算资源的动态管理以及存储资源的在线扩容。
本项目充分考虑用户应用特点,配置不同产品,以满足不同业务的计算和存储需求。FlexCube提供动态的CPU和GPU调度,可根据客户需求,为科研和教学等场景提供不同的算力;FASS全闪存分布式存储方案同时提供高性能块存储访问,满足云平台虚拟机的日常运行及业务软件的高IO读写需求;XDFS构建大容量存储池,既可满足卫星遥感图片等大文件的高带宽读写需求,又可满足地质灾害平台原始数据和结果数据的大容量存储需求。整体方案在性能表现、容量扩展、安全可靠、配置管理等方面实现最佳效果。