1 背景
随着数据不断增长以及移动互联网业务的兴起，新兴应用对存储需求的快速变化以及不确定性成为主要挑战。分布式存储以其灵活扩展，快速部署等特点越来越受到金融，电信，政府等行业用户的青睐。企业外部存储市场中分布式存储市场空间也在不断增长。
外部存储市场空间趋势
要满足企业级用户存储资源池建设的需求，可靠性、性能和成本是用户十分关注的几个方面。在传统存储中，数据是以RAID的方式来存储，保证数据的可靠性；而在分布式存储系统中要支持数据跨节点冗余，多副本和EC（Erasure Code，纠删码）是比较通用的数据保护方法。
多副本比较容易理解，是指一份数据通过副本的方式写到分布式系统中的多个存储节点中。这种数据冗余的方式，实现比较简单，节点故障时对系统影响也比较小，只要把故障节点上的数据复制到其他节点便完成了数据重构。同时数据故障时，读取请求也可以由其他副本来处理。但多副本带来的问题是空间利用率低，进而大大增加了存储成本偏高。以三副本为例，存储空间的利用率只有33%。
EC编码算法是指对于N份原始数据，增加M份校验数据，并能通过N+M份中的任意N份数据，还原N份原始数据。当把N+M个数据块分布分布在不同的节点和硬盘上，便可容忍M个节点或硬盘的故障。EC算法可以提供灵活的冗余配置，比如要满足分布式系统中容忍两个节点故障，只要把N+M中的M设置大于等于2即可，而空间利用率为N/N+M。举例来说，4+2的分布式EC算法，其空间利用率即可达到67%，是三副本的两倍，而可靠性方面并没有减少，可以同时容忍2个节点故障。因此，在分布式存储领域，各大厂商也逐渐从支持三副本到支持分布式EC的方向演讲。
FusionStorage块存储作为一款面向虚拟化和云计算的可大规模横向扩展的软件定义存储产品，提供了多副本和EC算法二种数据冗余方式。通过DHT（分布式哈希表）快速路由，分布式缓存机制和智能小IO聚合等技术，为用户在获得EC带来的经济效益的同时，也最大限度的保证了系统的整体性能。今天我们给大家剖析下FusionStorage块存储分布式EC的实现和技术特点。
2 分布式EC的技术实现
FusionStorage块存储的分布式EC技术，采用自研LDEC（LowDensity Erasure Code）算法，基于XOR和伽罗华域乘法相结合的一种MDS（Maximum Distance Separable）阵列码，支持Intel指令加速。数据进入系统之后，首先被切分为N个数据条带，然后计算出M个冗余数据条带，并最终保存在N+M个不同的节点中（如下图所示）。
4+2存储在6个节点的EC示例图
由于同一条带的数据保存在不同节点中，所以FusionStorage块存储中的数据不仅能支持硬盘级的故障，也能够支持节点级的故障，保证数据不丢失。只要系统中同时故障的节点数不超过M，系统就可以持续提供服务。通过快速数据重构过程，系统可以恢复出损坏的数据，保证整系统的数据可靠性。
3 分布式EC Cache加速
由于分布式EC在数据写入时，需要多一次计算，如果按照传统的IO处理方法，性能相比多副本来讲就有所下降。FusionStorage块存储通过将分布到各个存储节点上的SSD盘组建成为一个全局共享的分布式Cache资源池，加速数据的读写操作。
数据在写入EC Cache时，使用快速高效的副本机制，将数据以2~3副本的方式存放在Cache中，优先进行主机IO的响应。当Cache中聚合到一定的数据后，将连续的数据块再一起发送给EC模块并持久化到硬盘。如下图所示，IO通过三副本写入到EC Cache后即返回给VBS，数据后台刷入到EC模块后再写入到各个节点中。VBS（VirtualBlock System）是FusionStorage块存储的虚拟块管理系统，负责前端主机IO的接收和处理。OSD（ObjectStorage Device）是对象存储设备，负责管理底层的硬盘及执行具体的I/O操作。
FusionStorage块存储EC Cache及EC逻辑架构图
EC Cache不仅支持写缓存也支持读缓存。EC Cache的读缓存采用热点读机制，系统会统计每个读取的数据，并统计热点访问因子，当达到阈值时，系统会自动缓存数据到SSD中，同时会将长时间未被访问的数据移出SSD。EC Cache读缓存大大扩展了系统的读缓存容量，提升读操作的命中率，进而提高系统读性能。
4 支持SSD+HDD混合存储
在分布式领域中，有一些厂家，比如VMware VSAN，虽然已经实现了分布式EC的存储方式，但是仅支持使用高性能的SSD做主存，不支持混合存储模式。FusionStorage块存储同样实现了分布式EC的存储方式，不仅支持使用高性能的SSD做主存场景，同时也支持采用SSD缓存+HDD做主存的场景。由于HDD的价格便宜，且支持大容量，在性能要求并不十分高的场景下，可以显著降低客户的数据存储成本。FusionStorage块存储支持划分一部分SSD空间作为分布式EC Cache资源池，提升了混合存储模式下的数据读写性能，使得用户在构建混合存储资源池时也可以获得采用EC而带来的高空间利用率。
5 EC配比更灵活，空间利用率更高
当前实现EC的存储方式的厂商，支持的EC配比方式较少，仅支持2~4种的EC配比方式，空间利用率最大只能达到66%。FusionStorage块存储采用自主研发的2倍于传统算法的高效EC算法，支持更多的EC配比方式，给用户提供更多的选择，空间利用率最大可以达到80%，进一步为用户节省了硬件成本。当前支持的EC配比如下表所示。
FusionStorage块存储支持的EC配比
注（3+2:1 表示EC的一个条带上的5个数据块存放在4个节点，即某个存储节点存放了该条带的2个数据块，可以容忍的故障节点数为1）
6 智能小IO聚合
对于随机小I/O来说，SSD比HDD存在几十到上百倍的性能优势；但对于大块顺序I/O来说，SSD对HDD的优势其实并不明显。下表展示了不同硬盘的性能对比。
不同硬盘的性能对比表
考虑到一个SSD盘可能同时会提供给多个硬盘作为Cache使用，当一个SSD盘同时给超过5个HDD作为Cache时，直接写入HDD反而性能会更高。FusionStorage块存储根据业务不同的IO大小，智能地对不同大小的IO采取不同的处理方式。如下图所示，对于小块IO，FusionStorage块存储采用多副本的方式写入分布式EC Cache中，并在Cache中做条带聚合；而对于大块IO，则绕过分布式EC Cache，直接提交EC写入后端硬盘。由于大块IO直接下盘，系统可以释放原来大块IO占用的宝贵的Cache资源，缓存更多的随机小块I/O，间接的提高了随机小块I/O的Cache命中率，提升系统随机小IO的性能。而HDD在写入大块顺序IO时，写性能差距相比SSD并没有那么明显，加上多块HDD并发处理，在大块顺序IO的场景下系统也能获得很好的写入带宽，兼顾了系统的整体性能。
智能小IO聚合
7 小结
FusionStorage块存储分布式EC技术，采用自研LDEC编码，分布式ECCache加速和智能小IO聚合等技术，支持HDD和SSD混合存储模式和更灵活的EC配置，为用户部署分布式存储获得EC带来的低成本收益的同时，兼顾了整体的系统性能，做到成本与性能兼顾！
IT解决方案：
文件共享、私有云盘、企业网盘 解决方案
存储雷电DAS 、SAN、IPSAN ISCSI 解决方案
企业级存储解决方案
备份 容灾解决方案
防勒索病毒解决方案
NAS 应用场景：完美解决文件共享/文件分享问题，替代传统文件服务器
NAS网络存储 文件NAS存储 。
群晖备份一体机 适用于的企级备份软件有：
（acronis 安克诺斯 /veeam卫盟/veritas华睿泰/commvault 慷孚沃德 /arcserver )
PHD virtual , Nakivo, IBM spectrum protect , (TSM) HP data protector
DELL EMC Networker RecoverPoint Quest veritas system recovery 18
国内备份软件：鼎甲，火星仓，UPM，浪擎，爱数 云祺 盛思睿
黑群晖无法升级，易丢失数据，建议用白群晖，黑群晖洗白
synology partner：深圳国亿国际（凯洛蜜） 上海世平伟业
服务区域：四川群晖 成都群晖 西藏群晖 重庆群晖贵州群晖 贵阳群晖 云南群晖 昆明群晖
群晖配件：群晖钥匙 群晖网卡 群晖内存 群晖电源 群晖主板
群晖维修：群晖保修保内保外维修 群晖硬盘数据恢复 群晖客服 群晖保修 群晖维修）
群晖数据恢复： 服务器数据恢复 raid数据恢复 nas数据恢复 希捷数据恢复 西数硬盘恢复 seagate 数据恢复 WD数据恢复
国行原装正品（国代，总代理，总分销商）方案适用机型：
19-系列
DS1219+
18-系列: FS1018、RS3618xs、DS3018xs、RS2818RP+、RS2418(RP)+、RS818(RP)+、DS918+、DS718+、DS418、DS418play、DS218+、DS218play、DS418j、DS218、DS218j、DS118；
17-系列: FS3017、FS2017、RS18017xs+、RS4017xs+、RS3617xs+、RS3617RPxs、RS3617xs、RS217、DS3617xs、DS1817+、DS1517+、DS1817、DS1517、RX2417sas、RX1217sas、RX1217、DX517；
16-系列：RS18016xs+、RS2416RP+、RS2416+、DS916+、DS716+II、DS716+、RS816、DS416、DS416play、DS416slim、DS416j、DS216+II、DS216+、DS216play、DS216、DS216j、DS216se、DS116、NVR216、RX1216sas；
15-系列: RC18015xs+、DS3615xs、DS2015xs、RS815(RP)+、DS2415+、DS1515+、DS415+、RS815、DS1515、DS715、DS415play、DS215+、DS215j、DS115、DS115j、DS1815+；
14-系列: RS3614xs+、RS2414(RP)+、RS814(RP)+、RS814、DS414、DS214+、DS214play、RS214、DS414j、DS414slim、DS214、DS214se、DS114、EDS14；
13-系列: RS10613xs+、RS3413xs+、DS2413+、DS1813+、DS1513+、DS713+、DS413、DS213+、DS413j、DS413j、DS213、DS213j、DS213air；
12-系列: DS112、DS112j、DS112+、DS212、DS212j、DS212+、DS412+、DS712+、DS1512+、DS1812+、DS3612xs、RS212、RS812、RS812+、RS812RP+、RS2212+、RS2212RP+、RS3412RPxs、RS412xs、RS412RPxs；
早期系列：ds-101
科汇科技 --- 专业数据备份服务商
无论您的IT架构是 本地化、云端、还是混和云 都能提供一站式数据备份方案。
京东群晖synology 天猫群晖 线下代理售后维修服务站
四川成都群晖官方授权核心代理商（企业级服务商）
四川成都群晖synology解决方案中心
四川成都群晖synology体验中心
四川成都群晖synology售后维修中心
四川成都群晖synology官方授权专卖店
成都科汇科技有限公司
地址：成都市人民南路四段1号时代数码大厦18F
群晖电话：400-028-1235（群晖400）
QQ: 2231749852
手机：138 8074 7621（微信同号）
微信公众号：群晖Synology技术中心
