返回 登录
0

Sheepdog支持Erasure Code策略了

Sheepdog是一个分布式块存储系统实现,它与热门项目Ceph相比,最大优势就是代码短小好维护和hack的成本很小。Sheepdog也有很多Ceph不支持的特性,比如说Multi-Disk, Cluster-wide Snapshot等。关于块存储,王豪迈同学的《块存储的世界》做了非常详细的介绍,对比了各个项目的特点。

淘宝是Sheepdog的重度使用者,同时也是核心贡献者。

Erasure Code是广泛流行的存储校验算法,Google,Azure,Facebook都有使用。热门对象存储项目Swift也增加了对Erasure Code的支持。(SwiftStack的blogCSDN编译稿

Erasure Code最大的优势是能够灵活的设定副本数量,从而在数据持久性和成本间做出权衡,满足不同的应用场景。比如储存冷数据时,可将副本数缩小至1.2,即冗余数据是有0.2。而为了减少数据恢复时的带宽需求,LRC采用增加本地存储的方式,但这会带来一部分CPU开销。总之,用户可以有非常灵活的策略进行优化。

原文如下:

支持的特性:

  1. 支持所有Sheepdog提供的snapshot/clone/cluster-wide snapshot/增量备份/节点数据自动恢复等功能
  2. 支持随机读写,覆盖写,支持运行虚拟机镜像或者挂载为虚拟机的硬盘。
  3. 支持用户自定义数据冗余比,x:y, 其中x为数据块的个数,取值为(2,4,8,16)之一,y为parity的个数,为0到15之间,也就是能支持同时y个节点下线而不影响数据的可靠性。比如,用户可以设置冗余比为2:1, 4:2, 8:3, 16:8等。每个vdi可以设置自己的冗余参数。
  4. 读写性能均优于基于全副本复制的vdi
  5. 单个集群同时支持副本复制与erasure code的vdi

现在已经合并到上游社区,欢迎试用。11月中旬的v0.8.0版本其它用户可感知feature preview:

  1. 单集群超大规模支持(节点6k+,单节点支持无限个硬盘),done
  2. iSCSI TGT的支持, done
  3. 对象存储(RESTful),兼容Openstack Swift & Amazon S3 API, in progress
  4. 硬件加速的Sha1算法 done
  5. 超大虚拟块设备。目前单个块设备(vdi)最大支持4TB,计划支持到256PB, in progress

原文:http://weibo.com/1991826825/AeAm4cOXB

评论