从GitHub上Clone Ceph项目，我是基于(ceph version 12.2.11 luminous 版本)的代码来分析的
一、EC（Erasure Code）是什么？
Ceph的纠删码特性EC：将写入的数据分成N份原始数据，通过这N份原始数据计算出M份效验数据。把N+M份数据分别保存在不同的设备或者节点中，并通过N+M份中的任意N份数据块还原出所有数据块。EC包含了编码和解码两个过程：将原始的N份数据计算出M份效验数据称为编码过程；通过这N+M份数据中的任意N份数据来还原出原始数据的过程称为解码过程。EC可以容忍M份数据失效，任意小于等于M份的数据失效能通过剩下的数据还原出原始数据。Ceph支持以插件的形式来指定不同的EC编码方式。不同的EC编码方式是三个指标间的折中结果，这个三指标就是是：空间利用率、数据可靠性和恢复效率。
二、不同的 EC 编码方式
1. RS类型编码, 目前应用最广泛的纠删码是ReedSolomon编码，简称RS码。下面是RS编码的两个实现(ISA + Jerasure):
1). .ISA：ISA是Intel提供的一个EC库，只能运行在Intel CPU上，它利用了Intel处理器本地指令来加速EC的计算。
2). Jerasure是一个ErausreCode开源实现库，它实现了EC的RS编码。目前Ceph中默认的编码就是Jerasure方式
RS编码的不足之处在于：在N+K个数据块中有任意一块数据失效，都需要读取N块数据来恢复丢失数据。在数据恢复的过程中引起的网络开销比较大。因此，LRC编码和SHEC编码分别从不同的角度做了相关优化。
2. LRC类型编码（特点：恢复数据块时，减少了读取网络数据块的数量）
LRC编码的核心思想为：将校验块（parity block）分为全局校验块（global parity）和局部校验块（local reconstruction parity），从而减少恢复数据的网络开销。
LRC（M，G，L）的三个参数分别为：
·M是原始数据块的数量。
·G为全局校验块的数量。
·L为局部校验块的数量。
编码过程为：把数据分成M个同等大小的数据块，通过该M个数据块计算出G份全局效验数据块。然后把M个数据块平均分成L组，每组计算出一个本地数据效验块，这样共有L个局部数据校验块。
3. SHEC类型编码（特点：恢复数据块时，减少了读取数据块的数量）
SHEC编码方式为SHEC（K，M，L），其中K代表原始数据块data chunk的数量，M代表校验块parity chunk的
1456
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
