Ceph最新的EC-CLAY插件調(diào)研

CLAY 簡介

Clay Codes ( Clay Codes: Moulding MDS Codes to Yield an MSR Code ) 是FAST18 上提出的一種編碼方法，文章地址，Clay 碼能夠?qū)⒁话愕腗DS 碼（最優(yōu)容錯(cuò)）轉(zhuǎn)化為具有最優(yōu)修復(fù)的編碼方法，具有以下性質(zhì)：

Minimum Storage （最小存儲(chǔ)開銷，同經(jīng)典RS碼和最小存儲(chǔ)再生碼，MSR）
Maximum Failure Tolerance（最大容錯(cuò)，即 (n,k)-Clay 碼可以容任意n-k 失效）
Optimal Repair Bandwidth （最優(yōu)修復(fù)開銷，能夠達(dá)到理論最優(yōu)值）
All-Node Optimal Repair （最小開銷修復(fù)所有節(jié)點(diǎn)的數(shù)據(jù)，包括原始數(shù)據(jù)和校驗(yàn)數(shù)據(jù)）
Disk Read Optimal （最優(yōu)磁盤讀）
Low Sub-packetization （低分包數(shù)，即碼字長度短）

參考資料1//blog.foool.net/2018/05/clay-codes-%E4%BB%8E%E7%94%9F%E6%88%90%E7%9F%A9%E9%98%B5%E7%9A%84%E8%A7%92%E5%BA%A6%E6%9D%A5%E7%9C%8B/

參考資料2//blog.acolyer.org/2018/03/01/clay-codes-moulding-mds-codes-to-yield-an-msr-code/

從ceph官方的介紹,可以確認(rèn)以下幾點(diǎn)：

• 向下兼容:CLAY插件與jerasure、ISA、SHEC插件兼容,這里可以理解為Clay是在這幾個(gè)插件的基礎(chǔ)上做的一層更高層面的數(shù)據(jù)組成抽象，能夠更加細(xì)致的控制數(shù)據(jù)的分布粒度，從而實(shí)現(xiàn)對(duì)原有的幾個(gè)插件在數(shù)據(jù)恢復(fù)場景下的性能優(yōu)化。這也就是是上面提到的“Clay 碼能夠?qū)⒁话愕腗DS 碼（最優(yōu)容錯(cuò)）轉(zhuǎn)化為具有最優(yōu)修復(fù)的編碼方法”。

• 修復(fù)性能優(yōu)化"在底層已有的jerasure、ISA、SHEC幾個(gè)的插件基礎(chǔ)上，做了編碼優(yōu)化，能夠在異常發(fā)生，需要進(jìn)行數(shù)據(jù)恢復(fù)的情況下顯著的降低磁盤&網(wǎng)絡(luò)帶寬的消耗。這個(gè)也是CLAY EC插件的最大價(jià)值所在。

• 從Ceph 14版本開始提供，理論上這個(gè)特性可以向下backport到低版本。

從clay插件的初始化配置部分的函數(shù)實(shí)現(xiàn)，也能看到一些與其他插件在兼容適配上的限制

#src/erasure-code/clay/ErasureCodeClay.cc

intErasureCodeClay::parse(ErasureCodeProfile&profile,
ostream*ss)
{
interr=0;
err=ErasureCode::parse(profile,ss);
err|=to_int("k",profile,&k,DEFAULT_K,ss);
err|=to_int("m",profile,&m,DEFAULT_M,ss);

err|=sanity_check_k_m(k,m,ss);

err|=to_int("d",profile,&d,std::to_string(k+m-1),ss);

//checkforscalar_mdsinprofileinput
//默認(rèn)采用jerasure插件進(jìn)行編碼
if(profile.find("scalar_mds")==profile.end()||
profile.find("scalar_mds")->second.empty()){
mds.profile["plugin"]="jerasure";
pft.profile["plugin"]="jerasure";
}else{
std::stringp=profile.find("scalar_mds")->second;
//底層只支持jerasure、isa、shec三種插件
if((p=="jerasure")||(p=="isa")||(p=="shec")){
mds.profile["plugin"]=p;
pft.profile["plugin"]=p;
}else{
*ss<"scalar_mds"<"plugin"]<<
???????????????"isnotcurrentlysupported,useoneof'jerasure',"<<
???????????????"'isa','shec'"<std::endl;
err=-EINVAL;
returnerr;
}
}



if(profile.find("technique")==profile.end()||
profile.find("technique")->second.empty()){
if((mds.profile["plugin"]=="jerasure")||(mds.profile["plugin"]=="isa")){
mds.profile["technique"]="reed_sol_van";
pft.profile["technique"]="reed_sol_van";
}else{
mds.profile["technique"]="single";
pft.profile["technique"]="single";
}
}else{
std::stringp=profile.find("technique")->second;
//Supportedtechniquesare‘reed_sol_van’,‘reed_sol_r6_op’,‘cauchy_orig’,‘cauchy_good’,‘liber8tion’forjerasure,
if(mds.profile["plugin"]=="jerasure"){
if((p=="reed_sol_van")||(p=="reed_sol_r6_op")||(p=="cauchy_orig")
||(p=="cauchy_good")||(p=="liber8tion")){
mds.profile["technique"]=p;
pft.profile["technique"]=p;
}else{
*ss<"technique"<"isnotcurrentlysupported,useoneof"
<"reed_sol_van','reed_sol_r6_op','cauchy_orig',"
<"'cauchy_good','liber8tion'"<std::endl;
err=-EINVAL;
returnerr;
}
//‘reed_sol_van’,‘cauchy’forisa
}elseif(mds.profile["plugin"]=="isa"){
if((p=="reed_sol_van")||(p=="cauchy")){
mds.profile["technique"]=p;
pft.profile["technique"]=p;
}else{
*ss<"technique"<"isnotcurrentlysupported,useoneof"
<"'reed_sol_van','cauchy'"<std::endl;
err=-EINVAL;
returnerr;
}
}else{
//‘single’,‘multiple’forshec.
if((p=="single")||(p=="multiple")){
mds.profile["technique"]=p;
pft.profile["technique"]=p;
}else{
*ss<"technique"<"isnotcurrentlysupported,useoneof"<<
???????????????"'single','multiple'"<std::endl;
err=-EINVAL;
returnerr;
}
}
}
if((dk+m-1)){
*ss<"valueofd"<"mustbewithin["<","<-1<"]"<std::endl;
err=-EINVAL;
returnerr;
}

q=d-k+1;
if((k+m)%q){
nu=q-(k+m)%q;
}else{
nu=0;
}
//注意分塊規(guī)則限定k+m+nu總和不能超過254
if(k+m+nu>254){
err=-EINVAL;
returnerr;
}

if(mds.profile["plugin"]=="shec"){
mds.profile["c"]='2';
pft.profile["c"]='2';
}
mds.profile["k"]=std::to_string(k+nu);
mds.profile["m"]=std::to_string(m);
mds.profile["w"]='8';

pft.profile["k"]='2';
pft.profile["m"]='2';
pft.profile["w"]='8';

t=(k+m+nu)/q;
sub_chunk_no=pow_int(q,t);

dout(10)<"(q,t,nu)=("<","<","<")"<returnerr;
}

故障恢復(fù)時(shí)的帶寬&磁盤消耗對(duì)比

以EC場景下，假設(shè) d = 發(fā)生故障時(shí)，需要參與數(shù)據(jù)恢復(fù)的OSD數(shù)量
在jerasure配置 k=8 m=4的情況下，發(fā)生一塊磁盤故障，需要讀取d=8磁盤才能完成數(shù)據(jù)的恢復(fù)。如果需要恢復(fù)的數(shù)據(jù)的容量為1G，那么需要總共讀取 8 x 1 GB = 8GB的數(shù)據(jù)容量（這也意味著需要同時(shí)通過網(wǎng)絡(luò)傳輸8GB的數(shù)據(jù))。
在clay的插件配置中，d的設(shè)置需要滿足 k+1 <= d <= k+m-1 的限制，為了滿足使d最大化節(jié)省磁盤和網(wǎng)絡(luò)帶寬消耗，clay選取d=k+m-1作為默認(rèn)配置。在k=8，m=4的場景下，根據(jù)公式推導(dǎo)可以得到d=8+4-1=11。其中磁盤需要恢復(fù)的數(shù)據(jù)量計(jì)算公式如下。其中K為故障時(shí)刻需要恢復(fù)的數(shù)據(jù)總量。

當(dāng)一個(gè)osd故障時(shí)，d=11，以需要恢復(fù)的數(shù)據(jù)總量為1GB為例，此時(shí)需要恢復(fù)下載的磁盤數(shù)據(jù)總量為

jerasure/isa=8*1GB=8GB
caly=(11*1GB)/(11-8+1)=11/4=2.75GB

對(duì)比看到caly能夠顯著的減少磁盤讀取數(shù)據(jù)和網(wǎng)絡(luò)傳輸帶寬的消耗，caly只用到了isa一類插件的的2.75/8≈34%的資源消耗。

同樣的場景下，以k=4，m=2為例，此時(shí)d=4+2-1=5，caly只用到了isa一類插件的的2.5/4≈62.5%的資源消耗。

jerasure/isa=4*1GB=4GB
caly=(5*1GB)/(5-4+1)=5/2=2.5GB

依次類推，匯總表格如下: