如何打造一個(gè)高可用多租戶的企業(yè)級(jí)Maven私有倉(cāng)庫(kù)服務(wù)

摘要：?為什么要打造多租戶的企業(yè)級(jí)Maven私有倉(cāng)庫(kù)服務(wù)？ 在Java的世界中，我們通常使用Maven的依賴體系來(lái)管理構(gòu)件（artifact，又稱(chēng)為二方庫(kù)或三方庫(kù)）的依賴。Maven倉(cāng)庫(kù)用于存儲(chǔ)這些構(gòu)件。一般的遠(yuǎn)程倉(cāng)庫(kù)（比如Maven Central）只提供下載功能。

為什么要打造多租戶的企業(yè)級(jí)Maven私有倉(cāng)庫(kù)服務(wù)？

在Java的世界中，我們通常使用Maven的依賴體系來(lái)管理構(gòu)件（artifact，又稱(chēng)為二方庫(kù)或三方庫(kù)）的依賴。Maven倉(cāng)庫(kù)用于存儲(chǔ)這些構(gòu)件。一般的遠(yuǎn)程倉(cāng)庫(kù)（比如Maven Central）只提供下載功能。而用戶想要管理自己的私有二方庫(kù)，就只能搭建Maven私服。常用的Maven私服軟件有Nexus和Artifactory等。Maven私服是很多企業(yè)都需要的功能。

如今云服務(wù)越來(lái)越深入人心，用戶不僅紛紛把自身的服務(wù)發(fā)布到云端，甚至也會(huì)使用云服務(wù)來(lái)管理自己的整個(gè)研發(fā)流程。而如果有一個(gè)企業(yè)級(jí)的Maven私有倉(cāng)庫(kù)服務(wù)，用戶只需要簡(jiǎn)單的開(kāi)通服務(wù)，就可開(kāi)箱即用，無(wú)需自己搭建，免去了維護(hù)的煩惱。

現(xiàn)有Maven私庫(kù)軟件的問(wèn)題

打造這樣的服務(wù)首先可能會(huì)考慮借助已有的一些Maven私庫(kù)解決方案進(jìn)行改造。Nexus和Artifactory的開(kāi)源版雖然支持多租戶，但由于其缺乏高可用特性，無(wú)法進(jìn)行水平拓展，單節(jié)點(diǎn)的穩(wěn)定性達(dá)不到要求。Nexus和Artifactory的商業(yè)版本具有高可用特性，但單集群支持的用戶數(shù)始終有上限。

如下是Nexus的商業(yè)版本的高可用架構(gòu)：

圖片來(lái)源https://help.sonatype.com/repomanager3/high-availability---introduction

雖然其商業(yè)版本支持高可用，但仍具有以下問(wèn)題：

1. 商業(yè)版本按照用戶數(shù)和使用時(shí)間收費(fèi)，花費(fèi)較大；

2. 每個(gè)節(jié)點(diǎn)是有狀態(tài)的，通過(guò)inter-node replication的方式進(jìn)行狀態(tài)同步，擴(kuò)縮容有限制；

3. 單個(gè)節(jié)點(diǎn)支持的倉(cāng)庫(kù)數(shù)量是有性能限制的，超過(guò)限制后需要對(duì)集群對(duì)sharding處理，進(jìn)一步增加系統(tǒng)的復(fù)雜度。

Artifactory的商業(yè)版也具有類(lèi)似的問(wèn)題。

高可用的Maven私庫(kù)服務(wù)的理想架構(gòu)

既然現(xiàn)有的軟件無(wú)法滿足要求，那么只有通過(guò)自研的方式來(lái)自己實(shí)現(xiàn)一套高可用的私有倉(cāng)庫(kù)管理系統(tǒng)了。一個(gè)理想中的私有倉(cāng)庫(kù)管理系統(tǒng)應(yīng)該是這樣子的。

1. 每個(gè)節(jié)點(diǎn)都實(shí)現(xiàn)了標(biāo)準(zhǔn)的Maven倉(cāng)庫(kù)服務(wù)規(guī)范，他們彼此之間是無(wú)狀態(tài)的，通過(guò)負(fù)載均衡向外暴露服務(wù)，這樣進(jìn)行擴(kuò)縮容會(huì)更加的平滑，便于支撐起海量的服務(wù)；

2. 使用對(duì)象存儲(chǔ)服務(wù)作為構(gòu)建的存儲(chǔ)倉(cāng)庫(kù)，比如阿里云的OSS。這樣所有節(jié)點(diǎn)都可以共用存儲(chǔ)，無(wú)需擔(dān)心容量及瀏覽問(wèn)題，有效的解決IO瓶頸；

3. 私有倉(cāng)庫(kù)的元數(shù)據(jù)都存放在于應(yīng)用無(wú)關(guān)的數(shù)據(jù)庫(kù)中，而索引信息則存儲(chǔ)在Elastic Search中，數(shù)據(jù)庫(kù)和Elastic Search都進(jìn)行了集群化高可用配置。

實(shí)現(xiàn)標(biāo)準(zhǔn)的Maven倉(cāng)庫(kù)服務(wù)規(guī)范

拋開(kāi)倉(cāng)庫(kù)管理、用戶及權(quán)限管理、系統(tǒng)管理等功能來(lái)說(shuō)，一個(gè)最小可用的Maven倉(cāng)庫(kù)服務(wù)僅需要滿足支持Maven客戶端進(jìn)行上傳和下載的功能。也就是說(shuō)私有倉(cāng)庫(kù)服務(wù)暴露的http URL需要滿足一定的布局，具體可參見(jiàn)Repository Layout - Final一文。首先需要理解兩個(gè)概念。

Maven依賴

Maven依賴是我們?cè)跇?gòu)建項(xiàng)目時(shí)使用到的構(gòu)件(artifact)，也就是常說(shuō)的二方庫(kù)和三方庫(kù)。比如我們項(xiàng)目想使用fastjson組件時(shí)，需要在項(xiàng)目中的pom.xml文件中加入如下依賴：

??com.alibaba
??fastjson
??1.2.47

如上所示，在Maven世界中確定一個(gè)構(gòu)件需要三個(gè)參數(shù)：groupId,artifactId,version。這三個(gè)參數(shù)構(gòu)成了Maven世界中的坐標(biāo)。

主構(gòu)件和次要構(gòu)件

其實(shí)除了這三個(gè)參數(shù)外，還有另外兩個(gè)參數(shù)。第一個(gè)是packaging。該參數(shù)定義了Maven項(xiàng)目的打包方式，可能的值有pom,?jar,?maven-plugin,?ejb,?war,?ear,?rar,?par等，默認(rèn)值為jar，所以在上述的依賴中并不需要填寫(xiě)packaging值。第二個(gè)是classifier。classifier用來(lái)擴(kuò)充構(gòu)件內(nèi)容。它可以是任意字符串，經(jīng)典的兩個(gè)值為javadoc和sources。比如你訪問(wèn)http://maven.aliyun.com/nexus/service/local/repositories/central/content/com/alibaba/fastjson/1.2.47/，返回的內(nèi)容中除了fastjson-1.2.47.jar還有fastjson-1.2.47-sources.jar和fastjson-1.2.47-javadoc.jar文件。fastjson-1.2.47.jar被稱(chēng)為主構(gòu)件(Primary Artifacts)，而定義了classifier的構(gòu)件被稱(chēng)為次要構(gòu)件(Secondary Artifacts)。

如果想獲取次要構(gòu)件可以這樣寫(xiě)。

??com.alibaba
??fastjson
??1.2.47
??sources

其實(shí)Maven倉(cāng)庫(kù)主要就是用來(lái)存儲(chǔ)管理這些構(gòu)件。Maven和Gradle之類(lèi)的客戶端訪問(wèn)Maven倉(cāng)庫(kù)時(shí)，進(jìn)行上傳和下載構(gòu)件時(shí)要求倉(cāng)庫(kù)URL滿足一定的布局。

倉(cāng)庫(kù)URL布局

當(dāng)上傳或下載依賴時(shí)，Maven倉(cāng)庫(kù)的URL布局為：

/$groupId[0]/../$groupId[n]/$artifactId/$version/$artifactId-$version.$extension

如果classifier不為空的話（也就是說(shuō)該構(gòu)件為次要構(gòu)件），則URL布局為：

$groupId[0]/../$groupId[n]/$artifactId/$version/$artifactId-$version-classifier.$extension

在這里會(huì)把groupId依據(jù)“.”分割為目錄。比如com.alibaba會(huì)變?yōu)閏om/alibaba。fastjson構(gòu)件的jar的倉(cāng)庫(kù)地址為：

/com/alibaba/fastjson/1.2.47/fastjson-1.2.47.jar

而fastjson的次要構(gòu)件javadoc的倉(cāng)庫(kù)地址為：

/com/alibaba/fastjson/1.2.47/fastjson-1.2.47-javadoc.jar

每個(gè)主構(gòu)件都應(yīng)該有一個(gè)POM文件與之對(duì)應(yīng)：

/$groupId[0]/../${groupId[n]/$artifactId/$version/$artifactId-$version.pom

次要構(gòu)件則無(wú)需單獨(dú)的POM文件，它會(huì)引用主構(gòu)件的POM文件。

Maven會(huì)為每個(gè)構(gòu)件（包括pom文件）生成md5和sha1校驗(yàn)文件，放置在同級(jí)目錄下。比如fastjson-1.2.47.jar的校驗(yàn)文件為fastjson-1.2.47.jar.sh1和fastjson-1.2.47.jar.md5。

只要實(shí)現(xiàn)了這樣的URL布局就可以滿足一個(gè)最小化的maven倉(cāng)庫(kù)需要具備的功能。

后端對(duì)象存儲(chǔ)服務(wù)化改造

根據(jù)日常的統(tǒng)計(jì)來(lái)看，Maven倉(cāng)庫(kù)服務(wù)的下載數(shù)量遠(yuǎn)遠(yuǎn)大于上傳數(shù)量。為了提供更好、更快的服務(wù)，我們可以對(duì)下載進(jìn)行一系列的優(yōu)化。優(yōu)化以前下載構(gòu)件的流程是這樣的。

從上圖中可以看出，當(dāng)下載構(gòu)件時(shí)，倉(cāng)庫(kù)服務(wù)需要先從對(duì)象存儲(chǔ)服務(wù)下載資源，然后再轉(zhuǎn)發(fā)給客戶端。整個(gè)過(guò)程不僅耗時(shí)，而且會(huì)對(duì)倉(cāng)庫(kù)服務(wù)節(jié)點(diǎn)的性能造成影響。經(jīng)過(guò)仔細(xì)分析以后，我們發(fā)現(xiàn)其實(shí)倉(cāng)庫(kù)服務(wù)無(wú)需從對(duì)象存儲(chǔ)服務(wù)下載構(gòu)件，只需要收到客戶端的請(qǐng)求后，給客戶端返回一個(gè)302狀態(tài)碼，并生成一個(gè)預(yù)先簽名的對(duì)象存儲(chǔ)服務(wù)下載鏈接。這樣客戶端就可以直接通過(guò)對(duì)象存儲(chǔ)服務(wù)下載所需的構(gòu)件。

新的實(shí)現(xiàn)方式無(wú)需倉(cāng)庫(kù)服務(wù)和對(duì)象存儲(chǔ)服務(wù)進(jìn)行數(shù)據(jù)流的交互，IO壓力都交給了更專(zhuān)業(yè)的對(duì)象存儲(chǔ)服務(wù)，下載速度可以提高數(shù)倍。

除此之外，還可以進(jìn)行進(jìn)一步的優(yōu)化，即在對(duì)象存儲(chǔ)服務(wù)之前加上一層CDN服務(wù)，這樣可以保證不同的地區(qū)的客戶端的下載體驗(yàn)都是一致的。

最后

目前這套架構(gòu)已經(jīng)替換了maven.aliyun.com，現(xiàn)在maven.aliyun.com運(yùn)行的如絲般平滑。如果你需要使用可以自行上傳下載的maven私有倉(cāng)庫(kù)服務(wù)，可以訪問(wèn)我們的云效版。

原文鏈接

本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。