亞馬遜云科技推出五項(xiàng)Amazon SageMaker新功能

助力規(guī)?；_發(fā)應(yīng)用模型

Amazon SageMaker HyperPod通過(guò)為大規(guī)模分布式訓(xùn)練提供專用的基礎(chǔ)架構(gòu)，將基礎(chǔ)模型的訓(xùn)練時(shí)間縮短了高達(dá)40%；

Amazon SageMaker Inference通過(guò)優(yōu)化加速器的使用，平均降低50%的基礎(chǔ)模型部署成本，并平均縮短了20%的延遲時(shí)間；

Amazon SageMaker Clarify能夠讓客戶更輕松地根據(jù)支持負(fù)責(zé)任的AI的參數(shù)，迅速評(píng)估和選擇基礎(chǔ)模型；

Amazon SageMaker Canvas功能幫助客戶通過(guò)自然語(yǔ)言指令加速數(shù)據(jù)準(zhǔn)備，并僅需幾次點(diǎn)擊即可使用基礎(chǔ)模型進(jìn)行模型定制；

寶馬集團(tuán)（BMW）、繽客（Booking.com）、Hugging Face、Perplexity、Salesforce、Stability AI和先鋒領(lǐng)航集團(tuán)（Vanguard）等已開始使用新的Amazon SageMaker功能

北京2023年12月6日/美通社/ --亞馬遜云科技在2023 re:Invent全球大會(huì)上，宣布推出五項(xiàng)Amazon SageMaker新功能，幫助客戶加速構(gòu)建、訓(xùn)練和部署大語(yǔ)言模型和其他基礎(chǔ)模型。隨著模型不斷改變各行各業(yè)的客戶體驗(yàn)，Amazon SageMaker讓企業(yè)更輕松快速地構(gòu)建、訓(xùn)練和部署支持各種生成式AI使用場(chǎng)景的機(jī)器學(xué)習(xí)模型。為了成功使用模型，客戶需要先進(jìn)的功能來(lái)高效管理模型的開發(fā)、使用和性能。這就是Falcon 40B和180B、IDEFICS、Jurassic-2、Stable Diffusion以及StarCoder等大多數(shù)業(yè)內(nèi)領(lǐng)先的模型都在Amazon SageMaker上訓(xùn)練的原因。

今天的宣布包括了一項(xiàng)新功能，進(jìn)一步增強(qiáng)了Amazon SageMaker的模型擴(kuò)展能力并加速了模型的訓(xùn)練。此外，Amazon SageMaker推出的另一項(xiàng)新功能，能夠通過(guò)降低模型部署成本和延遲時(shí)間，優(yōu)化了管理托管的機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施。亞馬遜云科技還推出了新的SageMaker Clarify功能，可以讓客戶在負(fù)責(zé)任地使用AI的基礎(chǔ)上，根據(jù)質(zhì)量參數(shù)更輕松地選擇正確模型。為了幫助客戶在企業(yè)范圍內(nèi)應(yīng)用這些模型，亞馬遜云科技還在Amazon SageMaker Canvas中引入了新的無(wú)代碼功能，讓客戶更快、更容易地使用自然語(yǔ)言指令準(zhǔn)備數(shù)據(jù)。同時(shí)，Amazon SageMaker Canvas繼續(xù)推動(dòng)模型構(gòu)建和定制的普及，讓客戶更輕松地使用模型提取洞察、進(jìn)行預(yù)測(cè)和使用企業(yè)專有數(shù)據(jù)生成內(nèi)容。這些創(chuàng)新均基于Amazon SageMaker豐富的功能，幫助客戶實(shí)現(xiàn)規(guī)?；瘷C(jī)器學(xué)習(xí)創(chuàng)新。開始使用Amazon SageMaker，請(qǐng)?jiān)L問(wèn)aws.amazon.com/sagemaker。

足夠的可伸縮算力的就位、海量數(shù)據(jù)的爆炸，以及機(jī)器學(xué)習(xí)技術(shù)的快速進(jìn)步，正在促使包含數(shù)十億參數(shù)模型的興起，使它們能夠執(zhí)行各種任務(wù)，如撰寫博客文章、生成圖像、解決數(shù)學(xué)問(wèn)題、進(jìn)行對(duì)話和根據(jù)文檔回答問(wèn)題。如今，成千上萬(wàn)的客戶，例如3M、阿斯利康（AstraZeneca）、法拉利（Ferrari）、LG AI Research、瑞安航空（RyanAir）、湯森路透（Thomson Reuters）和先鋒領(lǐng)航集團(tuán)（Vanguard）等，每月在Amazon SageMaker進(jìn)行超過(guò)1.5萬(wàn)億次的推理請(qǐng)求。此外，像AI21 Labs、Stability AI和Technology Innovation Institute等客戶也正借助Amazon SageMaker訓(xùn)練擁有數(shù)十億參數(shù)的模型。隨著客戶從構(gòu)建主要針對(duì)特定任務(wù)的模型轉(zhuǎn)向構(gòu)建支持生成式AI的大型通用模型，他們必須處理大量數(shù)據(jù)集并進(jìn)行更復(fù)雜的基礎(chǔ)設(shè)施設(shè)置，同時(shí)在這個(gè)過(guò)程中還要不斷優(yōu)化成本和性能?？蛻暨€希望能夠構(gòu)建和定制自己的模型，以創(chuàng)造獨(dú)特的客戶體驗(yàn)，體現(xiàn)企業(yè)的聲音、風(fēng)格和服務(wù)。自2017年推出以來(lái)，Amazon SageMaker已經(jīng)新增了380多個(gè)功能和特性，為客戶提供了規(guī)?；瘶?gòu)建、訓(xùn)練和部署可投入生產(chǎn)的大規(guī)模模型所需的一切。

"機(jī)器學(xué)習(xí)是近年來(lái)影響深遠(yuǎn)的技術(shù)變革之一，所有企業(yè)組織都對(duì)模型產(chǎn)生了濃厚的興趣。這也給那些希望快速構(gòu)建、訓(xùn)練和部署模型的客戶帶來(lái)了新的挑戰(zhàn)。"亞馬遜云科技人工智能和機(jī)器學(xué)習(xí)副總裁Bratin Saha表示，"從加速訓(xùn)練、優(yōu)化托管成本、降低延遲到簡(jiǎn)化基礎(chǔ)模型的評(píng)估，再到擴(kuò)展無(wú)代碼模型的構(gòu)建能力，我們的使命是讓各種規(guī)模的企業(yè)平等地使用高質(zhì)量、高成本效益的機(jī)器學(xué)習(xí)模型。今天，我們?cè)俅卧鰪?qiáng)Amazon SageMaker，通過(guò)全托管、專門構(gòu)建的新功能幫助客戶充分獲得他們?cè)跈C(jī)器學(xué)習(xí)方面的投資回報(bào)。"

新功能讓客戶更輕松快速地訓(xùn)練和操作模型，驅(qū)動(dòng)生成式AI的應(yīng)用

隨著生成式AI的持續(xù)發(fā)展，許多新興應(yīng)用都將依賴于模型。然而，大多數(shù)企業(yè)在調(diào)整基礎(chǔ)設(shè)施以滿足新模型需求時(shí)存在困難，很難高效地實(shí)現(xiàn)規(guī)模化訓(xùn)練和操作。今天，Amazon SageMaker增加了兩項(xiàng)全新功能，旨在幫助減輕規(guī)?；?xùn)練和部署模型的負(fù)擔(dān)。

Amazon SageMaker HyperPod加速基礎(chǔ)模型規(guī)?；?xùn)練：許多企業(yè)希望以較低的成本使用基于GPU和Trainium的計(jì)算實(shí)例來(lái)訓(xùn)練自己的模型。然而，數(shù)據(jù)激增、模型規(guī)模擴(kuò)大以及較長(zhǎng)的訓(xùn)練時(shí)間使模型訓(xùn)練復(fù)雜程度呈指數(shù)級(jí)增長(zhǎng)，這要求客戶必須進(jìn)一步調(diào)整他們的流程來(lái)應(yīng)對(duì)這些新需求。通?？蛻粜枰獙⒛Ｐ陀?xùn)練分配到數(shù)百甚至數(shù)千個(gè)加速器上。之后，在幾周或者幾個(gè)月的時(shí)間內(nèi)并行運(yùn)行數(shù)萬(wàn)億次數(shù)據(jù)計(jì)算，這是一項(xiàng)耗時(shí)且需要專門機(jī)器學(xué)習(xí)知識(shí)的任務(wù)。與訓(xùn)練特定任務(wù)的模型相比，加速器的數(shù)量和訓(xùn)練時(shí)間會(huì)大大增加。因此，很容易出現(xiàn)如單個(gè)加速器故障這樣的小錯(cuò)誤。這些錯(cuò)誤可能會(huì)中斷整個(gè)訓(xùn)練過(guò)程，并需要人工干預(yù)來(lái)識(shí)別、隔離、調(diào)試、修復(fù)和恢復(fù)，這將進(jìn)一步延遲任務(wù)進(jìn)度。在基礎(chǔ)模型的訓(xùn)練過(guò)程中，客戶經(jīng)常需要暫停訓(xùn)練，評(píng)估當(dāng)前模型性能并優(yōu)化訓(xùn)練代碼。為了不間斷地訓(xùn)練模型，開發(fā)人員必須不斷保存訓(xùn)練進(jìn)度（通常稱為檢查點(diǎn)），以便在訓(xùn)練中斷后不會(huì)丟失進(jìn)度，并從停止的地方繼續(xù)訓(xùn)練。這些挑戰(zhàn)明顯增加了訓(xùn)練模型所需的時(shí)間和成本，延遲了新的生成式AI創(chuàng)新的部署。

Amazon SageMaker HyperPod消除了為訓(xùn)練模型而構(gòu)建、優(yōu)化機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施的繁重工作，將訓(xùn)練時(shí)間縮短了高達(dá)40%。Amazon SageMaker HyperPod預(yù)置了Amazon SageMaker的分布式訓(xùn)練庫(kù)，使客戶能夠自動(dòng)將訓(xùn)練工作負(fù)載分布到數(shù)千個(gè)加速器上，以便并行處理工作負(fù)載，提高模型性能。此外，Amazon SageMaker HyperPod通過(guò)定期保存檢查點(diǎn)以確保用戶能夠不間斷地訓(xùn)練模型。當(dāng)訓(xùn)練過(guò)程中發(fā)生硬件故障時(shí)，Amazon SageMaker HyperPod會(huì)自動(dòng)檢測(cè)故障、修復(fù)或替換有故障的實(shí)例，并從最后保存的檢查點(diǎn)恢復(fù)訓(xùn)練，無(wú)需客戶手動(dòng)管理這一過(guò)程，協(xié)助客戶在分布式環(huán)境中進(jìn)行數(shù)周或數(shù)月的訓(xùn)練而無(wú)需中斷。

Amazon SageMakerInference有助于降低模型部署成本并縮短延遲時(shí)間：企業(yè)在部署模型的過(guò)程中一直在尋找優(yōu)化性能的方法。為了降低部署成本和減少響應(yīng)延遲，客戶使用Amazon SageMaker在新的機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施加速器上部署模型，如Amazon Inferentia和GPU。然而，有些模型沒(méi)有充分利用這些實(shí)例提供的加速器，導(dǎo)致硬件資源使用效率低。有些企業(yè)還將多個(gè)模型部署到同一個(gè)實(shí)例上，以便更好地利用所有可用的加速器，但這需要復(fù)雜的基礎(chǔ)設(shè)施編排，既耗時(shí)又難以管理。當(dāng)多個(gè)模型共享同一個(gè)實(shí)例時(shí)，每個(gè)模型都有自己的擴(kuò)展需求和使用模式，因此很難預(yù)測(cè)客戶何時(shí)需要添加或刪除實(shí)例。例如，一個(gè)模型用于支持在特定時(shí)間內(nèi)使用量可能激增的應(yīng)用程序，而另一個(gè)模型可能具有更穩(wěn)定的使用模式。除了優(yōu)化成本，客戶還希望通過(guò)降低延遲來(lái)提供理想的用戶體驗(yàn)。由于模型的輸出范圍從一句話到一整篇文章不等，因此完成推理請(qǐng)求所需的時(shí)間差異很大。如果請(qǐng)求在實(shí)例之間隨機(jī)路由，就會(huì)導(dǎo)致延遲出現(xiàn)不可預(yù)測(cè)的峰值。Amazon SageMaker現(xiàn)在支持新的推理功能，幫助客戶降低部署成本和延遲時(shí)間。通過(guò)這些新功能，客戶可以將多個(gè)模型部署到同一個(gè)實(shí)例上，更好地利用底層加速器，平均部署成本可降低50%?？蛻暨€可以分別控制每個(gè)模型的擴(kuò)展策略，使之更適應(yīng)模型的使用模式，同時(shí)優(yōu)化基礎(chǔ)設(shè)施成本。Amazon SageMaker能夠積極監(jiān)測(cè)正在處理推理請(qǐng)求的實(shí)例，并根據(jù)可用的實(shí)例智能發(fā)送請(qǐng)求，平均降低20%的推理延遲。

新功能能夠幫助客戶評(píng)估任意模型，并根據(jù)使用場(chǎng)景選擇更適合的模型

現(xiàn)在，客戶在為生成式AI應(yīng)用程序挑選模型時(shí)有很多選擇，他們希望能快速比較這些模型，并根據(jù)相關(guān)質(zhì)量和負(fù)責(zé)任的AI參數(shù)（如準(zhǔn)確性、公平性和魯棒性）找到更適合的選擇。然而，當(dāng)比較執(zhí)行相同功能（例如文本生成或摘要）或?qū)儆谕幌盗校ɡ鏔alcon 40B與Falcon 180B）的模型時(shí)，每個(gè)模型在各種負(fù)責(zé)任的AI參數(shù)上表現(xiàn)都不相同。即使是在兩個(gè)不同數(shù)據(jù)集上微調(diào)相同的模型，性能也存在差異，這將很難確定哪個(gè)版本效果更佳。如要開始比較模型，企業(yè)必須先花費(fèi)數(shù)天時(shí)間識(shí)別相關(guān)標(biāo)準(zhǔn)，設(shè)置評(píng)估工具并對(duì)每個(gè)模型進(jìn)行評(píng)估。盡管客戶可以訪問(wèn)公開可用的模型標(biāo)準(zhǔn)，但他們通常無(wú)法根據(jù)代表特定使用場(chǎng)景的提示詞來(lái)評(píng)估模型的性能。此外，這些標(biāo)準(zhǔn)通常難以理解，也不適用于評(píng)估品牌聲音、相關(guān)性和風(fēng)格。另外，企業(yè)還需經(jīng)過(guò)耗時(shí)的手動(dòng)分析結(jié)果的過(guò)程，并對(duì)每個(gè)新使用場(chǎng)景或微調(diào)模型重復(fù)此過(guò)程。

Amazon SageMaker Clarify現(xiàn)在可以幫助客戶根據(jù)所選參數(shù)評(píng)估、比較和選擇適合特定使用場(chǎng)景的最佳模型，以支持企業(yè)負(fù)責(zé)任地使用AI。借助Amazon SageMaker Clarify的新功能，客戶可以輕松提交自己的模型進(jìn)行評(píng)估，或通過(guò)Amazon SageMaker JumpStart選擇模型。在Amazon SageMaker Studio中，客戶可以選擇要針對(duì)給定任務(wù)進(jìn)行比較的模型，例如問(wèn)答或內(nèi)容摘要。然后，客戶選擇評(píng)估參數(shù)并上傳自己的提示詞數(shù)據(jù)集，或者從內(nèi)置的公開數(shù)據(jù)集中進(jìn)行選擇。對(duì)于需要復(fù)雜人工判斷的敏感標(biāo)準(zhǔn)或精細(xì)內(nèi)容，客戶可以選擇使用自己的員工或由SageMaker Ground Truth提供的托管工作人員，使用反饋機(jī)制在幾分鐘內(nèi)審查回復(fù)。一旦客戶完成設(shè)置過(guò)程，Amazon SageMaker Clarify將會(huì)運(yùn)行評(píng)估并生成報(bào)告，以便客戶可以根據(jù)性能標(biāo)準(zhǔn)快速評(píng)估、比較和選擇最佳模型。

全新的AmazonSageMaker Canvas增強(qiáng)功能使客戶更輕松、更快速地將生成式AI集成到工作流程中

Amazon SageMaker Canvas幫助客戶構(gòu)建機(jī)器學(xué)習(xí)模型并生成預(yù)測(cè)，而無(wú)需編寫代碼。此次發(fā)布擴(kuò)展了Amazon SageMaker Canvas現(xiàn)有的即用功能，幫助客戶在無(wú)代碼環(huán)境中使用模型來(lái)支持各種使用場(chǎng)景。

使用自然語(yǔ)言指令準(zhǔn)備數(shù)據(jù)：如今，Amazon SageMaker Canvas中的可視化界面使那些沒(méi)有機(jī)器學(xué)習(xí)專業(yè)知識(shí)的人可以輕松準(zhǔn)備數(shù)據(jù)，但有些客戶還希望以一種更快、更直觀的方式瀏覽數(shù)據(jù)集?？蛻衄F(xiàn)在可以通過(guò)示例查詢快速入門，并在整個(gè)過(guò)程中隨時(shí)提問(wèn)以簡(jiǎn)化數(shù)據(jù)準(zhǔn)備工作?？蛻暨€可以使用自然語(yǔ)言指令進(jìn)行復(fù)雜的轉(zhuǎn)換，解決常見(jiàn)的數(shù)據(jù)問(wèn)題，例如填充列中的缺失值。通過(guò)這個(gè)新的無(wú)代碼界面，客戶可以大大簡(jiǎn)化在Amazon SageMaker Canvas上處理數(shù)據(jù)的方式，將準(zhǔn)備數(shù)據(jù)所需的時(shí)間從數(shù)小時(shí)縮短至數(shù)分鐘。

利用模型進(jìn)行大規(guī)模業(yè)務(wù)分析：客戶使用Amazon SageMaker Canvas構(gòu)建機(jī)器學(xué)習(xí)模型，并為各種任務(wù)生成預(yù)測(cè)，包括需求預(yù)測(cè)、客戶流失預(yù)測(cè)和金融投資組合分析等。今年早些時(shí)候，客戶即可通過(guò)Amazon SageMaker Canvas訪問(wèn)Amazon Bedrock上的多個(gè)模型，包括來(lái)自AI21 Labs、Anthropic和亞馬遜的模型，以及來(lái)自MosaicML、TII和通過(guò)Amazon SageMaker Jumpstart獲取的模型。使用與今天相同的無(wú)代碼界面，客戶可以上傳數(shù)據(jù)集并選擇模型，Amazon SageMaker Canvas會(huì)自動(dòng)幫助客戶構(gòu)建自定義模型，立即生成預(yù)測(cè)。Amazon SageMaker Canvas還可以顯示性能指標(biāo)，讓客戶可以輕松協(xié)作，使用模型生成預(yù)測(cè)并了解基礎(chǔ)模型在特定任務(wù)上的表現(xiàn)。

Hugging Face是一家領(lǐng)先的機(jī)器學(xué)習(xí)公司和開放平臺(tái)，它為AI構(gòu)建提供了開放的基礎(chǔ)模型以及創(chuàng)建模型所需的工具。"Hugging Face一直在使用Amazon SageMaker HyperPod創(chuàng)建重要的最新開放基礎(chǔ)模型，如StarCoder、IDEFICS和Zephyr，這些模型已被下載了數(shù)百萬(wàn)次。"Hugging Face產(chǎn)品負(fù)責(zé)人Jeff Boudier表示，"Amazon SageMaker HyperPod專為高可用和性能構(gòu)建的功能使我們的開放科學(xué)團(tuán)隊(duì)能夠?qū)Ｗ⒂趧?chuàng)新，并改進(jìn)基礎(chǔ)模型的構(gòu)建方式，而非管理基礎(chǔ)設(shè)施。Amazon SageMaker HyperPod能夠檢測(cè)到機(jī)器學(xué)習(xí)硬件故障，并快速替換有故障的硬件，且不會(huì)中斷正在進(jìn)行的模型訓(xùn)練。由于我們的團(tuán)隊(duì)需要快速創(chuàng)新，該自動(dòng)化作業(yè)恢復(fù)功能幫助我們?cè)诨A(chǔ)模型訓(xùn)練過(guò)程中減少中斷情況，讓我們?cè)谝荒陜?nèi)便節(jié)省了數(shù)百小時(shí)的訓(xùn)練時(shí)間。"

領(lǐng)先的人工智能客戶關(guān)系管理（CRM）平臺(tái)Salesforce，憑借數(shù)據(jù)、AI和CRM，提高了生產(chǎn)力，創(chuàng)造了可信的客戶體驗(yàn)。 "我們對(duì)基礎(chǔ)模型采用了開放的方式，而Amazon SageMaker是一個(gè)至關(guān)重要的組成部分，幫助我們擴(kuò)展架構(gòu)并加速市場(chǎng)推廣。"Salesforce工程副總裁Bhavesh Doshi表示，"利用新的Amazon SageMaker推理功能，我們能夠?qū)⑺心Ｐ头湃雴我坏腁mazon SageMaker端點(diǎn)，該端點(diǎn)可以自動(dòng)處理所有資源分配和計(jì)算資源共享，在提高性能的同時(shí)降低了基礎(chǔ)模型的部署成本。"

湯森路透（Thomson Reuters）是一家領(lǐng)先的信息領(lǐng)域提供商，也是全球值得信賴的新聞機(jī)構(gòu)之一。 "我們的工程師面臨的一個(gè)挑戰(zhàn)是在高峰季節(jié)有效管理客戶呼叫資源，以確保雇傭合適數(shù)量的客服人員來(lái)處理激增的咨詢。"Thomson Reuters人工智能、商業(yè)智能和數(shù)據(jù)平臺(tái)副總裁Maria Apazoglou表示，"對(duì)包含呼叫量、等待時(shí)間、日期等關(guān)鍵指標(biāo)的呼叫中心數(shù)據(jù)進(jìn)行歷史分析是一項(xiàng)耗時(shí)的任務(wù)。我們的團(tuán)隊(duì)正在利用Amazon SageMaker Canvas中新的數(shù)據(jù)準(zhǔn)備和定制功能，對(duì)公司數(shù)據(jù)進(jìn)行模型訓(xùn)練，從而識(shí)別影響高峰時(shí)段呼叫量的模式和趨勢(shì)，這讓我們使用自有數(shù)據(jù)構(gòu)建機(jī)器學(xué)習(xí)模型變得非常簡(jiǎn)便。我們期待通過(guò)Amazon SageMaker Canvas增加對(duì)基礎(chǔ)模型的使用，而無(wú)需編寫任何代碼。"

審核編輯 黃宇