英特爾攜手百度智能云加速AI落地

在2024年9月25日-26日舉辦的2024百度云智大會上，作為大會的聯(lián)合主辦方，英特爾帶來了AI全棧軟硬件方案，深入講解了如何基于英特爾 至強 處理器和新一代極具性價比的加速卡高效地部署和運行大語言模型，并展示了一系列優(yōu)化策略和面向企業(yè)客戶的開放架構AI軟件棧（OPEA），以幫助企業(yè)加速AI落地，并最大化地發(fā)揮整個AI基礎設施的計算效能。

長期以來，百度智能云與英特爾在產(chǎn)品和技術上深入合作，在云計算、大數(shù)據(jù)、飛槳PaddlePaddle深度學習框架優(yōu)化、車路協(xié)同、邊緣計算等領域都交出了亮眼的合作成績。

現(xiàn)在，就跟著小編的步伐，一起來瞧瞧現(xiàn)場精彩亮點！

英特爾閃亮登場大會主論壇，深入闡述“AI 驅(qū)動產(chǎn)業(yè)「芯動力」”的業(yè)務洞察和技術前瞻

主論壇演講

AI驅(qū)動產(chǎn)業(yè)「芯動力」

“為擁抱以AI為代表的新質(zhì)生產(chǎn)力，英特爾攜手百度為云數(shù)據(jù)中心構建現(xiàn)代化基礎設施、持續(xù)優(yōu)化軟件，并在綠色可持續(xù)發(fā)展等領域深耕。以多年合作為基礎，未來雙方將繼續(xù)通過不斷的技術創(chuàng)新打造多樣化解決方案，為各行各業(yè)的客戶提供更優(yōu)質(zhì)的服務和體驗。”

—— 梁雅莉

英特爾市場營銷集團副總裁

中國區(qū)云與行業(yè)解決方案和數(shù)據(jù)中心銷售部總經(jīng)理

在主論壇之后，英特爾專場圍繞如何為AI產(chǎn)業(yè)注入「芯動力」展開，從先進的技術與產(chǎn)品，再到合作解決方案，全方位介紹英特爾的AI產(chǎn)品硬軟件組合，以及與百度智能云千帆大模型平臺的最新合作成果。

英特爾專場

開場致辭

胡凱英特爾云與行業(yè)解決方案集團互聯(lián)網(wǎng)行業(yè)總監(jiān)

不同行業(yè)對AI算力的需求是多樣化的，對處理器頻率、帶寬等的需求各不相同。從云到邊再到端，英特爾持續(xù)為AI行業(yè)提供全面的產(chǎn)品技術組合，并聯(lián)合廣泛的合作伙伴，為最終客戶提供更加經(jīng)濟和多樣化的算力支撐。

基于CPU的大語言模型推理——百度智能云千帆大模型平臺落地實踐

陳曉宇 百度智能云資深研發(fā)工程師

大模型在各行業(yè)的廣泛應用驅(qū)動了新一輪產(chǎn)業(yè)革命， 也讓AI算力面臨嚴峻挑戰(zhàn)。作為國內(nèi)領先的人工智能云服務平臺，百度智能云千帆大模型平臺為開發(fā)者提供了豐富的大模型選擇和模型、應用開發(fā)的配套軟件工具，能夠幫助用戶構建各種智能應用。

為了提升基于CPU的LLM推理性能，百度智能云引入英特爾 至強 可擴展處理器，并利用內(nèi)置的英特爾 高級矩陣擴展技術，搭配大模型推理加速方案xFasterTransformer (xFT)，助力用戶在千帆大模型平臺上實現(xiàn)基于CPU的LLM推理加速。目前，千帆大模型平臺已在教育、辦公、醫(yī)療等多個場景輸出優(yōu)秀應用案例。

xFT解鎖至強 算力，釋放AI潛能

繆金成 英特爾高級軟件工程師

英特爾致力于輸出AI領域的完整軟硬件方案，配備英特爾 AI引擎的至強可擴展處理器，全面提升開箱即用的AI應用性能。第四代和第五代英特爾 至強 可擴展處理器內(nèi)置的AI加速器——英特爾 高級矩陣擴展引擎，由2D寄存器文件 (TILE) 和TMUL組成，支持INT8和BF16兩種數(shù)據(jù)類型，可有效加速深度學習訓練和推理工作負載。

作為一款充分優(yōu)化的開源LLM推理框架，xFT支持多機跨節(jié)點分布式運行，并支持C++和Python兩種API接口，更易于用戶使用和將其集成到自有業(yè)務框架中。同時，xFT支持多種低精度數(shù)據(jù)類型和市面上的多款主流大模型。

基于檢索增強生成的企業(yè)GenAI開放平臺的全棧落地實踐

郭彬 英特爾高級云計算軟件架構師

盡管基于檢索增強的RAG技術并非新生事物，但其在企業(yè)中的應用潛力正隨著大語言模型的能力增強而日益凸顯。企業(yè)AI落地面臨的挑戰(zhàn)與機遇并存，特別是在生成式AI技術引爆市場之后，行業(yè)關注的焦點已從模型預訓練轉向了具體的應用落地。

OPEA（Open Platform for Enterprise AI）開放平臺是一個由英特爾發(fā)起并捐贈給Linux基金會的開源項目，其旨在構建一個開放的AI軟件生態(tài)系統(tǒng)，利用生成式AI助力企業(yè)挖掘數(shù)據(jù)價值，切實助力自身業(yè)務發(fā)展，降低生態(tài)系統(tǒng)復雜性以實現(xiàn)解決方案規(guī)?；?/p>

極具性價比的大模型解決方案

慕延峰 英特爾軟件技術經(jīng)理

大模型的發(fā)展如火如荼，隨著模型參數(shù)規(guī)模的快速增長，企業(yè)對提升算力的需求日漸迫切。要有效地發(fā)掘大模型的價值，企業(yè)需要在避免單一GPU鎖定的同時，提升系統(tǒng)的可擴展性，在提升業(yè)務效率的同時，有效控制成本。

英特爾 Gaudi 2 AI加速器，專為生成式AI和大模型而設計，旨在提供高性能、高效率的生成式AI計算能力。作為一款完全可編程的高性能Al加速器，其融合了諸多技術創(chuàng)新，具備高內(nèi)存帶寬/容量和基于標準以太網(wǎng)技術的橫向擴展能力。同時，英特爾提供以英特爾 Gaudi軟件套件為核心的端到端AI軟件棧，讓AI模型的開發(fā)與部署駛入快車道。

除了英特爾專場，在大模型和云原生專題中，英特爾技術專家們也帶來了干貨滿滿的分享。

大模型平臺技術實踐論壇專場

解鎖至強 潛能—大模型推理新選擇

郭彬 英特爾高級云計算軟件架構師

生成式AI引發(fā)的算力需求在持續(xù)增加，面對GPU缺貨、價格高昂等問題，企業(yè)需要找到能夠持續(xù)為生成式AI提供充足算力，并兼具可擴展性、可獲得性的新選擇。

面向AI時代，英特爾 至強 平臺持續(xù)更新迭代，在算力能力不斷提升之外，增添AI加速引擎。使用英特爾 至強 可擴展處理器提供的英特爾 高級矩陣擴展引擎，用戶可以更充分地挖掘CPU的潛力，更輕松地獲得AI工作負載所需的性能。

云原生論壇

大模型時代的數(shù)據(jù)安全，至強 處理器及機密計算的關鍵角色

宋川 英特爾數(shù)據(jù)中心及人工智能事業(yè)部首席工程師

在大模型時代，算力需求固然關鍵，但數(shù)據(jù)安全和流通同樣不容忽視。隨著大模型應用在各行各業(yè)的不斷拓展，數(shù)據(jù)量呈爆發(fā)式增長，實現(xiàn)數(shù)據(jù)的有序流通，加強數(shù)據(jù)安全防護，對于推動大模型技術的持續(xù)進步至關重要。

英特爾 至強可擴展處理器配備多種安全引擎，可提供基于硬件的機密計算解決方案，并且在充分利用數(shù)據(jù)的同時更好地保護數(shù)據(jù)隱私。其中，英特爾 SGX可提供應用級安全隔離，而英特爾 TDX可提供虛擬機級別的安全隔離。

最后，跟隨小編的腳步一起來「云」逛英特爾展區(qū)，領略現(xiàn)場的魅力！

圍繞大模型優(yōu)化及部署、最新發(fā)布的英特爾 至強 6 處理器和AI PC三大熱點話題和產(chǎn)品，英特爾展出了豐富的產(chǎn)品和解決方案。

大模型優(yōu)化及部署

解鎖至強 潛能，千帆推理新選擇

安全可信的LLM推理服務：英特爾 TDX在異構計算中的應用

基于ArcTMGPU的LLM推理方案

英特爾至強6

英特爾 至強 6 處理器提供極致性能

AI PC

OpenVINOTM工具套件和英特爾AI PC加速AIGC技術和應用

AI PC暢玩黑神話悟空與各類AI應用

依托十余年的技術合作積淀，英特爾將持續(xù)攜手百度智能云，通過全棧的算力、強大的AI加速能力以及完善的端到端合作生態(tài)，共同推動生成式人工智能（GenAI）技術創(chuàng)新和行業(yè)落地，把技術能力變成生產(chǎn)力，服務千行百業(yè)的智能化建設！