0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

混合方案部署AI / ML并為其提供合理的布線方案

牽手一起夢(mèng) ? 來源:網(wǎng)絡(luò)整理 ? 作者:佚名 ? 2020-04-03 15:26 ? 次閱讀

在本文中,康寧光通信與達(dá)拉斯的Citadel Analytics展開了合作,而后者一直在托管數(shù)據(jù)中心(MTDC)中部署AI平臺(tái)。

在互聯(lián)網(wǎng)上通常有這樣的一句話:“知識(shí)告訴你說應(yīng)該把雞蛋放進(jìn)籃子,智慧則是叫你不要把所有雞蛋都放進(jìn)一個(gè)籃子” 。機(jī)器學(xué)習(xí)(ML)會(huì)引導(dǎo)我們認(rèn)識(shí)雞蛋并放進(jìn)籃子,但是人工智能(AI)建議我們不要將其放入一個(gè)籃子。

撇開笑話而言,從語言翻譯到對(duì)復(fù)雜疾病的診斷,AI和ML的應(yīng)用非常廣泛,遠(yuǎn)遠(yuǎn)不止于視覺領(lǐng)域。 為了讓您了解AI和ML需要多少計(jì)算能力,百度在2017年展示了一種中文語音識(shí)別模型,在整個(gè)訓(xùn)練周期內(nèi),不僅需要4TB的培訓(xùn)數(shù)據(jù),而且還需要2000億億次的運(yùn)算。

我們需要把握一個(gè)平衡點(diǎn),那就是既要滿足AI和ML需求,還需要以最低的成本提供最高的服務(wù)質(zhì)量。那么如何提供最高的服務(wù)質(zhì)量呢?通過減少數(shù)據(jù)在終端設(shè)備和處理器之間傳輸?shù)奈锢砭嚯x,以改善延遲對(duì)傳輸?shù)挠绊?。我們可以把邊緣?shù)據(jù)中心建設(shè)在更靠近創(chuàng)建和使用數(shù)據(jù)的地方,這樣可以優(yōu)化傳輸成本和服務(wù)質(zhì)量。其次是尋求最低的成本。傳輸成本會(huì)隨著傳輸?shù)臄?shù)據(jù)量、距離或“跳數(shù)”的增加而增加。 而AI和ML大大增加了傳輸?shù)臄?shù)據(jù)量,從而導(dǎo)致更高的傳輸成本。邊緣數(shù)據(jù)中心靠近數(shù)據(jù)創(chuàng)建的地方,因此日益成為重要的解決方案,而一大部分邊緣計(jì)算都部署在MTDC中。MTDC可以提供最低的本地?cái)?shù)據(jù)中心部署風(fēng)險(xiǎn),而且可以最快實(shí)現(xiàn)收益。

什么是AI、ML、MTDC?

在討論AI,ML,邊緣數(shù)據(jù)中心和MTDC之前,有必要仔細(xì)研究一下它們的概念,以確保每個(gè)人都在同一個(gè)理解層面上。

人工智能是計(jì)算機(jī)系統(tǒng)理論的延伸發(fā)展,它能夠執(zhí)行通常需要人類執(zhí)行的智能任務(wù),例如視覺感知,語音識(shí)別,決策和語言之間的翻譯。如果利用玩具套娃來描述這些關(guān)系,那么 AI是最大的那個(gè)套娃,機(jī)器學(xué)習(xí)位于其中,而深度學(xué)習(xí)則位于機(jī)器學(xué)習(xí)套娃中。機(jī)器學(xué)習(xí)是AI的一種應(yīng)用,它使系統(tǒng)能夠自動(dòng)學(xué)習(xí)并從經(jīng)驗(yàn)中進(jìn)行改進(jìn),而無需進(jìn)行編程

邊緣數(shù)據(jù)中心是通過從核心數(shù)據(jù)中心分散一些對(duì)延遲較敏感的應(yīng)用程序,使數(shù)據(jù)中心的計(jì)算和處理能力更接近創(chuàng)建數(shù)據(jù)的地方。

多租戶數(shù)據(jù)中心(MTDC)也稱為托管數(shù)據(jù)中心,用戶可以通過租用空間來托管其設(shè)施。 MTDC提供了空間和網(wǎng)絡(luò)設(shè)備,以最小的成本將用戶連接到服務(wù)提供商。 用戶可以租用空間、服務(wù)器機(jī)架或完整的專用模塊,來滿足其各種需求。

AI有那么厲害?

AI和ML是自電力出現(xiàn)以來我們所見過的最具革命性的技術(shù)。 它比互聯(lián)網(wǎng)和移動(dòng)革命的總和還要強(qiáng)大。 AI技術(shù)之所以如此強(qiáng)大和如此具有影響力,是因?yàn)樗鼈兛梢钥焖?、有效地理解大量?shù)據(jù)。 我們生活在一個(gè)數(shù)據(jù)不斷生成并且由數(shù)據(jù)驅(qū)動(dòng)的世界中(市場(chǎng)分析師預(yù)測(cè),如今存在的數(shù)據(jù)中有80%以上是在最近兩年內(nèi)創(chuàng)建的),如果沒有能夠理解這些數(shù)據(jù)的工具,我們將會(huì)淹沒在這些數(shù)據(jù)中。

舉個(gè)簡(jiǎn)單的例子,今年全世界將創(chuàng)造大約40兆字節(jié)的信息。 那就是40萬億GB的信息。 人類無法理解所有這些信息,即使每個(gè)人晝夜不停地工作,從理論上講也是不可能的。

那么我們?nèi)绾卫斫馑羞@些數(shù)據(jù)呢? 答案是使用AI和ML。 這些技術(shù)偏愛數(shù)據(jù),數(shù)據(jù)就像是它們的氧氣。 通過使用功能強(qiáng)大且經(jīng)過適當(dāng)培訓(xùn)的AI / ML模型,我們可以準(zhǔn)確地處理大量信息,從而揭示非常有價(jià)值的數(shù)據(jù)來指導(dǎo)我們的行動(dòng)。

核磁共振(MRI)的ML模型就是一個(gè)很好的例子。 他們針對(duì)已知的癌癥或非癌癥結(jié)果進(jìn)行了測(cè)試(陽性和陰性結(jié)果), 這個(gè)過程被稱為訓(xùn)練。之后將一組新的MRI加載到經(jīng)過訓(xùn)練的模型中并進(jìn)行分析。這些新的MRI被稱為驗(yàn)證數(shù)據(jù)集。 該數(shù)據(jù)通過已經(jīng)訓(xùn)練有素的模型運(yùn)行,計(jì)算并顯示結(jié)果,然后再根據(jù)為該模型選擇的性能指標(biāo)評(píng)估結(jié)果。 如果結(jié)果可接受,則對(duì)模型進(jìn)行培訓(xùn),并準(zhǔn)備進(jìn)行更多測(cè)試和驗(yàn)證。 如果驗(yàn)證數(shù)據(jù)不符合指標(biāo),則我們回過頭來,要么重新設(shè)計(jì)模型,要么為它提供更多數(shù)據(jù),以便為下一次驗(yàn)證測(cè)試提供更好的培訓(xùn)。 此階段稱為驗(yàn)證階段。

人工智能的好處有時(shí)會(huì)帶來額外的驚喜。 例如,Citadel Analytics處理過的大多數(shù)業(yè)務(wù)都是客戶期望通過AI技術(shù)提高效率來實(shí)現(xiàn)銷售增長(zhǎng)或降低成本。但他們很快發(fā)現(xiàn),通過AI可以大大提高員工的工作效率和愉悅性,最大的受益者居然是員工。一家懂得利用AI / ML的公司,其員工往往也對(duì)工作更加滿意,這一點(diǎn)比不使用AI的公司高得多。

這很有意義,因?yàn)锳I / ML就是要使“無聊”的東西自動(dòng)化,并讓您的員工在不降低效率的情況下做他們擅長(zhǎng)和充滿熱情的事情。 使用AI技術(shù)帶來的巨大好處是,使員工擁有更多快樂,并減少員工的流失。但是這一點(diǎn)許多企業(yè)一開始并不重視。

如何部署AI / ML并為其提供合理的布線方案

AI需要巨大的處理能力,這一直是一個(gè)問題。值得慶幸的是,像NVIDIA,Intel,AMD等公司正在縮小處理能力的差距。 這使BMW,沃爾瑪,Target等公司以及更多公司都可以部署邊緣AI功能。 這需要以安裝功能強(qiáng)大的硬件為前提,這些硬件將使用預(yù)先訓(xùn)練的模型來處理本地?cái)?shù)據(jù)。 這大大減少了等待時(shí)間和對(duì)實(shí)時(shí)帶寬的需求。

但問題在于,沒有人能真正做到邊緣的AI / ML部署,因?yàn)殡m然硬件的預(yù)訓(xùn)練模型可以處理數(shù)據(jù),但它的能力不足以更新此模型,并使其功能更強(qiáng)大。

因此,混合方案便應(yīng)用而生。

在混合方案設(shè)計(jì)中,邊緣服務(wù)器將使用經(jīng)過訓(xùn)練的模型來處理所有本地?cái)?shù)據(jù)。 而這些“最適合的服務(wù)器”則可能位于不同的MTDC,從而實(shí)現(xiàn)網(wǎng)絡(luò)和應(yīng)用程序選擇的靈活性。MTDC的光網(wǎng)絡(luò)基礎(chǔ)架構(gòu)通常采用單模光纖來部署,目的是滿足最終用戶對(duì)未來擴(kuò)展的需求。 對(duì)于部署AI / ML的公司,重要的是需要同時(shí)考慮現(xiàn)在和未來網(wǎng)絡(luò)中的帶寬需求。 Citadel Analytics通常有一個(gè)經(jīng)驗(yàn)法則,即取期望帶寬的平均值并乘以4倍,就是應(yīng)該在其系統(tǒng)內(nèi)部署的帶寬。 在當(dāng)前的AI / ML部署中,帶寬尤其重要,是首要考量的因素。

帶寬的增加也凸顯了MTDC和最終用戶對(duì)高密度解決方案的需求。 高密度方案可以使MTDC空間實(shí)現(xiàn)最大化收益,而最終用戶可以更有效地利用他們投資的空間。由于基礎(chǔ)架構(gòu)會(huì)隨著不同用戶的需求而變化,因此尋找具有產(chǎn)品寬度(單?;蚨嗄?,LC或MTP等)和擴(kuò)展靈活性的產(chǎn)品供應(yīng)商顯得尤為重要。對(duì)于最終用戶,降低成本的一種方法是增加密度并降低功耗。這可以通過并行光學(xué)器件和端口分離來實(shí)現(xiàn),即通過使用分支線纜來實(shí)現(xiàn)將一個(gè)高速帶寬端口分解為多個(gè)低帶寬端口。比如使用一個(gè)40g并行收發(fā)器端口分解為4個(gè)單獨(dú)的10g收發(fā)器端口,以實(shí)現(xiàn)高密度的線纜轉(zhuǎn)換。

通過減小10公里以內(nèi)的傳輸距離,通常可以將延遲減少45%。 這意味著什么?這將推動(dòng)更多的和更小的區(qū)域性數(shù)據(jù)中心部署,使其更靠近產(chǎn)生數(shù)據(jù)的地方。 MTDC將成為這些較小數(shù)據(jù)中心的主要承載工具。 邊緣數(shù)據(jù)中心將托管在這些互連密集型MTDC中,兩者相互配合,為客戶提供更全面的服務(wù)。 擁有互聯(lián)的基礎(chǔ)設(shè)施、生態(tài)系統(tǒng)和豐富的客戶組合的MTDC,將能把握邊緣計(jì)算發(fā)展的商業(yè)機(jī)遇。

期望

AI和ML技術(shù)將持續(xù)為采用者創(chuàng)收和提高生產(chǎn)率。未來我們將看到更多公司將應(yīng)用程序運(yùn)行在邊緣MTDC。 對(duì)于這些公司而言,MTDC提供了較低的風(fēng)險(xiǎn)和較快的收益增長(zhǎng)。 這將導(dǎo)致會(huì)出現(xiàn)更多的邊緣區(qū)域數(shù)據(jù)中心,而不是像我們以前看到的那樣集中的大型數(shù)據(jù)中心,同時(shí)也將帶來更多的互聯(lián)設(shè)施和更高密度的解決方案。

責(zé)任編輯:gt

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 處理器
    +關(guān)注

    關(guān)注

    68

    文章

    18935

    瀏覽量

    227312
  • AI
    AI
    +關(guān)注

    關(guān)注

    87

    文章

    28924

    瀏覽量

    266297
  • ML
    ML
    +關(guān)注

    關(guān)注

    0

    文章

    143

    瀏覽量

    34447
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    混合部署 | 在迅為RK3568上同時(shí)部署RT-Thread和Linux系統(tǒng)

    和安全性的同時(shí),靈活處理復(fù)雜的任務(wù)場(chǎng)景。 混合部署 在一般情況下,iTOP-RK3568 的四個(gè) Cortex-A55 核心通常運(yùn)行 Linux系統(tǒng),這種架構(gòu)稱為對(duì)稱多處理(SMP)。而 AMP
    發(fā)表于 09-18 10:54

    芯科科技前沿的MCU+AI/ML開發(fā)工具解決方案

    人工智能(AI)和機(jī)器學(xué)習(xí)(ML)是使系統(tǒng)能夠從數(shù)據(jù)中學(xué)習(xí),進(jìn)行推斷并隨著時(shí)間的推移提高性能的關(guān)鍵技術(shù)。這些技術(shù)通常用于大型數(shù)據(jù)中心和功能強(qiáng)大的GPU,但是將它們部署在資源有限的設(shè)備
    的頭像 發(fā)表于 08-20 11:38 ?478次閱讀

    全新Reality AI Explorer Tier,免費(fèi)提供強(qiáng)大的AI/ML開發(fā)環(huán)境綜合評(píng)估“沙盒”

    包含Reality AI Tools?的自動(dòng)AI模型構(gòu)建、驗(yàn)證和部署模塊,以及教程、應(yīng)用示例與電子郵件支持 2024 年 7 月 16 日,中國(guó)北京訊 - 全球半導(dǎo)體解決方案供應(yīng)商瑞薩
    的頭像 發(fā)表于 07-16 13:19 ?169次閱讀

    使用 Renesas RA8M1 MCU 快速地部署強(qiáng)大高效的 AIML 功能

    新的工作負(fù)載會(huì)增加功耗,盡管要求設(shè)計(jì)人員盡量降低功耗并加快產(chǎn)品上市時(shí)間。 設(shè)計(jì)人員需要一個(gè)計(jì)算選項(xiàng),既能保持 MCU 的效率,又能增加專為低功耗應(yīng)用定制的高性能功能。這一選項(xiàng)還應(yīng)保留與傳統(tǒng) MCU 相關(guān)的簡(jiǎn)單部署模式,同時(shí)增加足夠的功能,以支持 AI
    的頭像 發(fā)表于 05-05 10:14 ?378次閱讀
    使用 Renesas RA8M1 MCU 快速地<b class='flag-5'>部署</b>強(qiáng)大高效的 <b class='flag-5'>AI</b> 和 <b class='flag-5'>ML</b> 功能

    政務(wù)外網(wǎng)IPv6深化部署解決方案

    的困難和問題。二、部署方案1.科學(xué)合理規(guī)劃地址:可按政府區(qū)域、部門或按現(xiàn)網(wǎng)vlan等本地屬性進(jìn)行劃分。2.網(wǎng)絡(luò)基礎(chǔ)設(shè)施升級(jí):對(duì)網(wǎng)絡(luò)交換機(jī)、路由器、防火墻等進(jìn)行配置或替換升級(jí)。3.構(gòu)建IPv6安全體系:
    的頭像 發(fā)表于 04-24 10:41 ?631次閱讀
    政務(wù)外網(wǎng)IPv6深化<b class='flag-5'>部署</b>解決<b class='flag-5'>方案</b>

    基于 Renesas 的 RA8M1 實(shí)現(xiàn) AIML 部署

    新的工作負(fù)載會(huì)增加功耗,盡管要求設(shè)計(jì)人員盡量降低功耗并加快產(chǎn)品上市時(shí)間。 設(shè)計(jì)人員需要一個(gè)計(jì)算選項(xiàng),既能保持 MCU 的效率,又能增加專為低功耗應(yīng)用定制的高性能功能。這一選項(xiàng)還應(yīng)保留與傳統(tǒng) MCU 相關(guān)的簡(jiǎn)單部署模式,同時(shí)增加足夠的功能,以支持 AI
    的頭像 發(fā)表于 04-23 15:04 ?965次閱讀
    基于 Renesas 的 RA8M1 實(shí)現(xiàn) <b class='flag-5'>AI</b> 和 <b class='flag-5'>ML</b> <b class='flag-5'>部署</b>

    聯(lián)想攜手英偉達(dá),推出混合人工智能方案

    該項(xiàng)混合人工智能解決方案已針對(duì) NVIDIA AI Enterprise 軟件予以優(yōu)化打造,致力于實(shí)現(xiàn)“安全、可靠且穩(wěn)定”級(jí)別的AI生產(chǎn)環(huán)境。聯(lián)想同時(shí)也向開發(fā)者開放了最新發(fā)布的 NVI
    的頭像 發(fā)表于 03-19 14:31 ?420次閱讀

    利用OpenVINO實(shí)現(xiàn)混合AI部署:邁向無所不在的人工智能

    隨著人工智能技術(shù)的飛速發(fā)展,AI的應(yīng)用已經(jīng)滲透到日常生活的各個(gè)方面。為了更有效地利用AI技術(shù),混合AI部署成為了一個(gè)重要趨勢(shì)。
    的頭像 發(fā)表于 03-18 15:10 ?582次閱讀
    利用OpenVINO實(shí)現(xiàn)<b class='flag-5'>混合</b>式<b class='flag-5'>AI</b><b class='flag-5'>部署</b>:邁向無所不在的人工智能

    Supermicro推新AI存儲(chǔ)方案,助力AIML應(yīng)用加速

    Supermicro首席執(zhí)行官梁見后先生高瞻遠(yuǎn)矚地指出:針對(duì)AIML應(yīng)用的加速處理,我們推薦配置以每機(jī)柜20 PB高速閃存為主,配備四個(gè)NVIDIA HGX H100系列優(yōu)化版8-GPU氣冷服務(wù)器或者八個(gè)同款液冷服務(wù)器。
    的頭像 發(fā)表于 02-03 14:46 ?513次閱讀

    深入探討工業(yè)AI/ML技術(shù)的發(fā)展趨勢(shì)及相關(guān)解決方案

    芯科科技已經(jīng)創(chuàng)建了一套完整的硬件和軟件解決方案,可支持開發(fā)用于工業(yè)市場(chǎng)的工業(yè)AI/ML解決方案。具體來說,我們的Sub-GHz、藍(lán)牙和802.15.4產(chǎn)品內(nèi)置了硬件加速功能,可優(yōu)化邊緣
    的頭像 發(fā)表于 01-29 09:42 ?386次閱讀

    以太網(wǎng)or非以太網(wǎng)?各家AI/ML網(wǎng)絡(luò)技術(shù)盤點(diǎn)

    Nvidia 的 GPU 及其全棧 AI/ML 解決方案使其成為市場(chǎng)中無可爭(zhēng)議的上流玩家。 Nvidia DGX Cloud 解決方案將 Quantum-2 (25.6Tbs) Inf
    發(fā)表于 12-13 14:46 ?702次閱讀
    以太網(wǎng)or非以太網(wǎng)?各家<b class='flag-5'>AI</b>/<b class='flag-5'>ML</b>網(wǎng)絡(luò)技術(shù)盤點(diǎn)

    什么是混合AI?混合AI優(yōu)勢(shì)在哪?

    生成式 AI 模型對(duì)計(jì)算基礎(chǔ)設(shè)施需求極高,模型的推理隨著用戶數(shù)量和使用頻率的增加而不斷上升,云端推理成本劇增,這導(dǎo)致規(guī)?;瘮U(kuò)展難以持續(xù)。混合AI為此提供了解決
    發(fā)表于 11-20 16:26 ?824次閱讀
    什么是<b class='flag-5'>混合</b><b class='flag-5'>AI</b>?<b class='flag-5'>混合</b><b class='flag-5'>AI</b>優(yōu)勢(shì)在哪?

    800G AI互連應(yīng)用產(chǎn)品組合方案

    AI以并行計(jì)算為主,接下來,本文將介紹800G數(shù)據(jù)中心的DAC、AOC和光模塊的并行布線解決方案。
    的頭像 發(fā)表于 11-10 15:42 ?497次閱讀
    800G <b class='flag-5'>AI</b>互連應(yīng)用產(chǎn)品組合<b class='flag-5'>方案</b>

    Cadence 與 Broadcom 合作部署 AI 驅(qū)動(dòng)解決方案并獲得出色結(jié)果

    設(shè)計(jì)流程,以加速 3nm 及 5nm 創(chuàng)新設(shè)計(jì)的交付。 Broadcom 的多個(gè)業(yè)務(wù)部門使用了 AI 驅(qū)動(dòng)的 Cadence ?Cerebrus ?Intelligent Chip Explorer 解決方案,有效提升了產(chǎn)品
    的頭像 發(fā)表于 10-26 15:35 ?374次閱讀

    超低功耗 Wi-Fi + AI/ML方案成為AIoT 串連云端的天作之合

    現(xiàn)今在人工智能驅(qū)動(dòng)( AI-driven )的新興風(fēng)潮下,人工智能和機(jī)器學(xué)習(xí)( AI/ML )正快速朝向網(wǎng)絡(luò)的邊緣端( Edge )發(fā)展 - 即使是最小的物聯(lián)網(wǎng)設(shè)備也將很快得以運(yùn)行 AI
    的頭像 發(fā)表于 10-18 19:25 ?424次閱讀
    超低功耗 Wi-Fi + <b class='flag-5'>AI</b>/<b class='flag-5'>ML</b><b class='flag-5'>方案</b>成為AIoT 串連云端的天作之合