研揚(yáng)科技ARES-240AI/ARES-241AI，開啟AIGC部署新時(shí)代

隨著ChatGPT的火爆，AIGC（生成式人工智能）這一新興概念也備受矚目。AIGC目前已經(jīng)在很多領(lǐng)域得到了廣泛應(yīng)用，如新聞報(bào)道、廣告創(chuàng)意、音樂(lè)創(chuàng)作等，它可以模仿人類的寫作風(fēng)格，甚至創(chuàng)造出全新的作品。然而AIGC的用途遠(yuǎn)非如此簡(jiǎn)單，隨著AIGC通過(guò)海量數(shù)據(jù)訓(xùn)練的大規(guī)模神經(jīng)網(wǎng)絡(luò)模型（大模型）的模型層數(shù)、參數(shù)的增加，“思維方式”愈來(lái)愈趨向于人腦，使其在金融、制造、醫(yī)療等各領(lǐng)域的應(yīng)用越來(lái)越廣泛。

在訓(xùn)練過(guò)程中，大模型需要大量的計(jì)算資源來(lái)執(zhí)行復(fù)雜的矩陣運(yùn)算和其他計(jì)算任務(wù)。為了支持這些計(jì)算任務(wù)，需要使用高性能的計(jì)算設(shè)備。同時(shí)，還需要有效的算法和架構(gòu)設(shè)計(jì)來(lái)優(yōu)化模型的訓(xùn)練速度和效率。為提升整體算力效率和滿足差異化需求，大模型一般需要萬(wàn)億量級(jí)參數(shù)計(jì)算的“智算中心”。現(xiàn)階段的“智算中心”通常采用云模式，通過(guò)共享、共融集結(jié)現(xiàn)有算力，萬(wàn)卡平臺(tái)及配備高效網(wǎng)絡(luò)交互機(jī)制構(gòu)建大模型訓(xùn)練與推理平臺(tái)。

可以看出，訓(xùn)練一個(gè)大模型代價(jià)是巨大的，且大模型落地部署的代價(jià)也極大，在工業(yè)界實(shí)際應(yīng)用中不得不考慮部署的成本，模型輕量化是必不可少的。輕量化的其中一個(gè)方法是模型壓縮，通過(guò)將通用大模型經(jīng)過(guò)剪枝、量化和蒸餾，將大模型進(jìn)行壓縮得到輕量化模型，使其能夠使用算力較小的設(shè)備進(jìn)行訓(xùn)練推理，減輕應(yīng)用單位的部署成本。

大模型通過(guò)不同的方法得到了有效的輕量化，還是無(wú)法阻止模型規(guī)模的增加，但是同時(shí)也刺激著各大芯片廠商在AI芯片上的研發(fā)投入，特別是受眾面更廣、性價(jià)比更高的AI系統(tǒng)化模塊（SOM），其算力發(fā)展更是一年數(shù)倍級(jí)的提升。系統(tǒng)化模塊（SOM）算力的提升，可處理大模型輕量化壓縮后的小模型，有助于實(shí)現(xiàn)從基礎(chǔ)大模型轉(zhuǎn)向行業(yè)微調(diào)模型（通用2B），進(jìn)而細(xì)化至場(chǎng)景結(jié)合模型（專用2B）的轉(zhuǎn)換。而這些小巧的AI系統(tǒng)化模塊是對(duì)空間、能耗、環(huán)境、安全、響應(yīng)要求苛刻的邊緣端設(shè)備的首選。在此過(guò)程中邊緣端設(shè)備發(fā)揮著重要的作用來(lái)推動(dòng)AI部署，網(wǎng)絡(luò)邊緣端比過(guò)去而言會(huì)受到更多重視，也將帶來(lái)更大的市場(chǎng)。

研揚(yáng)科技致力于為客戶提供高質(zhì)量、高性能的邊緣端計(jì)算產(chǎn)品，是業(yè)界領(lǐng)先的邊緣AI解決方案設(shè)計(jì)制造商。研揚(yáng)作為英偉達(dá)Elite member of the NVIDIA Partner Network（合作伙伴網(wǎng)絡(luò)精英成員），推出基于NVIDIA Jetson AGX Orin系統(tǒng)化模塊（SOM）的兩款緊湊型無(wú)風(fēng)扇邊緣盒子ARES-240AI和ARES-241AI。ARES-240AI和ARES-241AI將NVIDIA Jetson AGX Orin的超高性能與全新打造的強(qiáng)化耐用機(jī)殼相結(jié)合，32/64GB版本可選，提供了卓越的275 TOPS 的服務(wù)器級(jí)算力，在以往需要專業(yè)顯卡支持才能運(yùn)行的應(yīng)用，比如自動(dòng)汽車駕駛，現(xiàn)在憑借ARES-240AI和ARES-241AI的實(shí)時(shí)物體偵測(cè)、數(shù)據(jù)加速傳輸和強(qiáng)大的嚴(yán)苛環(huán)境耐受度等特性，可將整個(gè)操作移至邊緣。這兩款邊緣盒子是重新定義自主邊緣應(yīng)用進(jìn)行AI深度學(xué)習(xí)的理想載體。通過(guò)NVIDIA Jetson AGX Orin與其他 NVIDIA Jetson 模組、開發(fā)者套件獲得同一 NVIDIA Jetson 軟件棧的支持，這樣您只需一次開發(fā)，即可在任意位置進(jìn)行部署，從而加快產(chǎn)品上市速度。

NVIDIA Jetson AGX Orin

功能特點(diǎn)

01

ARES-240AI和ARES-241AI搭載的NVIDIA Jetson AGX Orin，擁有12核ARM v8.2 64位CPU和64 個(gè) Tensor Core 的 2048 核 NVIDIA Ampere 架構(gòu) GPU，最高可達(dá) 275 TOPS的算力，提供了比Jetson AGX Xavier 高達(dá)8倍的AI性能。ARES-240AI和ARES-241AI還具有64GB內(nèi)存，在W4A16量化中，可完美支持Llama-70B。借助NVIDIA TAO工具套件，以更小的體積在行人檢測(cè)、3D姿態(tài)估計(jì)、DashCamNet、車牌識(shí)別等模型架構(gòu)中提供與英偉達(dá)專業(yè)顯卡T4相似甚至更高的推理性能，這將有助于機(jī)器人和智能交通中對(duì)實(shí)時(shí)目標(biāo)檢測(cè)與多傳感器的結(jié)合，同時(shí)大大增強(qiáng)定位和目標(biāo)確認(rèn)精度。

適用于嚴(yán)苛環(huán)境

功能特點(diǎn)

02

ARES-240AI和ARES-241AI堅(jiān)固耐用，采用強(qiáng)固輕型鋁合金材料外殼，傳導(dǎo)被動(dòng)散熱，可在溫度范圍為-20°C ~ 55°C (-4°F ~ 131°F)下穩(wěn)定工作，具有極端溫度環(huán)境的耐受性，可以出色應(yīng)對(duì)各類工業(yè)環(huán)境。此外，小巧的尺寸和輕巧的重量讓其操作不受空間限制，非常適用于車載、工業(yè)AMR和自主采礦車等應(yīng)用，其物體檢測(cè)功能可應(yīng)用于狹窄的、能見度低的工業(yè)環(huán)境，并提供智慧物流解決方案。

高度整合智能接口

功能特點(diǎn)

03

為了能完整發(fā)揮NVIDIA Jetson AGX Orin的強(qiáng)大計(jì)算能力，ARES-240AI和ARES-241AI搭載了許多可應(yīng)用于垂直市場(chǎng)的功能。兩款邊緣盒子皆配備了多個(gè)USB 3.2接口，以及32/64GB LPDDR5x系統(tǒng)內(nèi)存、64G eMMC并支持5G、Wi-Fi和NVMe的M.2 Key，確保外接硬件如攝影機(jī)和傳感器等可進(jìn)行快速的信息傳輸，使其成為理想的智慧零售解決方案。

ARES-240AI區(qū)別于ARES-241AI的2個(gè)GbE LAN，它具有電源與多功能性相結(jié)合的4個(gè)PoE LAN端口，可將系統(tǒng)部署在距離其電源更遠(yuǎn)的地方，并可以通過(guò)同一根線纜實(shí)現(xiàn)互聯(lián)網(wǎng)連接和系統(tǒng)的遠(yuǎn)程監(jiān)控，從而降低了安裝的復(fù)雜性，非常適合各種工業(yè)自動(dòng)化場(chǎng)景及自動(dòng)駕駛領(lǐng)域。

接口展示

產(chǎn)品簡(jiǎn)介

01

功能 & 區(qū)別

產(chǎn)品簡(jiǎn)介

02