0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

【AI簡(jiǎn)報(bào)20230915期】耗水量激增!AI競(jìng)賽變得更為困難,AI數(shù)據(jù)需要AI解決方案

RTThread物聯(lián)網(wǎng)操作系統(tǒng) ? 來源:未知 ? 2023-09-19 09:40 ? 次閱讀

1. 中國(guó)移動(dòng)輕量化邊緣AI,讓識(shí)別更準(zhǔn)更快

原文:http://szjj.china.com.cn/2023-09/14/content_42521336.html
隨著各行各業(yè)對(duì)AI需求的井噴,邊緣AI成為炙手可熱的領(lǐng)域。邊緣AI能夠在靠近數(shù)據(jù)產(chǎn)生的邊緣側(cè),更高效、更低成本、更安全地進(jìn)行實(shí)時(shí)AI分析,已經(jīng)成為萬物互聯(lián)時(shí)代AI應(yīng)用的關(guān)鍵技術(shù)。在剛剛結(jié)束的第二屆光合組織解決方案大賽中,中國(guó)移動(dòng)智慧家庭運(yùn)營(yíng)中心研發(fā)的“基于邊緣云計(jì)算平臺(tái)的AI智能識(shí)別應(yīng)用”方案,獲得了光合組織AI解決方案大賽三等獎(jiǎng)。業(yè)內(nèi)人士認(rèn)為,該方案極大提升了邊緣AI的性能與靈活性,將推動(dòng)邊緣側(cè)AI人臉識(shí)別的規(guī)?;瘧?yīng)用。wKgaomUJ2pmACyS-AAEf9vH1pSo741.jpg

1:N≤0.5S/人,實(shí)現(xiàn)邊緣AI性能突破

過去,受制于邊緣節(jié)點(diǎn)計(jì)算性能與成本的制約,AI人臉識(shí)別應(yīng)用廣泛部署在云端。但邊緣側(cè)數(shù)據(jù)的上傳和結(jié)果的下發(fā)受網(wǎng)絡(luò)狀況影響較大,往往面臨計(jì)算響應(yīng)延遲、網(wǎng)絡(luò)帶寬擁擠等挑戰(zhàn),同時(shí)也存在一定的數(shù)據(jù)安全風(fēng)險(xiǎn)。中國(guó)移動(dòng)智慧家庭運(yùn)營(yíng)中心的“基于邊緣云計(jì)算平臺(tái)的AI智能識(shí)別應(yīng)用”方案,將原本部署在平臺(tái)側(cè)的AI識(shí)別算法,下沉到以海光異構(gòu)加速卡算力資源和存儲(chǔ)資源為基礎(chǔ)設(shè)施的邊緣節(jié)點(diǎn),實(shí)現(xiàn)了實(shí)時(shí)的、高效的人臉識(shí)別功能,極大提升了AI人臉識(shí)別的性能,降低了帶寬成本。與市場(chǎng)已有的人臉識(shí)別方案相比,“基于邊緣云計(jì)算平臺(tái)的AI智能識(shí)別應(yīng)用”方案具備三大優(yōu)勢(shì):第一,更高的識(shí)別準(zhǔn)確度與更快的識(shí)別速度。方案精準(zhǔn)定位目標(biāo)人臉中360個(gè)以上關(guān)鍵點(diǎn)位置,并使用生成對(duì)抗網(wǎng)絡(luò)的側(cè)臉識(shí)別演進(jìn)算法降低對(duì)人臉角度的要求,識(shí)別率更高。方案還具備高識(shí)別比對(duì)速度,達(dá)到1:N比對(duì)時(shí)間(從N個(gè)人臉數(shù)據(jù)中找出1個(gè)目標(biāo)進(jìn)行匹配)≤0.5S/人的指標(biāo),滿足多人無感同行需求。第二,實(shí)現(xiàn)邊緣云平臺(tái)的統(tǒng)一管理,降本增效。通過輕量云平臺(tái)技術(shù)構(gòu)建了邊緣資源池,方案對(duì)AI所需資源統(tǒng)一編排管理,實(shí)現(xiàn)融合聯(lián)動(dòng),不僅能夠節(jié)約建設(shè)成本,還大幅降低了管理運(yùn)維成本。第三,全面的數(shù)據(jù)安全性。方案底層的海光異構(gòu)加速芯片通過擴(kuò)充安全算法指令、集成安全算法專用加速電路等方式,提升了整體方案的數(shù)據(jù)安全性。在邊緣側(cè)處理海量人臉圖像,保障了敏感數(shù)據(jù)不出網(wǎng),杜絕了隱私數(shù)據(jù)泄露等安全隱患。此外,基于海光芯片高兼容性、生態(tài)應(yīng)用豐富等特點(diǎn),該方案具備易于集成的優(yōu)勢(shì)。無論是對(duì)于固定的安防監(jiān)控系統(tǒng),還是移動(dòng)的智能設(shè)備,都可以實(shí)現(xiàn)輕松部署,因此在教育、安防、醫(yī)療、金融等行業(yè)均具有廣泛的應(yīng)用場(chǎng)景。比如,通過用高精度人臉識(shí)別系統(tǒng)構(gòu)建安全校園,解決傳統(tǒng)人力安保體系效率低、出錯(cuò)率高等問題。在機(jī)場(chǎng)、車站等人流密集的公共安防空間,方案可以在海量數(shù)據(jù)、高并發(fā)的場(chǎng)景中,實(shí)現(xiàn)更高效的人臉識(shí)別,提升智慧城市管理效率。

生態(tài)賦能,助力產(chǎn)業(yè)鏈協(xié)同創(chuàng)新

“基于邊緣云計(jì)算平臺(tái)的AI智能識(shí)別應(yīng)用“方案的脫穎而出,離不開光合組織解決方案大賽的鼎力支持。“光合方案大賽在行業(yè)內(nèi)具有較強(qiáng)的影響力。大賽為我們提供了基于海光異構(gòu)加速卡的物理機(jī)設(shè)備、異構(gòu)算力資源、適配認(rèn)證以及技術(shù)支撐,為模型的訓(xùn)練、推理提供可靠、穩(wěn)定、高性能的加速能力,有效提升了圖像分類及目標(biāo)檢測(cè)精度和準(zhǔn)確率?!敝袊?guó)移動(dòng)智慧家庭運(yùn)營(yíng)中心一位技術(shù)負(fù)責(zé)人表示。目前,第三屆光合組織解決方案大賽已經(jīng)開啟,設(shè)置集智計(jì)劃(人工智能)、桃李計(jì)劃(教育信息化)、堡壘計(jì)劃(安全技術(shù)應(yīng)用)三大方向,并為獲獎(jiǎng)團(tuán)隊(duì)提供了1000萬的資金與資源支持。光合組織期待與創(chuàng)新企業(yè)、機(jī)構(gòu)共建開放、創(chuàng)新的信息技術(shù)產(chǎn)業(yè)生態(tài)!

2. 騰訊健康公布醫(yī)療大模型 發(fā)布多場(chǎng)景AI產(chǎn)品矩陣

原文:http://science.china.com.cn/2023-09/11/content_42516411.htm
9月8日,騰訊健康公布醫(yī)療大模型,全新發(fā)布智能問答、家庭醫(yī)生助手、數(shù)智醫(yī)療影像平臺(tái)等多場(chǎng)景AI產(chǎn)品矩陣,藥物發(fā)現(xiàn)平臺(tái)“云深”(iDrug)披露全新的蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)算法框架tFold。騰訊健康總裁吳文達(dá)指出,醫(yī)療健康的數(shù)智化升級(jí)已從“先行先試”,轉(zhuǎn)變?yōu)椤叭鎿肀А?人工智能及各類數(shù)智化工具的應(yīng)用將加速普及;騰訊將與合作伙伴共建“TRUST”模式,加強(qiáng)技術(shù)創(chuàng)新與數(shù)字基建,推動(dòng)“數(shù)智醫(yī)療”普惠普及。wKgaomUJ2pqAEuZSAA3ke4mhp-Y973.png

讓大模型更懂醫(yī)療

騰訊杰出科學(xué)家、騰訊天衍實(shí)驗(yàn)室主任鄭冶楓公布了醫(yī)療大模型的研發(fā)進(jìn)程。騰訊全新發(fā)布的全鏈路自研混元大模型,擁有超千億參數(shù)規(guī)模和超2萬億tokens預(yù)訓(xùn)練語料,具備強(qiáng)大的中文創(chuàng)作能力、復(fù)雜語境下的邏輯推理能力以及可靠的任務(wù)執(zhí)行能力。以此為基座模型,持續(xù)加入涵蓋285萬醫(yī)學(xué)實(shí)體、1250萬醫(yī)學(xué)關(guān)系,覆蓋98%醫(yī)學(xué)知識(shí)的醫(yī)學(xué)知識(shí)圖譜和醫(yī)學(xué)文獻(xiàn),使大模型進(jìn)一步掌握專業(yè)的醫(yī)學(xué)知識(shí)。經(jīng)過3000萬覆蓋患者、醫(yī)生、藥廠等場(chǎng)景及醫(yī)療流程的問答對(duì)話進(jìn)行多任務(wù)微調(diào),以及36萬組專家醫(yī)生標(biāo)注數(shù)據(jù)的強(qiáng)化學(xué)習(xí),讓騰訊的醫(yī)療大模型在處理醫(yī)療需求時(shí)更專業(yè)、精準(zhǔn),同時(shí)也兼顧了患者關(guān)懷,更接近人類醫(yī)生。wKgaomUJ2pqAAZWuAA2yJdw0hlw254.png目前,騰訊醫(yī)療大模型包括文案生成、智能問答、病歷結(jié)構(gòu)化和檢索、影像報(bào)告和輔助診斷等場(chǎng)景大模型,可嵌入醫(yī)療環(huán)節(jié)全流程,在科室導(dǎo)診、醫(yī)生推薦、預(yù)問診、醫(yī)患對(duì)話、病歷自動(dòng)生成和智能院務(wù)客服等應(yīng)用場(chǎng)景中實(shí)現(xiàn)醫(yī)療服務(wù)水平和質(zhì)量的全面提升。

就診全流程智能升級(jí)

騰訊健康用戶平臺(tái)總經(jīng)理吳志剛介紹,依托醫(yī)學(xué)知識(shí)圖譜及醫(yī)療大模型,AI導(dǎo)輔診應(yīng)用進(jìn)行了全面升級(jí),包括醫(yī)學(xué)智能問答、數(shù)字人就醫(yī)助手、智能自由問診、病歷自動(dòng)生成、AI合理用藥、智能化隨訪管理、患者全流程管理等應(yīng)用,為醫(yī)療決策全流程提供更精準(zhǔn)的輔助,助力患者就醫(yī)體驗(yàn)以及臨床醫(yī)生、藥劑師服務(wù)效率和質(zhì)量的雙向提升。診前階段的應(yīng)用除了醫(yī)學(xué)智能問答,還升級(jí)了數(shù)字人就醫(yī)助手,能提供7*24h的智能客服及專業(yè)科普服務(wù);診中環(huán)節(jié),基于大模型的能力學(xué)習(xí)百萬級(jí)醫(yī)患對(duì)話及3000多疾病推演解析,升級(jí)了模擬自由對(duì)話真實(shí)度更強(qiáng)的輔助問診、更符合書寫規(guī)范的病歷自動(dòng)生成以及能給出可解釋性依據(jù)的輔助診療等應(yīng)用;診后階段采用人工智能+互聯(lián)網(wǎng)醫(yī)療的新型模式升級(jí)了智能化隨訪管理和患者全流程管理等應(yīng)用。目前,上海仁濟(jì)醫(yī)院已經(jīng)率先運(yùn)用騰訊醫(yī)療大模型,以互聯(lián)網(wǎng)醫(yī)院適老化服務(wù)為重點(diǎn),打造高度擬人化的虛擬數(shù)字形象“小威護(hù)士”,為老年患者提供更溫暖、便捷的醫(yī)療服務(wù)。

多場(chǎng)景推動(dòng)AI應(yīng)用普及

在AI驅(qū)動(dòng)藥物發(fā)現(xiàn)方面,騰訊“云深”(iDrug)平臺(tái)已同時(shí)具備了小分子藥物與大分子藥物的加速發(fā)現(xiàn)能力。據(jù)騰訊AIDD技術(shù)負(fù)責(zé)人劉偉介紹,在蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)方面,“云深”(iDrug)平臺(tái)開發(fā)了全新的算法框架tFold,其先進(jìn)性多次獲得國(guó)際的蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)評(píng)估平臺(tái)證明;在藥物的ADMET屬性的預(yù)測(cè)方面已研發(fā)并上線70+個(gè)ADMET性質(zhì),并通過結(jié)合物理學(xué)特征和藥企合作等數(shù)據(jù)訓(xùn)練證明能夠超越主流軟件;開發(fā)了兩個(gè)骨架躍遷分子生成算法發(fā)現(xiàn)nM級(jí)先導(dǎo)化合物,并在3-4個(gè)項(xiàng)目中得到了有效證明,同時(shí)還引入了強(qiáng)化學(xué)習(xí)技術(shù)在藥物小分子生成方面達(dá)成97%的生成分子滿足要求。在助力基層服務(wù)能力提升方面,騰訊健康還發(fā)布了全新的家庭醫(yī)生助手。騰訊健康戰(zhàn)略及醫(yī)療產(chǎn)品總經(jīng)理王倩怡指出,利用微信、企業(yè)微信打通醫(yī)患的溝通渠道,以及醫(yī)療大模型的助力,將為醫(yī)生提供更加智能的簽約、咨詢、隨訪、宣教能力?;卺t(yī)療大模型的能力,家庭醫(yī)生助手能夠化身“基層AI百事通”,為居民提供精細(xì)化的健康管理。在醫(yī)學(xué)影像科研及應(yīng)用方面,騰訊覓影全面升級(jí)了數(shù)智醫(yī)療影像平臺(tái),專注于數(shù)字醫(yī)療影像云端應(yīng)用、科研及管理,同時(shí)搭載人工智能分析能力,提供產(chǎn)、學(xué)、研、管一體化醫(yī)療影像解決方案,為醫(yī)療機(jī)構(gòu)、科研院校、科創(chuàng)企業(yè)提供醫(yī)療影像領(lǐng)域的全面支持。平臺(tái)還將進(jìn)一步開放20多個(gè)騰訊自研的AI引擎,助力科研機(jī)構(gòu)AI模型自主研發(fā)及訓(xùn)練。

構(gòu)建數(shù)智醫(yī)療的“TRUST”模式

目前,騰訊健康小程序已連接超3000家可掛號(hào)公立醫(yī)院、超5000家體檢機(jī)構(gòu),以及超200個(gè)城市的疫苗服務(wù);醫(yī)保電子憑證覆蓋超80萬家兩定機(jī)構(gòu)及超20000家醫(yī)院;微信渠道的電子健康卡用戶超6億,接入5000多家醫(yī)院。騰訊健康進(jìn)一步加強(qiáng)用戶與醫(yī)療服務(wù)的連接效用。騰訊健康總裁吳文達(dá)指出,在技術(shù)創(chuàng)新上,騰訊健康持續(xù)投入醫(yī)療AI相關(guān)技術(shù)研究,累計(jì)專利1000多件,并加速轉(zhuǎn)化前沿技術(shù)應(yīng)用到醫(yī)療場(chǎng)景;同時(shí),騰訊在算力供給、數(shù)據(jù)存儲(chǔ)、安全防護(hù)等數(shù)字基礎(chǔ)設(shè)施方面的積累,將為醫(yī)療行業(yè)提供可靠的底層保障;此外,借助微信、騰訊會(huì)議等廣泛的用戶能力,人工智能應(yīng)用可以廣泛助力醫(yī)療普惠;為此,騰訊健康將進(jìn)一步推動(dòng)自身能力、技術(shù)和產(chǎn)品開放,與行業(yè)共建規(guī)范一致的數(shù)字醫(yī)療標(biāo)準(zhǔn),打造可復(fù)制的創(chuàng)新標(biāo)桿。

3. 人工智能爆火導(dǎo)致用水量飆升:?jiǎn)朇hatGPT 50個(gè)問題,耗水500毫升

原文:https://new.qq.com/rain/a/20230911A00Z0E00
聯(lián)合國(guó)環(huán)境規(guī)劃署曾發(fā)布報(bào)告稱,世界上約三分之二的人口每年至少經(jīng)歷1個(gè)月的嚴(yán)重缺水。到2030年,情況預(yù)計(jì)將更加惡化,世界上近半人口將面臨嚴(yán)重的水資源短缺。除了農(nóng)業(yè)和工業(yè)用水增長(zhǎng)外,人工智能熱潮導(dǎo)致的用水量也在飆升,而科技巨頭們正因此變得更“饑渴”。 到目前為止,研究人員和開發(fā)人員主要關(guān)注減少人工智能模型的碳足跡,而經(jīng)常忽視它們的水足跡。在數(shù)據(jù)中心培訓(xùn)和部署人工智能模型需要消耗大量的水。舉例來說,在微軟最先進(jìn)的美國(guó)數(shù)據(jù)中心培訓(xùn)GPT-3可能直接消耗70萬升清潔淡水,這些淡水可用于生產(chǎn)370輛寶馬汽車或320輛特斯拉電動(dòng)汽車。此外,ChatGPT每次涉及20到50個(gè)問題的簡(jiǎn)單對(duì)話中,消耗的水量約為500毫升。這乍看起來不算多,但考慮到這款聊天機(jī)器人有超過1億的活躍用戶,每個(gè)人都參與了多個(gè)對(duì)話,其用水量相當(dāng)驚人。不僅僅是微軟和OpenAI,在用水量方面,谷歌更是大戶。2021年,僅其在美國(guó)的數(shù)據(jù)中心就將消耗127億升淡水用于冷卻,其中約90%都是可飲用水。總體而言,2014年美國(guó)數(shù)據(jù)中心的總用水量估計(jì)高達(dá)6260億升。值得稱贊的是,大型科技公司都在采取措施來幫助解決這個(gè)問題。其中,亞馬遜、Meta、谷歌和微軟等科技巨頭,都承諾到2030年變得“積極用水”,這意味著他們補(bǔ)充的水將超過他們消耗的水。

01 與ChatGPT每次交互耗水500毫升

構(gòu)建像ChatGPT這類人工智能產(chǎn)品的成本可能很難衡量,其中包括用水成本。訓(xùn)練和部署OpenAI的技術(shù)需要大量的水,該公司需要從愛荷華州中部的浣熊河(Raccoon)和得梅因河(Des Moines)的交匯處抽水,為強(qiáng)大的超級(jí)計(jì)算機(jī)降溫。這臺(tái)超算正幫助OpenAI的人工智能系統(tǒng)學(xué)習(xí)如何模仿人類書寫。隨著微軟、OpenAI和谷歌等領(lǐng)先的科技開發(fā)商競(jìng)相利用生成式人工智能的熱潮,他們都承認(rèn),對(duì)其人工智能工具日益增長(zhǎng)的需求帶來了高昂的成本,從訂購(gòu)昂貴的半導(dǎo)體到用水量激增都在推動(dòng)成本上漲。 但這些科技公司通常對(duì)細(xì)節(jié)守口如瓶。在愛荷華州,很少有人知道該州是OpenAI最先進(jìn)大語言模型GPT-4的誕生地,直到一位微軟高管在一次演講中說漏了嘴,它“實(shí)際上是在得梅因以西的玉米地旁邊構(gòu)建的”。構(gòu)建大語言模型需要分析大量人類書寫文本的模式,所有這些計(jì)算都需要大量的電力,并會(huì)產(chǎn)生大量的熱量。為了在炎熱的天氣里保持涼爽,數(shù)據(jù)中心需要抽入大量的水,通常需要降水送入倉(cāng)庫(kù)大小、位于建筑外的冷卻塔中。任何在公司服務(wù)器機(jī)房待過的人都知道,你需要先帶上毛衣。服務(wù)器機(jī)房要時(shí)刻保持涼爽,溫度通常在10攝氏度左右,以防止設(shè)備出現(xiàn)故障。保持這一理想溫度是一個(gè)持續(xù)的挑戰(zhàn),因?yàn)榉?wù)器本身會(huì)將電能轉(zhuǎn)化為熱量。而冷卻塔通常被用來消耗熱量,并通過蒸發(fā)冷水來保持房間的理想溫度。冷卻塔可以完成這項(xiàng)工作,但它們需要大量的水。研究人員估計(jì),數(shù)據(jù)中心平均每千瓦時(shí)消耗大約一加侖的水。也不是任何類型的水都可以使用。數(shù)據(jù)中心使用清潔的淡水來源,以避免海水可能帶來的腐蝕或細(xì)菌生長(zhǎng)。淡水對(duì)于控制房間內(nèi)的濕度也是必不可少的。此外,數(shù)據(jù)中心也需要大量由水力發(fā)電的能源支持,科學(xué)家們將這種情況稱為“非現(xiàn)場(chǎng)間接用水量”。加州大學(xué)河濱分校的研究員任少雷一直在試圖計(jì)算ChatGPT等生成式人工智能產(chǎn)品對(duì)環(huán)境的影響。在一篇將于今年晚些時(shí)候發(fā)表的論文中,任少雷的團(tuán)隊(duì)估計(jì),每次你問ChatGPT 5到50個(gè)提示或問題時(shí),它就會(huì)消耗500毫升的水。當(dāng)然,其用水量取決于服務(wù)器所在的位置和季節(jié)。這一估計(jì)包括了這些公司沒有測(cè)量的間接用水,比如為數(shù)據(jù)中心供電的發(fā)電廠降溫用水。“大多數(shù)人都沒有意識(shí)到ChatGPT背后的資源消耗情況,”任說?!叭绻悴恢蕾Y源的使用情況,那么我們就無法幫助保護(hù)資源?!?/span>OpenAI在其聲明中回應(yīng)了這些評(píng)論,稱該公司正在“充分考慮”如何最好地利用計(jì)算能力?!拔覀冋J(rèn)識(shí)到,培訓(xùn)大型模型可能是能源和水密集型的,為此會(huì)努力提高效率,”該公司表示。

02 微軟因訓(xùn)練和部署AI用水量飆升34%

微軟在其最新的環(huán)境報(bào)告中披露,從2021年到2022年,該公司全球用水量飆升了34%(達(dá)到近17億加侖,或超過2500個(gè)奧運(yùn)會(huì)游泳池儲(chǔ)水量)。與外部研究人員對(duì)微軟人工智能研究相關(guān)用水情況相比,這一數(shù)字有了大幅增長(zhǎng)。wKgaomUJ2puAGhaHAAFrAd7lzSg807.jpg在就用水問題做出回應(yīng)時(shí),微軟在一份聲明中表示,它正在投資研究,以衡量人工智能的能源和碳足跡,“同時(shí)努力使大語言模型系統(tǒng)在培訓(xùn)和應(yīng)用方面更有效率”。wKgaomUJ2puAL0sgAAFIjgGRLlw839.jpg該公司的聲明稱:“我們將繼續(xù)監(jiān)測(cè)我們的排放,加快進(jìn)度,同時(shí)增加使用清潔能源為數(shù)據(jù)中心供電,購(gòu)買可再生能源,并通過其他努力實(shí)現(xiàn)我們的可持續(xù)發(fā)展目標(biāo),即到2030年實(shí)現(xiàn)負(fù)碳、水正和零浪費(fèi)?!?/span>微軟于2019年對(duì)總部位于舊金山的OpenAI進(jìn)行了第一筆10億美元的投資。兩年多后,這家初創(chuàng)公司推出了ChatGPT,并引發(fā)了全球?qū)θ斯ぶ悄苓M(jìn)步的關(guān)注。作為投資協(xié)議的一部分,微軟將為OpenAI提供訓(xùn)練人工智能模型所需的計(jì)算能力。為了至少完成其中的一部分工作,兩家公司把目光投向了愛荷華州的西得梅因,這是個(gè)擁有6.8萬人口的城市。十多年來,微軟一直在那里建設(shè)數(shù)據(jù)中心,以為其云計(jì)算服務(wù)提供支持。微軟在當(dāng)?shù)亟ㄔO(shè)的第四和第五個(gè)數(shù)據(jù)中心將于今年晚些時(shí)候投入使用。微軟開始在西得梅因投資時(shí)擔(dān)任市長(zhǎng)的史蒂夫·蓋爾(Steve Gaer)說:“他們(微軟)正在以最快的速度建造這些設(shè)施。”他表示,該公司被西得梅因致力于建設(shè)公共基礎(chǔ)設(shè)施的承諾所吸引,并通過納稅為支持這項(xiàng)投資貢獻(xiàn)了一筆“驚人”的資金。wKgaomUJ2puARUAQAAEBFc7KdhI307.jpg微軟在2020年首次表示,它正在為OpenAI開發(fā)世界上最強(qiáng)大的超級(jí)計(jì)算機(jī)之一,當(dāng)時(shí)拒絕向媒體透露其部署的位置,但將其描述為“單一系統(tǒng)”,擁有超過28.5萬個(gè)傳統(tǒng)半導(dǎo)體核心和1萬個(gè)圖形處理器,后者是對(duì)人工智能工作負(fù)載至關(guān)重要的芯片。專家們表示,由于需要在計(jì)算核心之間傳輸大量數(shù)據(jù),在單個(gè)地點(diǎn)對(duì)人工智能模型進(jìn)行預(yù)訓(xùn)練至關(guān)重要。直到5月下旬,微軟總裁布拉德·史密斯(Brad Smith)才透露,該公司已經(jīng)在愛荷華州建立了“先進(jìn)的人工智能超級(jí)計(jì)算數(shù)據(jù)中心”,專門讓OpenAI能夠訓(xùn)練其第四代模型GPT-4。這種模型現(xiàn)在支持高級(jí)版本的ChatGPT和微軟自己的諸多產(chǎn)品,并加速了一場(chǎng)關(guān)于遏制人工智能社會(huì)風(fēng)險(xiǎn)的辯論。史密斯說:“這個(gè)數(shù)據(jù)中心是由加州工程師設(shè)計(jì)的,但它實(shí)際上是在愛荷華州建造的?!?/span>在某些方面,西得梅因是訓(xùn)練強(qiáng)大人工智能系統(tǒng)相對(duì)高效的地方,特別是與微軟在亞利桑那州的數(shù)據(jù)中心相比,后者為同樣的計(jì)算需求消耗的水要多得多。“因此,如果你在微軟內(nèi)部開發(fā)人工智能模型,那么你應(yīng)該把模型的培訓(xùn)安排在愛荷華州,而不是亞利桑那州,”任少雷說?!霸谟?xùn)練方面,這兩個(gè)地方?jīng)]有什么區(qū)別。但在用水和能源小號(hào)方面,兩者有很大的不同。”在一年中的大部分時(shí)間里,愛荷華州的天氣足夠涼爽,以至于微軟可以使用外部空氣來保持超級(jí)計(jì)算機(jī)的正常運(yùn)行,并將熱量排出大樓。該公司在一份公開披露的文件中表示,只有當(dāng)溫度超過29.3攝氏度時(shí),它才會(huì)利用水來降溫。即便如此,微軟可能仍然需要使用大量的水,特別是在夏天。根據(jù)西得梅因水廠的數(shù)據(jù),2022年7月,也就是OpenAI表示完成GPT-4培訓(xùn)的前一個(gè)月,微軟向其愛荷華州的數(shù)據(jù)中心群注入了約1150萬加侖的水。這相當(dāng)于該地區(qū)總用水量的6%左右,該水廠也為當(dāng)?shù)鼐用裉峁╋嬘盟?/span>2022年,西得梅因水廠的一份文件稱,該公司和市政府只會(huì)考慮微軟未來的特定數(shù)據(jù)中心項(xiàng)目,前提是這些項(xiàng)目能夠“展示并實(shí)施技術(shù),大幅降低當(dāng)前水平的高峰用水量”,以保護(hù)住宅和其他商業(yè)用戶的供水。微軟表示,該公司正在直接與自來水廠合作,以解決反饋意見。自來水廠在一份書面聲明中表示,微軟始終是一個(gè)很好的合作伙伴,一直在與當(dāng)?shù)毓賳T合作,在滿足其需求的同時(shí)減少水足跡。

03 谷歌用水量飆升20%,AI競(jìng)賽讓情況變得更糟

谷歌于7月份發(fā)布的2023年環(huán)境報(bào)告顯示,該公司的用水量飆升20%,這在很大程度上也歸功于其人工智能工作。這家互聯(lián)網(wǎng)巨頭表示,其2022年消耗了56億加侖的水,相當(dāng)于37個(gè)高爾夫球場(chǎng)的用水量,其中52億加侖用于支持其龐大的數(shù)據(jù)中心運(yùn)營(yíng),比上一年增加了20%。谷歌的用水量上漲幅度并不一致:在俄勒岡州,其用水量很穩(wěn)定,因?yàn)樗斯姷淖⒁?;而在拉斯維加斯以外,它的用水量翻了一番。在愛荷華州,谷歌同樣很饑渴,其Council Bluffs數(shù)據(jù)中心用水量比其他任何地方都多。谷歌的報(bào)告詳細(xì)介紹了保持大型數(shù)據(jù)中心運(yùn)行所需要的環(huán)境成本,這些數(shù)據(jù)中心通常需要大量的水才能保持涼爽。數(shù)據(jù)顯示,隨著谷歌和人工智能競(jìng)賽中的所有其他科技公司加快建設(shè)新的數(shù)據(jù)中心,它們的用水量很可能會(huì)繼續(xù)上升。2019年,谷歌僅在三個(gè)州就為數(shù)據(jù)中心申請(qǐng)了超過23億加侖的水。該公司目前在北美擁有14個(gè)數(shù)據(jù)中心,用于支持其產(chǎn)品套件Google Search,以及最近推出的Lamda和Bard等大語言模型。數(shù)據(jù)顯示,僅Lamda就可能需要數(shù)百萬升水來進(jìn)行培訓(xùn),比GPT-3還要多,因?yàn)楣雀璧膸讉€(gè)干渴的數(shù)據(jù)中心都位于得克薩斯州等炎熱的州。

wKgaomUJ2puAaoOfAABfdfKl28g080.jpg加州大學(xué)河濱分校電氣與計(jì)算機(jī)工程系副教授任少雷指出,谷歌用水量增加20%幾乎與其計(jì)算能力的增長(zhǎng)同時(shí)發(fā)生,而谷歌的計(jì)算能力在很大程度上是由人工智能推動(dòng)的。然而,任少雷表示,他對(duì)這種增長(zhǎng)能否長(zhǎng)期持續(xù)持懷疑態(tài)度,即使谷歌承諾補(bǔ)充水資源以抵消其使用量。他說:“這只是讓他們的水務(wù)賬目看起來更好,但水仍然被大量消耗?!?/span>谷歌表示,2030年是其辦公室和數(shù)據(jù)中心補(bǔ)充120%淡水的最后期限。根據(jù)它自己的報(bào)告,目前它只補(bǔ)充了6%的淡水。谷歌目前消耗的大部分水都是“可飲用的”,足夠干凈,可以用作飲用水。谷歌在最新報(bào)告中指出,該公司已經(jīng)考慮到緩解“當(dāng)?shù)氐乃Y源壓力”(水資源短缺的另一種方法),并表示到 2022 年,其淡水抽取量的 82% 將來自水資源相對(duì)豐富的地區(qū)。對(duì)于剩下的18%,谷歌稱其正在探索新的合作伙伴和機(jī)會(huì)來改善用水情況,但隨著更多的地方面臨水資源短缺,它可能會(huì)面臨越來越大的阻力。2019年,谷歌計(jì)劃在亞利桑那州梅薩建立一個(gè)數(shù)據(jù)中心,保證每天最多供水400萬加侖。但正如媒體最近指出的那樣,亞利桑那州已經(jīng)面臨水資源短缺困擾,這可能會(huì)阻止其批準(zhǔn)谷歌類似的交易。事實(shí)上,谷歌的一位發(fā)言人表示,一旦數(shù)據(jù)中心建成,那里將使用“風(fēng)冷技術(shù)”。這表明谷歌正在努力尋找更可持續(xù)的用水策略,以應(yīng)對(duì)不斷增長(zhǎng)的用水需求。04 Meta新AI模型用水總量驚人微軟和谷歌并不是唯一感到越來越饑渴的公司。Facebook母公司Meta也在亞利桑那州建設(shè)一個(gè)數(shù)據(jù)中心,2022年用水量超過260萬立方米(約合6.97億加侖),主要用于冷卻數(shù)據(jù)中心。此外,Meta最新的大語言模型Llama 2,也需要大量的水來訓(xùn)練。 今年7月份,Meta發(fā)布了名為L(zhǎng)lama 2的大型新人工智能模型??萍夹袠I(yè)的人都感到很興奮,除了任少雷,他對(duì)訓(xùn)練這些大語言模型需要消耗的水量感到擔(dān)心。任少雷估計(jì),訓(xùn)練Llama 2需要的用水總量高達(dá)1090萬升,如果不包括水力發(fā)電,則為280萬升。普通人平均每天要喝大約3升水。Meta沒有透露它用了多少水來訓(xùn)練這個(gè)人工智能模型。不過,該公司確實(shí)披露了耗電量。任少雷以此為基礎(chǔ),研究了Meta數(shù)據(jù)中心在使用能源和水方面的效率。他說,Llama 2幾乎是Meta今年早些時(shí)候推出的上一款大型人工智能模型Llama 1的水足跡的兩倍。數(shù)據(jù)中心已經(jīng)消耗了大量的能源,人工智能的蓬勃發(fā)展預(yù)計(jì)將大幅增加這種消耗。任少雷表示:“如果用電量增加,碳足跡和水足跡等其他東西也會(huì)隨之增加。” Meta發(fā)言人沒有就任少雷的估算進(jìn)行置評(píng)。Meta的數(shù)據(jù)中心在2021年使用了超過500萬立方米的水,大約相當(dāng)于13.3億加侖。該公司尚未分享2022年的數(shù)據(jù)。到今年年底或者明年,Meta將在亞利桑那州建成并擴(kuò)建一個(gè)數(shù)據(jù)中心,其用水量將繼續(xù)攀升。

4. Nvidia發(fā)布TensorRT-LLM開源軟件 提升高端GPU芯片上的AI模型性能

原文:https://new.qq.com/rain/a/20230911A075ZW00
Nvidia近日宣布推出一款名為TensorRT-LLM的新開源軟件套件,擴(kuò)展了Nvidia GPU上大型語言模型優(yōu)化的功能,并突破了部署之后人工智能推理性能的極限。wKgaomUJ2pyAXVU8AAA71dTwHoU079.jpg生成式AI大語言模型因其令人印象深刻的功能而變得流行,而且擴(kuò)大了人工智能的可能性,被廣泛應(yīng)用于眾多行業(yè),讓用戶能夠通過聊天機(jī)器人“與數(shù)據(jù)對(duì)話”、總結(jié)大型文檔、編寫軟件代碼、以及發(fā)現(xiàn)理解信息的新方法。Nvidia公司超大規(guī)模和高性能計(jì)算副總裁Ian Buck表示:“大型語言模型推理變得越來越難。模型的復(fù)雜性不斷增加,模型變得越來越智能,也變得越來越大,這是很自然的,但當(dāng)模型擴(kuò)展到單個(gè)GPU之外并且必須在多個(gè)GPU上運(yùn)行的時(shí)候,就成了一大難題?!?/span>在人工智能方面,推理是模型處理那些前所未見的新數(shù)據(jù)的一個(gè)過程,例如用于總結(jié)、生成代碼、提供建議或者回答問題,是大型語言模型的主力。隨著模型生態(tài)系統(tǒng)的迅速擴(kuò)展,模型也變得越來越大,功能越來越多,這也意味著模型變得如此之大以至于無法同時(shí)運(yùn)行在單個(gè)GPU上,而必須將其分開。開發(fā)人員和工程師必須手動(dòng)將工作負(fù)載分開或分段,協(xié)調(diào)執(zhí)行,以便實(shí)時(shí)獲得響應(yīng)。TensorRT-LLM就是通過“張量并行性”幫助解決這個(gè)問題的,允許跨多個(gè)GPU進(jìn)行大規(guī)模的高效推理。除此之外,由于當(dāng)今市場(chǎng)中有各種各樣的大型語言模型,所以Nvidia針對(duì)目前主流的大型語言模型對(duì)核心進(jìn)行了優(yōu)化。該軟件套件包括了完全優(yōu)化的、可立即運(yùn)行的大型語言模型版本,包括Meta Platform的Llama 2、OpenAI的GPT-2和GPT-3、Falcon、MosaicMPT和BLOOM。

應(yīng)對(duì)動(dòng)態(tài)工作負(fù)載的“運(yùn)行中批處理”機(jī)制

由于大型語言模型本身的性質(zhì),模型的工作負(fù)載可能是高度動(dòng)態(tài)的,工作負(fù)載的需求和任務(wù)使用情況也可能會(huì)隨著時(shí)間的推移而發(fā)生變化,單個(gè)模型可以同時(shí)用作聊天機(jī)器人來提問和回答,也可以用于總結(jié)大型文檔和簡(jiǎn)短文檔。因此,輸出大小可能會(huì)出現(xiàn)完全不同的數(shù)量級(jí)。為了應(yīng)對(duì)這些不同的工作負(fù)載,TensorRT-LLM引入了一種稱為“運(yùn)行中批處理”的機(jī)制,這是一個(gè)優(yōu)化調(diào)度的過程,把文本生成過程分解為多個(gè)片段,以便可以將移入或者移出GPU,這樣在開始新一批之前就不需要完成整批工作負(fù)載了。以前,如果有大型請(qǐng)求的話,例如對(duì)非常大的文檔進(jìn)行摘要提取,那么后面所有的內(nèi)容都必須等待該過程完成才能使隊(duì)列繼續(xù)前進(jìn)。Nvidia一直在與眾多廠商合作優(yōu)化TensorRT-LLM,包括Meta、Cohere、Grammarly、Databricks和Tabnine。在他們的幫助下,Nvidia不斷簡(jiǎn)化軟件套件中的功能和工具集,包括開源Python應(yīng)用用戶界面,用于定義和優(yōu)化新架構(gòu)以定制大型語言模型。例如,MosaicML在將TensorRT-LLM與其現(xiàn)有軟件堆棧集成時(shí)在TensorRT-LLM之上添加額外的功能。Databricks公司工程副總裁Naveen Rao表示,這是一個(gè)簡(jiǎn)單的過程。“TensorRT-LLM易于使用,功能豐富,包括令牌流、動(dòng)態(tài)批處理、分頁注意力、量化等,而且效率很高,為使用 NVIDIA GPU的大型語言模型服務(wù)提供了最佳性能,并使我們能夠?qū)⒐?jié)省的成本回饋給我們的客戶?!?/span>Nvidia稱,TensorRT-LLM及其帶來的好處(包括運(yùn)行中批處理功能)可以讓使用Nvidia H100提取文章摘要的推理性能提高1倍多。在使用GPT-J-6B模型進(jìn)行對(duì)CNN/每日郵報(bào)文章摘要的A100測(cè)試中,僅H100就要比A100快4倍,啟用TensorRT-LLM優(yōu)化后,速度快了8倍。TensorRT-LLM為開發(fā)人員和工程師提供了深度學(xué)習(xí)編譯器、優(yōu)化的大型語言模型內(nèi)核、預(yù)處理和后處理、多GPU/多節(jié)點(diǎn)通信功能、以及簡(jiǎn)單的開源API,使他們能夠快速優(yōu)化和執(zhí)行大型語言模型生產(chǎn)的推理。隨著大型語言模型繼續(xù)重塑數(shù)據(jù)中心,企業(yè)需要更高的性能就意味著開發(fā)人員比以往任何時(shí)候都更需要能夠?yàn)樗麄兲峁┚邆涔δ芎驮L問權(quán)限的工具,以提供更高性能的結(jié)果。TensorRT-LLM軟件套件現(xiàn)已可供Nvidia開發(fā)人員計(jì)劃中的開發(fā)人員搶先體驗(yàn),并將于下個(gè)月集成到用于生產(chǎn)型AI端到端軟件平臺(tái)Nvidia AI Enterprise的NeMo框架中。

5. 魔法打敗魔法,AI數(shù)據(jù)需要AI解決方案

原文:https://new.qq.com/rain/a/20230914A07W7X00
根據(jù)Kompprise委托進(jìn)行的“非結(jié)構(gòu)化數(shù)據(jù)管理狀況”調(diào)查 顯示,人工智能正成為IT和商業(yè)領(lǐng)袖面臨的主要數(shù)據(jù)管理挑戰(zhàn)。研究顯示,公司在很大程度上允許員工使用生成型人工智能,但三分之二(66%)的公司擔(dān)心它可能帶來的數(shù)據(jù)治理風(fēng)險(xiǎn),包括隱私、安全以及供應(yīng)商解決方案中缺乏數(shù)據(jù)源透明度。這項(xiàng)由數(shù)據(jù)管理供應(yīng)商Kompprise委托進(jìn)行的“非結(jié)構(gòu)化數(shù)據(jù)管理狀況”調(diào)查收集了美國(guó)和英國(guó)擁有1000多名員工的公司的300名企業(yè)存儲(chǔ)IT和業(yè)務(wù)決策者的回復(fù)。雖然只有10%的組織不允許員工使用生成人工智能,但大多數(shù)組織擔(dān)心不道德、有偏見或不準(zhǔn)確的輸出,以及公司數(shù)據(jù)泄露到供應(yīng)商的人工智能系統(tǒng)中。為了應(yīng)對(duì)這些挑戰(zhàn),同時(shí)也從人工智能中尋找競(jìng)爭(zhēng)優(yōu)勢(shì),研究發(fā)現(xiàn),40%的領(lǐng)導(dǎo)者正在采取多管齊下的方法來降低人工智能中非結(jié)構(gòu)化數(shù)據(jù)的風(fēng)險(xiǎn),包括存儲(chǔ)、數(shù)據(jù)管理和安全工具,以及使用內(nèi)部工作組來監(jiān)督人工智能的使用。領(lǐng)導(dǎo)者面臨的最大非結(jié)構(gòu)化數(shù)據(jù)管理挑戰(zhàn)是“在不干擾用戶和應(yīng)用程序的情況下移動(dòng)數(shù)據(jù)”(47%),但緊隨其后的是“為人工智能和云服務(wù)做準(zhǔn)備”(46%)。“生成式人工智能對(duì)數(shù)據(jù)治理和保護(hù)提出了新的問題,” NAND Research首席分析師Steve McDowell表示,“研究顯示,IT領(lǐng)導(dǎo)者正在努力在快速推出生成式人工智能解決方案的同時(shí),負(fù)責(zé)平衡企業(yè)數(shù)據(jù)的保護(hù),但這是一個(gè)困難的挑戰(zhàn),需要采用智能工具?!?/span>“IT領(lǐng)導(dǎo)者正在將重點(diǎn)轉(zhuǎn)移到利用生成性人工智能解決方案上,但他們希望在這樣做時(shí)有所限制, ” Kompprise首席執(zhí)行官Kumar Goswami補(bǔ)充道,“人工智能的數(shù)據(jù)治理需要正確的數(shù)據(jù)管理策略,包括跨數(shù)據(jù)存儲(chǔ)孤島的可見性、數(shù)據(jù)來源的透明度、高性能的數(shù)據(jù)移動(dòng)性和安全的數(shù)據(jù)訪問?!?/span>

6. 俄IT巨頭Yandex開發(fā)GPT大模型,稱與ChatGPT抗衡“只是時(shí)間問題”

原文:https://www.163.com/dy/article/IE9Q30M00511B8LM.html
俄媒 Russia Today 當(dāng)?shù)貢r(shí)間 9 日?qǐng)?bào)道,當(dāng)?shù)乜萍季揞^ Yandex 在采訪中表示,該公司開發(fā)的 YandexGPT 相比于美國(guó)競(jìng)爭(zhēng)對(duì)手 OpenAI 開發(fā)的 ChatGPT 而言,具有更大的前途。 andex 的搜索和廣告技術(shù)業(yè)務(wù)部主管 Dmitry Masyuk 表示,YandexGPT 在生成俄語內(nèi)容時(shí)的表現(xiàn)已經(jīng)能夠“穩(wěn)步超越”ChatGPT 3.5 版本,甚至在許多情況下提供了優(yōu)于 ChatGPT 4.0 的回答,更表示 YandexGPT 與其美國(guó)對(duì)手抗衡將“只是時(shí)間問題”。而跟 Meta 公司開發(fā)的 Llama-2-7b 相比,YandexGPT 也能夠生成“更好的回答”,包括生成英語內(nèi)容的情況。Dmitry Masyuk 也稱,公司正在不斷評(píng)估其生成式 AI 與 ChatGPT 的技術(shù)進(jìn)展情況。很難對(duì)這兩個(gè)系統(tǒng)進(jìn)行比較,它們可能各有所長(zhǎng)。比如說,一個(gè)能夠解決物理學(xué)問題、撰寫童話故事、給 CEO 寫信的神經(jīng)網(wǎng)絡(luò)在某些方面做得更好,而在其他方面稍顯遜色,那么總體來看,這個(gè)系統(tǒng)該說它“更好”,還是“更差”呢?IT之家注:Yandex 的大模型產(chǎn)品于今年 5 月首發(fā)亮相,包含聊天機(jī)器人、AI 助手,能夠生成、重構(gòu)或匯總基于文本內(nèi)容的信息,并可解決其他業(yè)務(wù)有關(guān)問題。今年 9 月,該公司推出了這款大模型產(chǎn)品的升級(jí)版 ——YandexGPT 2,號(hào)稱能夠解決更多問題,用于更多場(chǎng)景,提供更加精確的答案。 ———————End—————— 點(diǎn)擊閱讀原文進(jìn)入官網(wǎng)


原文標(biāo)題:【AI簡(jiǎn)報(bào)20230915期】耗水量激增!AI競(jìng)賽變得更為困難,AI數(shù)據(jù)需要AI解決方案

文章出處:【微信公眾號(hào):RTThread物聯(lián)網(wǎng)操作系統(tǒng)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。


聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • RT-Thread
    +關(guān)注

    關(guān)注

    31

    文章

    1239

    瀏覽量

    39435

原文標(biāo)題:【AI簡(jiǎn)報(bào)20230915期】耗水量激增!AI競(jìng)賽變得更為困難,AI數(shù)據(jù)需要AI解決方案

文章出處:【微信號(hào):RTThread,微信公眾號(hào):RTThread物聯(lián)網(wǎng)操作系統(tǒng)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    AI調(diào)試工具

    APIAI
    草帽王路飛
    發(fā)布于 :2024年09月02日 11:31:57

    云開發(fā)AI助手

    AI
    草帽王路飛
    發(fā)布于 :2024年07月22日 14:41:54

    視頻3--場(chǎng)景自動(dòng)化AI助手

    AI
    草帽王路飛
    發(fā)布于 :2024年07月22日 11:16:13

    視頻2--場(chǎng)景自動(dòng)化AI助手

    AI
    草帽王路飛
    發(fā)布于 :2024年07月22日 11:15:34

    平衡創(chuàng)新與倫理:AI時(shí)代的隱私保護(hù)和算法公平

    ,如果醫(yī)生和患者都能了解AI推薦治療方案的原因,將大大增加對(duì)技術(shù)的接受度和信任。 算法公平性的保障同樣不可或缺。AI系統(tǒng)在設(shè)計(jì)時(shí)就需要考慮到多樣性和包容性,避免因?yàn)橛?xùn)練
    發(fā)表于 07-16 15:07

    AI芯片哪里買?

    AI芯片
    芯廣場(chǎng)
    發(fā)布于 :2024年05月31日 16:58:19

    risc-v多核芯片在AI方面的應(yīng)用

    應(yīng)用中的成本。 最后,RISC-V多核芯片不僅可以應(yīng)用于AI邊緣計(jì)算領(lǐng)域,還可以擴(kuò)展到其他領(lǐng)域,如數(shù)據(jù)中心、云計(jì)算、自動(dòng)駕駛、機(jī)器人等,為這些領(lǐng)域提供高效、靈活和安全的解決方案。 總的來說,RISC-V
    發(fā)表于 04-28 09:20

    開發(fā)者手機(jī) AI - 目標(biāo)識(shí)別 demo

    。 NNRt host 實(shí)現(xiàn)了NNRt HDI接口功能,通過對(duì)接底層AI芯片接口為上層應(yīng)用提供NPU硬件推理的能力。 功能實(shí)現(xiàn) JS從相機(jī)數(shù)據(jù)流獲取一張圖片,調(diào)用Native的接口進(jìn)行目標(biāo)識(shí)別的處理
    發(fā)表于 04-11 16:14

    ai_reloc_network.h引入后,ai_datatypes_format.h和formats_list.h報(bào)錯(cuò)的原因?

    當(dāng)準(zhǔn)備使用神經(jīng)網(wǎng)絡(luò)的relocatable方式,將ai_reloc_network.h頭文件加入程序編譯后,ai_datatypes_format.h在cubeIDE和Keilc里分別報(bào)如下錯(cuò)誤
    發(fā)表于 03-14 06:23

    NanoEdge AI的技術(shù)原理、應(yīng)用場(chǎng)景及優(yōu)勢(shì)

    NanoEdge AI 是一種基于邊緣計(jì)算的人工智能技術(shù),旨在將人工智能算法應(yīng)用于物聯(lián)網(wǎng)(IoT)設(shè)備和傳感器。這種技術(shù)的核心思想是將數(shù)據(jù)處理和分析從云端轉(zhuǎn)移到設(shè)備本身,從而減少數(shù)據(jù)傳輸延遲、降低
    發(fā)表于 03-12 08:09

    AI大模型可以設(shè)計(jì)電路嗎?

    AI大模型
    電子發(fā)燒友網(wǎng)官方
    發(fā)布于 :2024年01月02日 15:09:29

    【嵌入式AI簡(jiǎn)報(bào)20231117】面對(duì)未來AI的三大挑戰(zhàn)!

    AI 簡(jiǎn)報(bào) 20231117 1.面對(duì)未來的AI:三大挑戰(zhàn) 當(dāng)AI如ChatGPT在2022年末突然嶄露頭角時(shí),不僅展現(xiàn)了
    的頭像 發(fā)表于 11-17 21:10 ?733次閱讀
    【嵌入式<b class='flag-5'>AI</b><b class='flag-5'>簡(jiǎn)報(bào)</b>20231117<b class='flag-5'>期</b>】面對(duì)未來<b class='flag-5'>AI</b>的三大挑戰(zhàn)!

    【KV260視覺入門套件試用體驗(yàn)】Vitis AI 構(gòu)建開發(fā)環(huán)境,并使用inspector檢查模型

    、低成本的 AI 解決方案。 Vitis AI 可以做什么? Vitis AI 可以做很多事情,例如: 優(yōu)化和編譯深度學(xué)習(xí)模型,使其適應(yīng)賽靈思硬件平臺(tái)的架構(gòu)和性能。 提供豐富的
    發(fā)表于 10-14 15:34