使用全新NVIDIA AI Blueprint開(kāi)發(fā)視覺(jué)AI智能體

為提高生產(chǎn)力、優(yōu)化流程和創(chuàng)造更加安全的空間，埃森哲、戴爾科技和聯(lián)想等公司正在使用全新 NVIDIA AI Blueprint 開(kāi)發(fā)視覺(jué) AI 智能體。

世界各地的企業(yè)和公共部門組織都在開(kāi)發(fā) AI 智能體，以提高工作團(tuán)隊(duì)的能力。這些團(tuán)隊(duì)依賴于越來(lái)越多的設(shè)備（包括攝像頭、物聯(lián)網(wǎng)傳感器和車輛）所提供的視覺(jué)信息。

為了協(xié)助他們的工作，NVIDIA 推出了適用于視頻搜索和摘要的全新NVIDIA AI Blueprint。借助該藍(lán)圖，幾乎所有行業(yè)的開(kāi)發(fā)人員都可以構(gòu)建出能夠分析視頻和圖像內(nèi)容的視覺(jué) AI 智能體，這些智能體能夠回答用戶問(wèn)題、生成摘要并針對(duì)特定場(chǎng)景發(fā)出警報(bào)。

該藍(lán)圖是NVIDIA Metropolis（一套用于構(gòu)建視覺(jué) AI 應(yīng)用的開(kāi)發(fā)者工具）的一部分，是一套結(jié)合了 NVIDIA 計(jì)算機(jī)視覺(jué)和生成式 AI 技術(shù)的可定制工作流。

埃森哲、戴爾科技、聯(lián)想等全球系統(tǒng)集成商和技術(shù)解決方案提供商正在將這一適用于視覺(jué)搜索和摘要的 NVIDIA AI Blueprint 帶給全球的企業(yè)和城市，加速下一代 AI 應(yīng)用的發(fā)展。這些 AI 應(yīng)用可大幅提高工廠、倉(cāng)庫(kù)、商店、機(jī)場(chǎng)、交通路口等場(chǎng)所的生產(chǎn)力和安全性。

該 NVIDIA AI Blueprint 于全球智慧城市大會(huì)之前發(fā)布，為視覺(jué)計(jì)算開(kāi)發(fā)者提供了一整套專為構(gòu)建和部署生成式 AI 驅(qū)動(dòng)的智能體而優(yōu)化的軟件。這些由生成式 AI 驅(qū)動(dòng)的智能體能夠獲取并理解海量實(shí)時(shí)視頻流或數(shù)據(jù)檔案。

用戶可以使用自然語(yǔ)言提示，而不是死板的軟件代碼，來(lái)定制這些視覺(jué) AI 智能體，從而降低在各個(gè)行業(yè)和智慧城市應(yīng)用中部署虛擬助手的門檻。

NVIDIA AI Blueprint 充分發(fā)揮

視覺(jué)語(yǔ)言模型的作用

視覺(jué) AI 智能體由視覺(jué)語(yǔ)言模型（VLM）驅(qū)動(dòng)。這類生成式 AI 模型集計(jì)算機(jī)視覺(jué)和語(yǔ)言理解能力于一身，能夠解釋物理世界并執(zhí)行推理任務(wù)。

適用于視頻搜索和摘要的 NVIDIA AI Blueprint 可通過(guò)NVIDIA NIM微服務(wù)進(jìn)行設(shè)置，以便用于NVIDIA VILA等 VLM、Meta 的 Llama 3.1 405B 等 LLM，以及用于 GPU 加速問(wèn)答和上下文感知檢索增強(qiáng)生成的 AI 模型。開(kāi)發(fā)人員可以輕松換入其他 VLM、LLM 和圖數(shù)據(jù)庫(kù)，并使用NVIDIA NeMo平臺(tái)對(duì)其進(jìn)行微調(diào)，從而滿足其特殊環(huán)境和用例的要求。

在研究和優(yōu)化用于智慧城市應(yīng)用的生成式 AI 模型時(shí)，開(kāi)發(fā)人員可以通過(guò)使用 NVIDIA AI Blueprint 來(lái)節(jié)省數(shù)月時(shí)間。如果能夠?qū)⒃撍{(lán)圖部署在邊緣、本地或云端的 NVIDIA GPU 上，就可以大大加快梳理視頻檔案以識(shí)別關(guān)鍵時(shí)刻的過(guò)程。

在倉(cāng)庫(kù)環(huán)境中，使用該工作流構(gòu)建的 AI 智能體會(huì)在違反安全規(guī)定時(shí)向工人發(fā)出警報(bào)。在繁忙的十字路口，AI 智能體可以識(shí)別交通事故并生成報(bào)告，為應(yīng)急響應(yīng)工作提供協(xié)助。在公共基礎(chǔ)設(shè)施領(lǐng)域，維護(hù)人員可以要求 AI 智能體查看航拍鏡頭并識(shí)別正在惡化的道路、火車軌道或橋梁，幫助進(jìn)行主動(dòng)維護(hù)。

除了各種智慧空間外，視覺(jué) AI 智能體還可用于為視力受損人士總結(jié)視頻，自動(dòng)生成體育賽事回顧，幫助標(biāo)記海量視覺(jué)數(shù)據(jù)集，以用于訓(xùn)練其他 AI 模型。

該視頻搜索和摘要工作流是 NVIDIA AI Blueprint 系列的一員。這些藍(lán)圖可幫助用戶輕松創(chuàng)建 AI 驅(qū)動(dòng)的數(shù)字虛擬化身、構(gòu)建用于個(gè)性化客戶服務(wù)的虛擬助手，以及從 PDF 數(shù)據(jù)中提煉企業(yè)洞察。

NVIDIA AI Blueprint 可供開(kāi)發(fā)人員免費(fèi)體驗(yàn)和下載，并可通過(guò)NVIDIA AI Enterprise部署到任何加速數(shù)據(jù)中心和云中的生產(chǎn)。NVIDIA AI Enterprise 是一個(gè)端到端軟件平臺(tái)，可加速數(shù)據(jù)科學(xué)管線，并簡(jiǎn)化生成式 AI 的開(kāi)發(fā)和部署。

AI 智能體提供

從倉(cāng)庫(kù)到世界各國(guó)首都的洞察

在 NVIDIA 合作伙伴生態(tài)的幫助下，企業(yè)和公共部門客戶還可以充分利用整個(gè) NVIDIA AI Blueprint 系列。

全球?qū)I(yè)服務(wù)公司埃森哲已將 NVIDIA AI Blueprint 集成到其基于NVIDIA AI Foundry構(gòu)建的 Accenture AI Refinery 中，使客戶能夠開(kāi)發(fā)在企業(yè)數(shù)據(jù)上訓(xùn)練而成的定制 AI 模型。

東南亞的全球系統(tǒng)集成商（包括馬來(lái)西亞的 ITMAX 和越南的 FPT）正在基于 NVIDIA AI Blueprint 的視頻搜索和摘要功能，構(gòu)建適用于智慧城市和智能交通應(yīng)用的 AI 智能體。

開(kāi)發(fā)人員還可以利用全球服務(wù)器制造商提供的計(jì)算、網(wǎng)絡(luò)和軟件，在 NVIDIA AI 平臺(tái)上構(gòu)建和部署 NVIDIA AI Blueprint。

戴爾將在其 NativeEdge 平臺(tái)上使用 VLM 和智能體來(lái)增強(qiáng)現(xiàn)有的邊緣 AI 應(yīng)用，并創(chuàng)建新的邊緣 AI 功能。戴爾與 NVIDIA 合作開(kāi)發(fā)的戴爾 AI 工廠參考設(shè)計(jì)以及適用于視頻搜索和摘要的 NVIDIA AI Blueprint 將支持?jǐn)?shù)據(jù)中心、邊緣和本地多模態(tài)企業(yè)用例專用 AI 工作流中的 VLM 功能。

NVIDIA AI Blueprint 也被整合到 NVIDIA 驅(qū)動(dòng)的聯(lián)想混合 AI 解決方案中。

NVIDIA Metropolis 生態(tài)中的智慧城市應(yīng)用提供商 K2K 等公司將使用這一全新 NVIDIA AI Blueprint 來(lái)構(gòu)建能夠?qū)崟r(shí)分析實(shí)時(shí)交通攝像頭的 AI 智能體。這將使城市政府官員能夠詢問(wèn)關(guān)于道路情況的問(wèn)題，并獲得運(yùn)營(yíng)改進(jìn)方面的建議。NVIDIA 還與意大利巴勒莫市的交通管理機(jī)構(gòu)合作，使用 NIM 微服務(wù)和 NVIDIA AI Blueprint 來(lái)部署視覺(jué) AI 智能體。

您可參加 11 月 7 日在巴塞羅那舉行的全球智慧城市大會(huì)，并在 NVIDIA 展臺(tái)進(jìn)一步了解用于視頻搜索和摘要的 NVIDIA AI Blueprint。