電子發(fā)燒友App

硬聲App

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

電子發(fā)燒友網(wǎng)>人工智能>NVIDIA推出用于大型語言模型和生成式AI工作負載的推理平臺

NVIDIA推出用于大型語言模型和生成式AI工作負載的推理平臺

收藏

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴

評論

查看更多

相關(guān)推薦

大型語言模型的邏輯推理能力探究

最新研究揭示,盡管大語言模型LLMs在語言理解上表現(xiàn)出色,但在邏輯推理方面仍有待提高。為此,研究者們推出了GLoRE,一個全新的邏輯推理評估基準,包含12個數(shù)據(jù)集,覆蓋三大任務(wù)類型。
2023-11-23 15:05:16476

探索高效的大型語言模型!大型語言模型的高效學(xué)習(xí)方法

大型語言模型(LLMs)的應(yīng)用中,提示工程(Prompt Engineering)是一種關(guān)鍵技術(shù),用于引導(dǎo)模型生成特定輸出或執(zhí)行特定任務(wù)。通過精心設(shè)計的提示,可以顯著提高LLMs的性能和適用性。本文將介紹提示工程的主要方法和技巧,包括少樣本提示、提示壓縮和提示生成。
2023-12-13 14:21:47274

NVIDIA 借助超大規(guī)模 AI 語言模型為全球企業(yè)賦能

NVIDIA NeMo Megatron 框架; 可定制的大規(guī)模語言模型 Megatron 530B;多GPU、多節(jié)點 Triton推理服務(wù)器助力基于語言AI開發(fā)和部署,推動行業(yè)和科學(xué)發(fā)展。
2021-11-10 14:22:52752

NVIDIA 推出大型語言模型云服務(wù)以推進 AI 和數(shù)字生物學(xué)的發(fā)展

NVIDIA NeMo 大型語言模型(LLM)服務(wù)幫助開發(fā)者定制大規(guī)模語言模型;NVIDIA BioNeMo 服務(wù)幫助研究人員生成和預(yù)測分子、蛋白質(zhì)及 DNA ? 美國加利福尼亞州圣克拉拉
2022-09-21 15:24:52434

NVIDIA推出DGX GH200 AI超級計算機

驅(qū)動的NVIDIA DGX?超級計算機,旨在助力開發(fā)面向生成AI語言應(yīng)用、推薦系統(tǒng)和數(shù)據(jù)分析工作負載的巨型、下一代模型。 ? NVIDIA DGX GH200的超大共享內(nèi)存空間通過NVLink互連技術(shù)以及NVLink
2023-05-30 14:15:36422

AI模型在醫(yī)療領(lǐng)域起飛

電子發(fā)燒友網(wǎng)報道(文/李彎彎)ChatGPT等大型語言模型語言理解、生成、知識推理等方面正展現(xiàn)出令人驚艷的能力。近段時間,各企業(yè)開始探索大模型在不同行業(yè)中的應(yīng)用落地,并針對不同領(lǐng)域推出相對應(yīng)的行業(yè)
2023-07-25 00:12:001434

NVIDIA Jetson的相關(guān)資料分享

Jetson概述爆炸增長的AI模型的復(fù)雜性專為自主機器開發(fā)人員設(shè)計的AI計算板加快AI處理的SDK“JetPack”概述NVIDIA Jetson是NVIDIA公司嵌入單板計算機的一系列
2021-11-09 08:26:45

NVIDIA 在首個AI推理基準測試中大放異彩

的BERT、GNMT 和Jasper 等AI模型開源優(yōu)化幫助開發(fā)者實現(xiàn)頂尖推理性能。NVIDIA的客戶和合作伙伴中包括有會話AI領(lǐng)域的一流公司,比如Kensho、微軟、Nuance、Optum等。最后要
2019-11-08 19:44:51

AscendCL快速入門——模型推理篇(上)

騰CANN平臺專用的離線模型,既然要調(diào)用模型進行推理,首先當(dāng)然是要把模型加載進來,最簡單的場景就是從磁盤加載一個離線模型文件進內(nèi)存,接口如下: aclError aclmdlLoadFromFile
2023-08-24 11:04:14

Dllite_micro (輕量級的 AI 推理框架)

DLLite-Micro 是一個輕量級的 AI 推理框架,可以為 OpenHarmony OS 的輕量設(shè)備和小型設(shè)備提供深度模型推理能力DLLite-Micro 向開發(fā)者提供清晰、易上手的北向接口
2021-08-05 11:40:11

HarmonyOS:使用MindSpore Lite引擎進行模型推理

場景介紹 MindSpore Lite 是一款 AI 引擎,它提供了面向不同硬件設(shè)備 AI 模型推理的功能,目前已經(jīng)在圖像分類、目標識別、人臉識別、文字識別等應(yīng)用中廣泛使用。 本文介紹
2023-12-14 11:41:13

壓縮模型會加速推理嗎?

你好我使用 STM32CUBE-AI v5.1.2 ApplicationTemplate 將簡單的 CNN 導(dǎo)入到 STM32L462RCT我發(fā)現(xiàn)壓縮模型推理時間沒有影響。aiRun 程序在 8
2023-01-29 06:24:08

在X-CUBE-AI.7.1.0中導(dǎo)入由在線AI平臺生成的.h5模型報錯怎么解決?

你好, 我試圖在 X-CUBE-AI.7.1.0 中導(dǎo)入由在線 AI 平臺生成的 .h5 模型,收到錯誤:E010(InvalidModelError): Model saved with Keras 2.7.0 but
2022-12-27 06:10:35

基于SRAM的方法可以加速AI推理

基于SRAM的方法可加速AI推理
2020-12-30 07:28:28

如何在RK3399這一 Arm64平臺上搭建Tengine AI推理框架呢

Tengine是什么呢?如何在RK3399這一 Arm64平臺上搭建Tengine AI推理框架呢?
2022-03-04 12:31:35

嵌入AI在linux芯片平臺上的部署方案分享

ONNX文件并生成特定平臺和運行框架所支持的神經(jīng)網(wǎng)絡(luò)模型。ONNX本身不是AI神經(jīng)網(wǎng)絡(luò)運行框架,只是AI神經(jīng)網(wǎng)絡(luò)模型通用中間描述文件格式GitHub鏈接https://github.com/onnx/onnx編程語言C++ / Python熱度5星Tenso
2021-12-14 06:18:44

嵌入邊緣AI應(yīng)用開發(fā)指南

如果在沒有嵌入處理器供應(yīng)商提供的合適工具和軟件的支持下,既想設(shè)計高能效的邊緣人工智能(AI)系統(tǒng),同時又要加快產(chǎn)品上市時間,這項工作難免會冗長乏味。面臨的一系列挑戰(zhàn)包括選擇恰當(dāng)?shù)纳疃葘W(xué)習(xí)模型
2022-11-03 06:53:28

深度剖析OpenHarmony AI調(diào)度管理與推理接口

管理圖 主要流程:任務(wù)推理創(chuàng)建流程:首先配置客戶端sessionId,端配置clientId,由clientId和clientId組合生成唯一的transactionId,然后根據(jù)模型框架類型和推理網(wǎng)絡(luò)
2022-03-25 11:15:36

深度學(xué)習(xí)推理和計算-通用AI核心

,支持廣泛的應(yīng)用程序和動態(tài)工作負載。本文將討論這些行業(yè)挑戰(zhàn)可以在不同級別的硬件和軟件設(shè)計采用Xilinx VERSAL AI核心,業(yè)界首創(chuàng)自適應(yīng)計算加速平臺超越了CPU/GPU和FPGA的性能。
2020-11-01 09:28:57

LuxStudio增材制造晶格模型自動生成平臺

對一些非參數(shù)化設(shè)計師以及3D打印純小白非常不友好。為此,清鋒科技推出了面向增材制造的晶格模型自動生成平臺——LuxStudio,不僅可以實現(xiàn)多種結(jié)構(gòu)晶格的自動生成
2022-11-09 10:43:02

亞馬遜推出AWS Inferentia芯片 專門用于部署帶有GPU的大型AI模型

亞馬遜宣布推出Inferentia,這是由AWS設(shè)計的芯片,專門用于部署帶有GPU的大型AI模型,該芯片將于明年推出。
2018-12-03 09:46:081753

NVIDIA技術(shù)助力線上大模型推理

自然語言理解、匹配排序等等,這些模型的訓(xùn)練和推理都大量依賴于NVIDIA GPU,尤其在推理方面,NVIDIA GPU及相應(yīng)的解決方案都滿足了業(yè)務(wù)所需的延遲和吞吐要求。 微信搜索業(yè)務(wù)需要更高效平臺 微信搜索業(yè)務(wù)由多個子模塊構(gòu)成,包括查
2021-10-28 15:28:121551

NVIDIA為全球企業(yè)開發(fā)和部署大型語言模型打開一扇新的大門

NVIDIA NeMo Megatron 框架; 可定制的大規(guī)模語言模型Megatron 530B;多GPU、多節(jié)點 Triton推理服務(wù)器助力基于語言AI開發(fā)和部署,推動行業(yè)和科學(xué)發(fā)展
2021-11-12 14:30:071327

NVIDIA宣布其AI推理平臺的重大更新

軟件的新功能,該軟件為所有AI模型和框架提供跨平臺推理;同時也包含對NVIDIA TensorRT的更新,該軟件優(yōu)化AI模型并為NVIDIA GPU上的高性能推理提供運行時優(yōu)化。 NVIDIA推出NVIDIA A2 Tensor Core GPU,這是一款用于
2021-11-12 14:42:531684

NVIDIA Triton開源推理服務(wù)軟件三大功能推動效率提升

Microsoft Teams借助AI生成的實時字幕和轉(zhuǎn)錄功能,幫助全球?qū)W生和職場人士順利進行在線會議。用于訓(xùn)練的NVIDIA AI計算技術(shù)和用于推理語音識別模型NVIDIA Triton推理服務(wù)器進一步提升了這兩個功能。
2022-01-04 14:20:111407

NVIDIA Triton推理服務(wù)器幫助Teams使用認知服務(wù)優(yōu)化語音識別模型

Microsoft Teams借助AI生成的實時字幕和轉(zhuǎn)錄功能,幫助全球?qū)W生和職場人士順利進行在線會議。用于訓(xùn)練的NVIDIA AI計算技術(shù)和用于推理語音識別模型NVIDIA Triton推理服務(wù)器進一步提升了這兩個功能。
2022-01-04 17:45:121472

Microsoft使用NVIDIA Triton加速AI Transformer模型應(yīng)用

Microsoft 的目標是,通過結(jié)合使用 Azure 與 NVIDIA GPU 和 Triton 推理軟件,率先將一系列強大的 AI Transformer 模型投入生產(chǎn)用途。
2022-04-02 13:04:211456

NVIDIA推理平臺和全棧方法提供最佳性能

現(xiàn)在,您和開發(fā)人員社區(qū)的其他成員都可以使用這些成果,主要是以開源軟件的形式。此外, TensorRT 和 Triton 推理服務(wù)器可從?NVIDIA NGC?免費獲得,以及預(yù)訓(xùn)練模型、深度學(xué)習(xí)框架
2022-04-08 16:31:31931

NVIDIA TensorRT助力打造AI計算機視覺算法推理平臺

“在使用 NVIDIA TensorRT和NVIDIA T4 GPU對平臺賦能后,“極星”推理平臺的算法推理效率得到了進一步的提升,更好地支持速接入各類算法、數(shù)據(jù)及智能設(shè)備,實現(xiàn)AI自閉環(huán)能力,并通過應(yīng)用服務(wù)和標準化接口,幫助終端客戶低成本實現(xiàn)AI與業(yè)務(wù)的結(jié)合,快速構(gòu)建智能應(yīng)用。
2022-04-13 14:49:19862

使用NVIDIA Triton推理服務(wù)器簡化邊緣AI模型部署

  NVIDIA Triton 有助于在每個數(shù)據(jù)中心、云和嵌入式設(shè)備中實現(xiàn)標準化的可擴展生產(chǎn) AI 。它支持多個框架,在 GPU 和 DLA 等多個計算引擎上運行模型,處理不同類型的推理查詢。通過與 NVIDIA JetPack 的集成, NVIDIA Triton 可用于嵌入式應(yīng)用。
2022-04-18 15:40:022306

基于NVIDIA Triton的AI模型高效部署實踐

NVIDIA Triton 推理服務(wù)器(以前稱為 TensorRT 推理服務(wù)器)是一款開源軟件,可簡化深度學(xué)習(xí)模型在生產(chǎn)環(huán)境中的部署。借助 Triton 推理服務(wù)器,Devops 和 MLops
2022-06-28 15:49:471293

騰訊云與NVIDIA仍持續(xù)為AI推理加速進行合作

Kit 不僅大大提升了 GPU 集群上多機多卡分布式訓(xùn)練的效率,對于 GPU 上的模型推理也通過集成 NVIDIA TensorRT 帶來了顯著加速。雙方團隊就 GPU 推理加速這一話題將進行持續(xù)深入的合作,推出定制化的優(yōu)化方案,為業(yè)界客戶帶來顯著的性能收益。
2022-08-31 09:24:071235

騰訊云TI平臺利用NVIDIA Triton推理服務(wù)器構(gòu)造不同AI應(yīng)用場景需求

騰訊云 TI 平臺 TI-ONE 利用 NVIDIA Triton 推理服務(wù)器構(gòu)造高性能推理服務(wù)部署平臺,使用戶能夠非常便捷地部署包括 TNN 模型在內(nèi)的多種深度學(xué)習(xí)框架下獲得的 AI 模型,并且顯著提升推理服務(wù)的吞吐、提升 GPU 利用率。
2022-09-05 15:33:011419

螞蟻鏈AIoT團隊與NVIDIA合作加速AI推理

螞蟻鏈 AIoT 團隊與 NVIDIA 合作,將量化感知訓(xùn)練(QAT)技術(shù)應(yīng)用于深度學(xué)習(xí)模型性能優(yōu)化中,并通過 NVIDIA TensorRT 高性能推理 SDK 進行高效率部署, 通過 INT8 推理, 吞吐量提升了 3 倍, 助力螞蟻鏈版權(quán) AI 平臺中的模型推理服務(wù)大幅降本增效。
2022-09-09 09:53:52872

NVIDIA NeMo最新語言模型服務(wù)幫助開發(fā)者定制大規(guī)模語言模型

NVIDIA NeMo 大型語言模型(LLM)服務(wù)幫助開發(fā)者定制大規(guī)模語言模型;NVIDIA BioNeMo 服務(wù)幫助研究人員生成和預(yù)測分子、蛋白質(zhì)及 DNA
2022-09-22 10:42:29742

KT利用NVIDIA AI平臺訓(xùn)練大型語言模型

韓國先進的移動運營商構(gòu)建包含數(shù)百億個參數(shù)的大型語言模型,并使用 NVIDIA DGX SuperPOD 平臺和 NeMo Megatron 框架訓(xùn)練該模型。
2022-09-27 09:24:30915

NVIDIA AI平臺大型語言模型帶來巨大收益

隨著大型語言模型( LLM )的規(guī)模和復(fù)雜性不斷增長, NVIDIA 今天宣布更新 NeMo Megatron 框架,提供高達 30% 的訓(xùn)練速度。
2022-10-10 15:39:42644

NVIDIA GPU加速潞晨科技Colossal-AI模型開發(fā)進程

通過 NVIDIA GPU 加速平臺,Colossal-AI 實現(xiàn)了通過高效多維并行、異構(gòu)內(nèi)存管理、大規(guī)模優(yōu)化庫、自適應(yīng)任務(wù)調(diào)度等方式,更高效快速部署 AI模型訓(xùn)練與推理。
2022-10-19 09:39:391149

NVIDIA 和 Evozyne 創(chuàng)建用于生成蛋白質(zhì)的生成AI 模型

科學(xué)家使用 NVIDIA BioNeMo 創(chuàng)建出能夠生成高質(zhì)量蛋白質(zhì)的大型語言模型,以此加快藥物研發(fā)并助力創(chuàng)造更具可持續(xù)性的環(huán)境。 初創(chuàng)企業(yè) Evozyne 使用 NVIDIA 提供的預(yù)訓(xùn)練 AI
2023-01-13 23:15:02419

大型語言模型有哪些用途?

大型語言模型能識別、總結(jié)、翻譯、預(yù)測和生成文本及其他內(nèi)容。 AI 應(yīng)用在大型語言模型的幫助下,可用于解決總結(jié)文章、編寫故事和參與長對話等多種繁重工作。 大型語言模型(LLM)是一種深度學(xué)習(xí)算法,可以
2023-02-23 19:50:043887

大型語言模型有哪些用途?大型語言模型如何運作呢?

大型語言模型能識別、總結(jié)、翻譯、預(yù)測和生成文本及其他內(nèi)容。
2023-03-08 13:57:006989

NVIDIA 為全球企業(yè)帶來生成AI 推出用于創(chuàng)建大型語言模型和視覺模型的云服務(wù)

AI驅(qū)動的應(yīng)用構(gòu)建自定義模型 ? 加利福尼亞州圣克拉拉 – GTC – 太平洋時間 2023年3月21日 – 為了加速企業(yè)應(yīng)用生成AI,NVIDIA今日宣布推出一套云服務(wù),使企業(yè)能夠構(gòu)建、完善
2023-03-22 13:45:40261

NVIDIA GTC 2023:GPU算力是AI的必需品

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛將在 GTC 2023 上介紹生成AI、元宇宙、大型語言模型、云計算等領(lǐng)域的最新進展。 同時黃仁勛不僅闡述了NVIDIA 在人工智能時代的諸多成就和對未來發(fā)展
2023-03-22 15:23:282900

英偉達 GTC 2023上黃仁勛談生成AI

,NVIDIA AI Foundations云服務(wù)系列為需要構(gòu)建、完善和運行自定義大型語言模型生成AI的客戶提供服務(wù),他們通常使用專有數(shù)據(jù)進行訓(xùn)練并完成特定領(lǐng)域的任務(wù)。 圖源? NVIDIA 直播截圖 Audio2Face 可以支持中文
2023-03-22 17:14:331621

GTC23 | NVIDIA 為全球企業(yè)帶來生成AI推出用于創(chuàng)建大型語言模型和視覺模型的云服務(wù)

Foundations 云服務(wù)為 AI 驅(qū)動的應(yīng)用構(gòu)建 自定義模型 加利福尼亞州圣克拉拉 – GTC – 太平洋時間 2023年3月21日 – 為了加速企業(yè)應(yīng)用生成AI,NVIDIA 宣布推出一套云服務(wù),使企業(yè)
2023-03-23 06:50:04365

GTC23 | NVIDIA 推出用于大型語言模型生成AI 工作負載推理平臺

日 – NVIDIA 于今日推出四款推理平臺。這些平臺針對各種快速興起的生成AI 應(yīng)用進行了優(yōu)化,能夠幫助開發(fā)人員快速構(gòu)建用于提供新服務(wù)和洞察的 AI 驅(qū)動的專業(yè)應(yīng)用。 這些平臺NVIDIA
2023-03-23 06:55:02654

GTC23 | NVIDIA 攜手谷歌云提供強大的全新生成AI 平臺,基于新款 L4 GPU 和 Vertex AI 構(gòu)建

NVIDIA 生成AI 推理平臺將集成至谷歌云 Vertex AI 中;谷歌云成為首家提供 NVIDIA L4 GPU 實例的云服務(wù)商 加利福尼亞州圣克拉拉 – GTC – 太平洋時間 2023
2023-03-23 06:55:02438

GTC23 | NVIDIA 發(fā)布大型語言模型生成AI 服務(wù)以推動生命科學(xué)研發(fā)

年 3 月 21 日 – NVIDIA 今日推出一整套用于自定義 AI 基礎(chǔ)模型生成AI 云服務(wù)。這些服務(wù)將加速新蛋白質(zhì)和治療方法的創(chuàng)建以及基因組學(xué)、化學(xué)、生物學(xué)和分子動力學(xué)等領(lǐng)域的研究。 作為
2023-03-23 06:55:03328

GTC23 | 彌補不足:大型語言模型借企業(yè)數(shù)據(jù)之力變得更加智能

NVIDIA NeMo 服務(wù)幫助企業(yè)將大型語言模型與其專有數(shù)據(jù)相結(jié)合,賦能智能聊天機器人、客戶服務(wù)等更多應(yīng)用。 如今的大型語言模型知識淵博,但它們的工作方式有點像時間膠囊——所收集的信息僅限于第一次
2023-03-25 09:10:03274

GTC23 | NVIDIA 為全球企業(yè)帶來生成AI,推出用于創(chuàng)建大型語言模型和視覺模型的云服務(wù)

Foundations 云服務(wù)為 AI 驅(qū)動的應(yīng)用構(gòu)建 自定義模型 加利福尼亞州圣克拉拉 – GTC – 太平洋時間 2023年3月21日 – 為了加速企業(yè)應(yīng)用生成AINVIDIA 宣布推出一套云服務(wù),使企業(yè)
2023-03-25 15:20:04285

NVIDIA 在 MLPerf 測試中將推理帶到新高度

在最新 MLPerf 基準測試中,NVIDIA H100 和 L4 GPU 將生成AI 和所有其他工作負載帶到了新的水平,Jetson AGX Orin 則在性能和效率方面都有所提升。 作為獨立
2023-04-08 00:30:08389

ServiceNow 與 NVIDIA 宣布聯(lián)合打造面向企業(yè) IT 的生成AI

基于 ServiceNow 平臺并采用 NVIDIA AI 軟件和 DGX 基礎(chǔ)設(shè)施構(gòu)建的自定義大型語言模型將為企業(yè)帶來更智能的工作流自動化 ServiceNow 和 NVIDIA 宣布達成合作伙伴
2023-05-19 00:50:02342

NVIDIA 與微軟合作加速企業(yè)就緒的生成AI

NVIDIA AI Enterprise 與 Azure 機器學(xué)習(xí)集成,提供端到端云平臺,供開發(fā)者構(gòu)建、部署和管理大型語言模型AI 應(yīng)用 微軟 Build 大會——太平洋時間 2023
2023-05-25 09:15:02347

戴爾科技集團與 NVIDIA 聯(lián)合發(fā)布用于安全、本地化部署生成AI 的 Project Helix

?? Project Helix 使企業(yè)能夠輕松構(gòu)建和部署值得信賴的生成AI ?? 戴爾和 NVIDIA 的基礎(chǔ)設(shè)施與軟件包含內(nèi)置的數(shù)據(jù)安全功能,用于本地生成AI 應(yīng)用 戴爾科技集團全球大會
2023-05-25 09:15:02349

NVIDIA 攜手微軟,在生成AI 的新時代推動 Windows PC 創(chuàng)新

行業(yè)領(lǐng)導(dǎo)者打破藩籬,使開發(fā)人員能夠輕松地在 Windows 11 上訓(xùn)練并部署先進的 AI 模型,并在配備 RTX 的 PC 和工作站上提供節(jié)能的推理。 生成AI,以 ChatGPT 等大型語言
2023-05-25 09:15:02509

大型語言模型能否捕捉到它們所處理和生成的文本中的語義信息

? 大型語言模型能否捕捉到它們所處理和生成的文本中的語義信息?這一問題在計算機科學(xué)和自然語言處理領(lǐng)域一直存在爭議。然而,MIT的一項新研究表明,僅基于文本形式訓(xùn)練、用于預(yù)測下一個token的語言模型
2023-05-25 11:34:11434

COMPUTEX2023 | NVIDIA 推出 DGX GH200 AI 超級計算機

Switch System 驅(qū)動的 NVIDIA DGX 超級計算機 ,旨在助力開發(fā)面向生成AI 語言應(yīng)用、推薦系統(tǒng)和數(shù)據(jù)分析工作負載的巨型、下一代模型。 NVIDIA DGX GH200 的超大共享內(nèi)存空間通過 NVLink 互連技術(shù) 以及 NV
2023-05-30 01:40:011459

COMPUTEX2023 | NVIDIA 推出面向超大規(guī)模生成AI 的加速以太網(wǎng)平臺

全新的 NVIDIA Spectrum-X 網(wǎng)絡(luò)平臺NVIDIA Spectrum-4、BlueField-3 DPU 和加速軟件于一身;全球頭部云服務(wù)提供商采用該平臺來橫向擴展其生成AI
2023-05-30 01:40:02352

NVIDIA 為 1 億臺 Windows RTX PC 和工作站提供全新生成AI 功能與突破性性能

搭載 Tensor Core 的 NVIDIA RTX GPU 正在加速生成AI 模型的開發(fā)與部署;即將推出的 Max-Q 低功耗 AI 推理將提高能效比。 生成AI 正在迅速開創(chuàng)一個計算
2023-05-31 03:50:02344

NVIDIA為Windows RTX工作站提供全新生成AI功能與突破性性能

隨著越來越多的 AI 推理在本地設(shè)備上運行,工作站將需要強大而高效的硬件以支持這些復(fù)雜的任務(wù)。為了滿足這一需求,RTX GPU 將添加用于 AI 工作負載的 Max-Q 低功耗推理。在執(zhí)行輕量級
2023-06-07 14:55:24442

基于Transformer的大型語言模型(LLM)的內(nèi)部機制

本文旨在更好地理解基于 Transformer 的大型語言模型(LLM)的內(nèi)部機制,以提高它們的可靠性和可解釋性。 隨著大型語言模型(LLM)在使用和部署方面的不斷增加,打開黑箱并了解它們的內(nèi)部
2023-06-25 15:08:49991

大型語言模型的應(yīng)用

?? 大型語言模型(LLM) 是一種深度學(xué)習(xí)算法,可以通過大規(guī)模數(shù)據(jù)集訓(xùn)練來學(xué)習(xí)識別、總結(jié)、翻譯、預(yù)測和生成文本及其他內(nèi)容。大語言模型(LLM)代表著 AI 領(lǐng)域的重大進步,并有望通過習(xí)得的知識改變
2023-07-05 10:27:351463

如何使用NVIDIA Triton 推理服務(wù)器來運行推理管道

使用集成模型NVIDIA Triton 推理服務(wù)器上為 ML 模型管道提供服務(wù)
2023-07-05 16:30:341082

AI和大語言模型給云計算和DevOps帶來了哪些影響?

通過降低認知負載和為即時管理、工單系統(tǒng)和代碼生成等任務(wù)提供支持,人工智能(AI)和大型語言模型(LLMs)可能在云計算和 DevOps 領(lǐng)域發(fā)揮重要作用。主要的云計算供應(yīng)商,如微軟、谷歌和亞馬遜云科技等,已經(jīng)將 AI 集成到他們的產(chǎn)品和服務(wù)中,充分展示了行業(yè)在 AI 技術(shù)上的投入。
2023-08-03 15:26:42813

NVIDIA 與 Hugging Face 將連接數(shù)百萬開發(fā)者與生成AI 超級計算

年 8 月 8 日 — NVIDIA 與 Hugging Face 宣布建立合作伙伴關(guān)系,為數(shù)百萬開發(fā)者提供生成AI 超級計算服務(wù),幫助他們構(gòu)建大語言模型(LLM)和其他高級 AI 應(yīng)用。 ? 此次
2023-08-09 11:41:59100

SIGGRAPH 2023 | NVIDIA 與全球數(shù)據(jù)中心系統(tǒng)制造商大力推動 AI 與工業(yè)數(shù)字化的發(fā)展

計算密集型的復(fù)雜應(yīng)用,包括 AI 訓(xùn)練與推理、3D 設(shè)計與可視化、視頻處理以及工業(yè)數(shù)字化等。 這款全新 GPU 將加速生成AI 的計算工作負載。生成式 A
2023-08-09 19:10:06264

SIGGRAPH 2023 | NVIDIA AI Workbench 助力全球企業(yè)加速采用自定義生成AI

從 PC 和工作站到企業(yè)數(shù)據(jù)中心、公有云和 NVIDIA DGX 云,新推出的開發(fā)者套件在 NVIDIA AI 平臺上引入了簡化的模型優(yōu)化與部署。 洛杉磯 — SIGGRAPH — 太平洋時間
2023-08-09 19:10:09261

英偉達全球首發(fā)HBM3e 專為生成AI時代打造

2023年8月8日,NVIDIA創(chuàng)始人兼CEO黃仁勛在計算機圖形年會SIGGRAPH上發(fā)布了HBM3e內(nèi)存新一代GH200 Grace Hopper超級芯片。這款芯片被黃仁勛稱為“加速計算和生成AI時代的處理器”,旨在用于任何大型語言模型,以降低推理成本。
2023-08-11 16:29:17767

清華大學(xué)大語言模型綜合性能評估報告發(fā)布!哪個模型更優(yōu)秀?

近日,清華大學(xué)新聞與傳播學(xué)院發(fā)布了《大語言模型綜合性能評估報告》,該報告對目前市場上的7個大型語言模型進行了全面的綜合評估。近年,大語言模型以其強大的自然語言處理能力,成為AI領(lǐng)域的一大熱點。它們
2023-08-10 08:32:01607

生成AI時代要來了嗎 NVIDIA生成AI獲新突破

這些性能強大的新系統(tǒng)將利用 NVIDIA Omniverse 平臺加速高計算密集度的復(fù)雜應(yīng)用,包括 AI 訓(xùn)練和推理、3D 設(shè)計和可視化、視頻處理、工業(yè)數(shù)字化等。
2023-08-23 14:20:18224

VMware 與 NVIDIA 為企業(yè)開啟生成AI 時代

全新 VMware Private AI Foundation With NVIDIA 幫助企業(yè)為生成AI 在業(yè)務(wù)中的應(yīng)用做好準備;該平臺將在數(shù)據(jù)隱私性、安全性和可控性方面提供進一步支持
2023-08-23 19:10:07446

全球領(lǐng)先系統(tǒng)制造商推出 NVIDIA AI 就緒型服務(wù)器,為企業(yè)大幅提升生成AI 性能

戴爾科技、慧與和聯(lián)想即將推出采用 NVIDIA L40S GPU 和 NVIDIA BlueField 的服務(wù)器,以支持 VMware Private AI Foundation
2023-08-23 19:10:09350

Meta發(fā)布一款可以使用文本提示生成代碼的大型語言模型Code Llama

今天,Meta發(fā)布了Code Llama,一款可以使用文本提示生成代碼的大型語言模型(LLM)。
2023-08-25 09:06:57885

谷歌云與 NVIDIA 進一步深化合作

兩家 AI 領(lǐng)軍企業(yè)一同優(yōu)化谷歌云,使更多生成AI 領(lǐng)域的初創(chuàng)企業(yè)能夠構(gòu)建下一代應(yīng)用。 生成AI 和大語言模型(LLM)不斷推動創(chuàng)新,使訓(xùn)練和推理工作的算力需求以驚人的速度增長。 為了滿足
2023-08-31 13:00:03230

訓(xùn)練大語言模型帶來的硬件挑戰(zhàn)

生成AI和大語言模型(LLM)正在以難以置信的方式吸引全世界的目光,本文簡要介紹了大語言模型,訓(xùn)練這些模型帶來的硬件挑戰(zhàn),以及GPU和網(wǎng)絡(luò)行業(yè)如何針對訓(xùn)練的工作負載不斷優(yōu)化硬件。
2023-09-01 17:14:561046

虹科分享 | 谷歌Vertex AI平臺使用Redis搭建大語言模型

化。有Redis加持的大語言模型可應(yīng)用于文檔檢索、虛擬購物助手、客戶服務(wù)助理等,為企業(yè)帶來益處。 一、語言模型構(gòu)件 應(yīng)用程序生成、理解和使用人類語言的能力正變得越來越重要,從客服機器人到虛擬助手,再到內(nèi)容生成,人們對AI應(yīng)用功能的需求橫跨眾多領(lǐng)
2023-09-18 11:26:49316

Oracle 云基礎(chǔ)設(shè)施提供新的 NVIDIA GPU 加速計算實例

生成AI 和大語言模型(LLM)不斷推動突破性創(chuàng)新,訓(xùn)練和推理對算力的需求也隨之急劇上升。 這些現(xiàn)代生成AI 應(yīng)用需要全棧加速計算,首先要有能夠快速、準確處理大量工作負載的先進基礎(chǔ)設(shè)施
2023-09-25 20:40:02269

NVIDIA 擴展機器人平臺,迎接生成AI 的崛起

基于 NVIDIA Jetson 平臺進行開發(fā)的 1 萬多家公司現(xiàn)在可以利用全新的生成AI、API 和微服務(wù)來加快推進行業(yè)數(shù)字化 ? ? 強大的生成AI 模型、云原生應(yīng)用程序接口( API
2023-10-19 17:16:24121

NVIDIA 擴展機器人平臺,迎接生成AI 的崛起

務(wù)已應(yīng)用于邊緣。 生成AI 正在將 Transformer 模型和大語言模型的強大力量帶到各行各業(yè),應(yīng)用范圍現(xiàn)已擴展到邊緣、機器人和物流系統(tǒng)相關(guān)領(lǐng)域,如缺陷檢測、實時資產(chǎn)追蹤、自主規(guī)劃和導(dǎo)航以及人機交互等。 NVIDIA 今日宣布,對適用于邊緣 AI 和機器人的? NVIDIA Jetson ?平臺上的兩個框
2023-10-20 02:05:02320

NVIDIA AI 現(xiàn)已在 Oracle Cloud Marketplace 推出

OCI 在業(yè)內(nèi)率先擴展了企業(yè)對 NVIDIA DGX 云 AI 超級計算平臺NVIDIA AI Enterprise 軟件的訪問權(quán)限。 訓(xùn)練生成AI 模型變得更容易了。 NVIDIA DGX
2023-10-24 10:30:02206

周四研討會預(yù)告 | 注冊報名 NVIDIA AI Inference Day - 大模型推理線上研討會

由 CSDN 舉辦的 NVIDIA AI Inference Day - 大模型推理線上研討會,將幫助您了解 NVIDIA 開源大型語言模型(LLM)推理加速庫 TensorRT-LLM ?及其功能
2023-10-26 09:05:02174

現(xiàn)已公開發(fā)布!歡迎使用 NVIDIA TensorRT-LLM 優(yōu)化大語言模型推理

NVIDIA 于 2023 年 10 月 19 日公開發(fā)布 TensorRT-LLM ,可在 NVIDIA GPU 上加速和優(yōu)化最新的大語言模型(Large Language Models)的推理
2023-10-27 20:05:02478

硅谷:設(shè)計師利用生成AI 輔助芯片設(shè)計

芯片工程師展示了一個高度專業(yè)化的行業(yè)如何使用 NVIDIA NeMo 來定制大語言模型,以獲得競爭優(yōu)勢。 ? ? 10 月 31 日,NVIDIA?????? 發(fā)布的一篇研究論文描述了生成AI
2023-11-01 14:45:08141

全新NVIDIA Spectrum-X網(wǎng)絡(luò)平臺構(gòu)筑阿里生成AI云底座

全新 NVIDIA Spectrum-X 網(wǎng)絡(luò)平臺構(gòu)筑阿里生成AI 云底座。
2023-11-02 09:07:25300

利用 NVIDIA Jetson 實現(xiàn)生成AI

上以交互速率運行的 Llama-2-70B 模型。 圖 1. 領(lǐng)先的生成AI 模型在? Jetson AGX Orin 上的推理性能 如要在 Jetson 上快速測試最新的模型和應(yīng)用,請使用 Jetson 生成AI 實驗室提供的教程和資源。
2023-11-07 21:25:01398

NVIDIA 為全球領(lǐng)先的 AI 計算平臺 Hopper 再添新動力

Tensor Core GPU 和領(lǐng)先的顯存配置,可處理生成AI 與高性能計算工作負載的海量數(shù)據(jù)。 ? NVIDIA H200 是首款采用 HBM3e 的 GPU,其運行更快、更大的顯存容量將進一步加速生成AI 與大語言模型,同時
2023-11-14 14:30:0185

SC23 | NVIDIA 為全球領(lǐng)先的 AI 計算平臺 Hopper 再添新動力

再添新動力。 NVIDIA H200 是首款采用 HBM3e 的 GPU,其運行更快、更大的顯存容量將進一步加速生成AI 與大語言模型,同時推進用于 HPC 工作負載的科學(xué)計算。憑借 HBM3e
2023-11-14 20:05:01269

NVIDIA 在 Microsoft Azure 上推出面向全球企業(yè)和初創(chuàng)公司的 生成AI Foundry 服務(wù)

Models、NVIDIA NeMo? 框架和工具,以及 NVIDIA DGX? 云 AI 超算服務(wù)三大要素,為企業(yè)提供創(chuàng)建自定義生成AI 模型
2023-11-16 14:13:08116

NVIDIA 在 Microsoft Azure 上推出面向全球企業(yè)和初創(chuàng)公司的生成AI Foundry 服務(wù)

AI Enterprise 軟件進行部署 NVIDIA 于今日推出一項 AI foundry 服務(wù),助力企業(yè)和初創(chuàng)公司在 Microsoft Azure 上開發(fā)、調(diào)優(yōu)和部署其自定義生成AI
2023-11-16 21:15:02270

NVIDIA 加快企業(yè)自定義生成AI 模型開發(fā)

的業(yè)務(wù)數(shù)據(jù)進行自定義。 如今,免費、開源的大語言模型對企業(yè)來說就像是一頓“自助餐”。但對于構(gòu)建自定義生成AI 應(yīng)用的開發(fā)者來說,這頓“大餐”可能會讓他們應(yīng)接不暇,因為他們需要滿足各種不同的項目和業(yè)務(wù)
2023-11-16 21:15:02312

NVIDIA 通過企業(yè)級生成AI 微服務(wù) 為聊天機器人、AI 助手和摘要工具帶來商業(yè)智能

— 太平洋時間 2023 年 11 月 28 日 — NVIDIA 今日宣布推出一項生成AI 微服務(wù),支持企業(yè)將自定義大語言模型與企業(yè)數(shù)據(jù)相連接,使其 AI 應(yīng)用能夠提供高度準確的響應(yīng)
2023-11-29 14:37:12121

NVIDIA 通過企業(yè)級生成AI 微服務(wù)為聊天機器人、AI 助手和摘要工具帶來商業(yè)智能

微服務(wù),支持企業(yè)將自定義大語言模型與企業(yè)數(shù)據(jù)相連接,使其 AI 應(yīng)用能夠提供高度準確的響應(yīng)。 NVIDIA NeMo Retriever 是 NVIDIA NeMo (一個用于構(gòu)建、自定義和部署生成
2023-11-29 21:05:02340

NVIDIA 為部分大型亞馬遜 Titan 基礎(chǔ)模型提供訓(xùn)練支持

GPU 和海量的數(shù)據(jù)集上所訓(xùn)練而成。 不過這可能會給想要使用生成AI 的企業(yè)帶來很多巨大的挑戰(zhàn)。 NVIDIA NeMo (一個用于構(gòu)建、自定義和運行 LLM 的框架)能夠幫助企業(yè)克服上述挑戰(zhàn)
2023-11-29 21:15:02295

語言模型簡介:基于大語言模型模型全家桶Amazon Bedrock

本文基于亞馬遜云科技推出的大語言模型生成AI的全家桶:Bedrock對大語言模型進行介紹。大語言模型指的是具有數(shù)十億參數(shù)(B+)的預(yù)訓(xùn)練語言模型(例如:GPT-3, Bloom, LLaMA)。這種模型可以用于各種自然語言處理任務(wù),如文本生成、機器翻譯和自然語言理解等。
2023-12-04 15:51:46356

安霸發(fā)布全新N1系列生成AI芯片

安霸在CES 2024上發(fā)布了全新的N1系列生成AI芯片,這是一款專門為前端設(shè)備設(shè)計的芯片,支持本地運行大型語言模型(LLM)應(yīng)用。其單顆SoC能夠支持1至340億參數(shù)的多模態(tài)大模型(Multi-Modal LLM)推理,從而實現(xiàn)低功耗的生成AI功能。
2024-01-09 15:32:54602

NVIDIA即將推出一項新的生成AI專業(yè)認證

NVIDIA 即將推出一項新的生成AI 專業(yè)認證,助力開發(fā)者在這一重要領(lǐng)域證明自身技術(shù)實力。
2024-03-14 09:43:34286

NVIDIA推出微服務(wù),助力企業(yè)邁向生成AI

NVIDIAAI 平臺用于任何高瞻遠矚的企業(yè)使用,而且比以往任何時候都更加易于應(yīng)用。
2024-03-21 09:39:27109

NVIDIA Isaac將生成AI應(yīng)用于制造業(yè)和物流業(yè)

NVIDIA Isaac 機器人平臺利用最新的生成AI 和先進的仿真技術(shù),加速 AI 機器人技術(shù)的發(fā)展。
2024-03-22 10:06:2156

已全部加載完成