使用NVIDIA Triton推理服務器來加速AI預測

這家云計算巨頭的計算機視覺和數(shù)據(jù)科學服務使用 NVIDIA Triton 推理服務器來加速 AI 預測。

作為一名狂熱的自行車愛好者，Thomas Park 深知擁有多個變速檔位對于平穩(wěn)、快速騎行的重要性。

因此，當這位軟件架構師為 Oracle Cloud Infrastructure（OCI）的視覺 AI 服務設計 AI 推理平臺時，他選擇了 NVIDIA Triton 推理服務器，因為它可以通過變換“檔位”，來快速高效地處理幾乎任何 AI 模型、框架、硬件和運行模式。

Park 表示：“NVIDIA AI推理平臺為我們的全球云服務客戶帶來了巨大的靈活性，讓他們可以構建和運行 AI 應用?！盤ark 是一位在蘇黎世工作的計算機工程師，同時也是一名富有競爭力的自行車手，他曾先后就職于四家全球超大型云服務提供商。

具體而言，Triton 將 OCI 的總擁有成本降低了 10%、將遷移到 Triton 的 OCI 視覺和文檔理解服務模型的預測吞吐量提高了 76%，并將推理延遲降低了 51%。Park 和一位同事在今年早些時候發(fā)布的一篇 Oracle 博客中指出，全球有超過 45 個區(qū)域數(shù)據(jù)中心在運行這些服務。

計算機視覺加速深入洞察

依靠 OCI 視覺 AI，客戶可以進行各種物體檢測和圖像分類工作。例如，美國的一家運輸公司利用它來自動檢測經(jīng)過的車軸數(shù)，以計算和結算過橋費，從而節(jié)省了忙碌的卡車司機在收費站的等待時間。

OCI AI 還通過 Oracle NetSuite 提供，Oracle NetSuite 是全球 37,000 多個企業(yè)組織使用的一套商業(yè)應用程序，它可以用于自動識別發(fā)票等工作。

在 Park 的努力下，Triton 如今也被其他 OCI 服務所采用。

能夠識別 Triton 的數(shù)據(jù)服務

負責處理 Oracle 內外部用戶機器學習事務的 OCI 數(shù)據(jù)科學服務產(chǎn)品管理總監(jiān) Tzvi Keisar 表示：“我們的 AI 平臺能夠識別 Triton，以造福于我們的客戶?！?/p>

Keisar 提到：“想要使用 Triton 的客戶不必擔心配置問題，因為平臺會自動完成配置，為他們啟動一個 Triton 驅動的推理終端節(jié)點?！?/p>

Triton 包含在 NVIDIA AI Enterprise 中，該平臺可提供企業(yè)所需的全方位的安全和支持，并且可以在 OCI Marketplace 上獲得

一個龐大的 SaaS 平臺

OCI 的數(shù)據(jù)科學服務是一個適用于 Oracle NetSuite 和 Oracle Fusion 應用程序的機器學習平臺。

“這些商業(yè)應用套件規(guī)模龐大，有數(shù)以萬計的客戶也在我們的服務上構建他們的框架。”Keisar 說。

這些客戶主要是來自于制造業(yè)、零售業(yè)、交通運輸業(yè)等行業(yè)的企業(yè)用戶。他們正在構建和使用幾乎所有形態(tài)與規(guī)模的 AI 模型。

推理是該團隊推出的首批服務之一，而 Triton 在推出后不久就進入了該團隊的視線。

最佳的推理框架

“我們看到 Triton 作為一流的服務框架越來越受歡迎，于是開始試用?！盞eisar 說，“我們發(fā)現(xiàn)它的性能非常出色，彌補了現(xiàn)有產(chǎn)品的不足，尤其是在多模型推理方面。它是目前功能最全面、最先進的推理框架。”

Triton 于 3 月在 OCI 上發(fā)布，已經(jīng)吸引了 Oracle 許多內部團隊的關注。他們希望將其用于需要同時運行多個 AI 模型以作出預測的推理工作。

他表示：“當用于部署在單個端點上的多個模型時，Triton 的表現(xiàn)和性能都非常好?！?/p>

加快未來發(fā)展

展望未來，復雜的大語言模型（LLM）激發(fā)了眾多用戶的想象力。為了能夠在未來為這些模型上的推理提供更強大的助力，Keisar 的團隊正在對 NVIDIA TensorRT-LLM 軟件進行評估。

身為一名活躍的博主，Keisar 在其最新文章中詳細介紹了在 NVIDIA A10 Tensor Core GPU 上運行具有高達 700 億參數(shù)的 Llama 2 LLM 的量化技術。

他表示：“即使減低到四位參數(shù)，模型輸出的質量仍然相當不錯。在 NVIDIA GPU 上的部署使我們能夠靈活地在延遲、吞吐量和成本之間找到良好的平衡點?！?/p>

審核編輯：劉清