如何最大化推理性能？Triton 社區(qū)技術交流活動與您暢聊

由螞蟻集團和 NVIDIA 攜手舉辦的“Triton Meetup 2023”將于 2 月 25 日在北京舉行。該活動是 Triton 社區(qū)首次正式舉辦的線下技術交流活動。來自美團、京東、螞蟻、NVIDIA 的技術專家將帶來 AI Infra、推理引擎相關的專題分享，包括目前各企業(yè)面臨的模型推理挑戰(zhàn)、Triton 的應用及落地的具體方案等，現(xiàn)身說法，干貨十足。此外，還有來自蔚來的特邀嘉賓，帶來“AI 推理服務的當下與未來”圓桌主題討論，歡迎到現(xiàn)場的小伙伴積極參與！

活動地點：

北京 BCos 共享辦公--多功能廳

（北京 WFC 環(huán)球金融中心辦公店）

活動時間：

2023 年 2 月 25 日

14:00 - 18:00

活動報名：

長按掃描下方二維碼

或點擊文末“閱讀原文”

即可預約報名！

Triton Meetup 2023 活動流程

★

14:00 - 14:05

開場

14:05 - 14:45

NVIDIA Triton Inference Server的現(xiàn)在和未來

14:45 - 15:25

Triton 在螞蟻全場景落地的優(yōu)化

15:25 - 15:40

NVIDIA & 螞蟻開源社區(qū)共建啟動儀式

15:40 -16:20

Triton 在美團數(shù)據(jù)中心的應用

16:20 - 17:00

Triton 在京東零售的應用與實踐

17:00 - 17:20

圓桌討論：AI 推理服務的當下與未來

下面一起來看看嘉賓陣容吧！

議題一：NVIDIA Triton
Inference Server 的現(xiàn)在和未來

申意

NVIDIA 解決方案架構(gòu)師

負責為消費互聯(lián)網(wǎng)行業(yè)提供 GPU 計算解決方案。包括編解碼，數(shù)據(jù)前后處理，模型推理及服務化等。

議題簡介:

• Triton 簡介

• Triton 重要 Feature 簡介和 Roadmap 更新

• Triton 的成功案例

議題二：Triton 在螞蟻全場景落地的優(yōu)化

饒星

螞蟻集團高級技術專家

螞蟻集團推理團隊技術負責人，負責螞蟻集團全部業(yè)務場景的推理服務，長期專注在推理相關的架構(gòu)和性能優(yōu)化。

議題簡介:

• Triton 在搜索、推薦、廣告業(yè)務場景的解決方案

• Triton 在認知業(yè)務的解決方案

• 結(jié)合業(yè)務場景，螞蟻進一步的優(yōu)化方案

議題三：Triton 在美團數(shù)據(jù)中心的應用

王新

美團機器學習平臺預測引擎團隊

技術負責人

美團機器學習平臺預測引擎團隊技術負責人，長期專注于機器學習預測引擎相關的開發(fā)工作。

議題簡介:

• 機器學習模型在美團落地的痛點

• Triton 落地的具體方案

• 使用 Triton 的業(yè)務收益與效果

議題四：Triton 在京東零售的應用與實踐

楊培軍

京東零售算法中臺技術架構(gòu)師

長期從事機器學習平臺/深度學習推理加速和框架的研發(fā)，曾負責阿里媽媽搜索廣告預估平臺、Bigo 機器學習平臺的建設。

議題簡介:

• 京東零售的多元化算法需求給模型推理帶來的挑戰(zhàn)

• 介紹京東算法中臺在面向 CV/NLP 場景基于 Triton 二次開發(fā)的高性能推理框架

• 闡述推理框架的架構(gòu)演進和性能優(yōu)化工作

圓桌討論：AI 推理服務的當下與未來

特邀嘉賓：郭城

蔚來自動駕駛研發(fā)平臺 (NADP)資深工程師

負責搭建 NADP 云上推理系統(tǒng)，模型 CICD。

交通指引 & 防疫政策：

1. 自駕到場：

開車行進至“環(huán)球金融中心”，在大樓南側(cè)地下停車場進入。

2. 地鐵前往：

地鐵 10 號線至“金臺夕照”站，從 A 口出，步行 3-5 分鐘，從環(huán)球金融中心南門進入。