ML-EXray：云到邊緣部署驗(yàn)證框架

嵌入式AI和ML在邊緣的部署不斷增加，無(wú)疑引入了從云到邊緣的新性能變化。盡管邊緣設(shè)備上的AI執(zhí)行性能突然發(fā)生了負(fù)面變化，但采用TinyML是一種前進(jìn)的方式。

該過(guò)程中的主要挑戰(zhàn)是識(shí)別邊緣部署期間的潛在問(wèn)題，以及 ML 推理執(zhí)行中的可見(jiàn)性較低。為了解決這個(gè)問(wèn)題，斯坦福大學(xué)的一組研究人員提出了一個(gè)端到端框架，該框架提供了對(duì)層級(jí)ML執(zhí)行的可見(jiàn)性，并分析了云到邊緣的部署問(wèn)題。

ML-EXray 是一種云到邊緣部署驗(yàn)證框架，旨在通過(guò)記錄中間輸出來(lái)掃描邊緣 ML 應(yīng)用程序中的模型執(zhí)行，并使用參考管道提供相同數(shù)據(jù)的重放。此外，它還比較性能差異和每層輸出差異，使用戶(hù)能夠自定義函數(shù)來(lái)驗(yàn)證模型行為。

ML-EXray的結(jié)果表明，該框架能夠識(shí)別預(yù)處理錯(cuò)誤，量化問(wèn)題，次優(yōu)內(nèi)核等問(wèn)題。ML-EXray 只需不到 15 行代碼，即可檢查邊緣部署管道，并將模型性能校正多達(dá) 30%。此外，該框架還指導(dǎo)操作員將內(nèi)核執(zhí)行延遲優(yōu)化兩個(gè)數(shù)量級(jí)。

調(diào)試框架系統(tǒng)由三部分組成：

跨平臺(tái) API，用于邊緣和云端 ML 推理的檢測(cè)和日志記錄

用于數(shù)據(jù)回放和建立基線(xiàn)的參考管道

用于檢測(cè)問(wèn)題并分析根本原因的部署驗(yàn)證框架

對(duì)于自定義日志和用戶(hù)定義的驗(yàn)證，ML-EXray 提供了一個(gè)用于編寫(xiě)自定義斷言函數(shù)的接口。通用部署驗(yàn)證流程圖易于理解，因?yàn)?ML-EXray 從檢測(cè)的應(yīng)用程序和引用管道中獲取日志。數(shù)據(jù)集用于在應(yīng)用框架之前訓(xùn)練應(yīng)用程序。

將框架應(yīng)用于兩個(gè)管道后，將執(zhí)行精度匹配，這將檢查準(zhǔn)確性下降并仔細(xì)檢查層級(jí)詳細(xì)信息以找到差異。檢測(cè)完成后，將注冊(cè)斷言函數(shù)以進(jìn)行根本原因分析。

研究人員發(fā)布的評(píng)估表顯示了該過(guò)程中涉及的任務(wù)，模型和斷言。該框架適用于各種任務(wù)，以識(shí)別多個(gè)維度的部署問(wèn)題，包括輸入處理、量化和系統(tǒng)性能。此外，預(yù)處理調(diào)試目標(biāo)的代碼行實(shí)現(xiàn)為四個(gè) LoC（代碼行），而沒(méi)有 ML-EXray 的代碼行為 25 行。在結(jié)束關(guān)于新方法和優(yōu)化調(diào)試框架的討論之前，讓我們回顧一下研究的命題。

總結(jié)一下通過(guò) ML-EXray 引入邊緣 AI 部署在識(shí)別故障和處理錯(cuò)誤方面的創(chuàng)新：

一套檢測(cè) API 和 Python 庫(kù)，可查看任務(wù)關(guān)鍵型應(yīng)用程序邊緣設(shè)備上的層級(jí)詳細(xì)信息。

端到端邊緣部署驗(yàn)證框架，為用戶(hù)提供了一個(gè)界面，用于設(shè)計(jì)用于驗(yàn)證和檢查的自定義函數(shù)。

ML-EXray 旨在檢測(cè)工業(yè)設(shè)置中導(dǎo)致 ML 執(zhí)行性能下降的各種部署問(wèn)題。

審核編輯：郭婷