使用云監(jiān)控實(shí)現(xiàn)GPU云服務(wù)器的GPU監(jiān)控和報(bào)警（上） - 自定義監(jiān)控

摘要：?本文將介紹如何利用阿里云云監(jiān)控服務(wù)提供的自定義監(jiān)控實(shí)現(xiàn)GPU云服務(wù)器的GPU監(jiān)控和報(bào)警的可視化，從而達(dá)到對(duì)GPU使用情況實(shí)時(shí)掌握的目的。

1 背景

NVIDIA提供了nvidia-smi命令工具用于查詢和監(jiān)控GPU的相關(guān)數(shù)據(jù)，但是對(duì)于使用者來說，每次手動(dòng)查看很不方便，無法做到實(shí)時(shí)監(jiān)控，而且也無法可視化，不直觀。

本文將會(huì)介紹如何利用阿里云云監(jiān)控服務(wù)提供的自定義監(jiān)控功能來實(shí)現(xiàn)GPU云服務(wù)器的GPU監(jiān)控和報(bào)警的可視化。

2 自定義監(jiān)控和報(bào)警
阿里云云監(jiān)控服務(wù)提供了自定義監(jiān)控功能，用戶可以利用它實(shí)現(xiàn)自定義的數(shù)據(jù)監(jiān)控和報(bào)警。

我們利用自定義監(jiān)控提供的API或者SDK，可以將GPU云主機(jī)內(nèi)采集的GPU數(shù)據(jù)上報(bào)，在云監(jiān)控控制臺(tái)上添加相應(yīng)的GPU監(jiān)控項(xiàng)，就可以實(shí)現(xiàn)對(duì)指定GPU實(shí)例內(nèi)指定GPU的相應(yīng)數(shù)據(jù)進(jìn)行監(jiān)控，對(duì)相應(yīng)監(jiān)控項(xiàng)設(shè)置相應(yīng)數(shù)據(jù)的報(bào)警規(guī)則，就能實(shí)現(xiàn)監(jiān)控?cái)?shù)據(jù)的自動(dòng)報(bào)警。

比如可以對(duì)GPU利用率、顯存利用率、顯存占用、功率、溫度等關(guān)鍵信息進(jìn)行監(jiān)控和報(bào)警。
詳見：創(chuàng)建自定義監(jiān)控項(xiàng)和報(bào)警規(guī)則

3 監(jiān)控?cái)?shù)據(jù)上報(bào)
自定義監(jiān)控提供的SDK支持Python和bash，通過編寫腳本調(diào)用SDK的接口，可以實(shí)現(xiàn)相應(yīng)監(jiān)控?cái)?shù)據(jù)的上報(bào)。

通過定時(shí)調(diào)度腳本，按創(chuàng)建監(jiān)控項(xiàng)時(shí)定義的上報(bào)周期上報(bào)數(shù)據(jù)。Linux環(huán)境可以使用Crontab，Windows環(huán)境可以使用quartz.net。
詳見：監(jiān)控?cái)?shù)據(jù)上報(bào)

4 GPU數(shù)據(jù)采集
NVDIA驅(qū)動(dòng)安裝時(shí)提供了NVIDIA Management Library (NVML)，該庫提供了采集GPU數(shù)據(jù)的接口，并基于NVML提供了nvidia-smi命令用于采集GPU相關(guān)數(shù)據(jù)。NVML提供了Perl 和Python語言的官方支持，考慮到自定義監(jiān)控上報(bào)SDK支持Python，我們可以下載NVML的Python bindings，編寫Python腳本采集GPU數(shù)據(jù)。

NVML的Python bindings可以從以下鏈接下載：https://pypi.python.org/pypi/nvidia-ml-py/

5 示例
5.1 創(chuàng)建自定義監(jiān)控項(xiàng)
在云監(jiān)控控制臺(tái)創(chuàng)建自定義監(jiān)控項(xiàng)，如下圖：

5.2 查看監(jiān)控項(xiàng)數(shù)據(jù)
在云監(jiān)控控制臺(tái)查看監(jiān)控項(xiàng)，如下圖：
某實(shí)例GPU 0的GPU利用率（單位：Persent）:

某實(shí)例GPU 0的顯存利用率（單位：Persent）:

某實(shí)例GPU 0的內(nèi)存占用量（單位：Megabytes）：

某實(shí)例GPU 1的功率（單位：Watt）：

某實(shí)例GPU 1 的溫度（單位：攝氏度）：

5.3 設(shè)置報(bào)警規(guī)則
在溫度監(jiān)控項(xiàng)上點(diǎn)擊報(bào)警管理：

設(shè)置溫度報(bào)警規(guī)則：

設(shè)置通知對(duì)象：

完成設(shè)置：

6 參考代碼
數(shù)據(jù)采集：

def?get_gpu_information():
????nvmlInit()

????deviceCount?=?nvmlDeviceGetCount()

????util_list?=?[]???
????for?i?in?range(0,?deviceCount):
????????handle?=?nvmlDeviceGetHandleByIndex(i)
????????util_list.append(nvmlDeviceGetUtilizationRates(handle))
??????
??
????nvmlShutdown()????return?deviceCount,?util_list

信息上報(bào)：

????for?i?in?range(0,?GPU_Count):
????????gpuid?=?i

????????cms_post.post(userid,"GPUUtilization",util_list[i].gpu,"Percent",s.format(ecsid=ecsid,?gpuid=gpuid))

原文鏈接

本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。