0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

Intel Developer Cloud Telemetry數(shù)據(jù)分析(二)

SDNLAB ? 來源:SDNLAB ? 2023-03-21 10:32 ? 次閱讀

Telemetry介紹

上一篇文章我們介紹了Intel Developer Cloud Telemetry的概念和功能,通過該功能的數(shù)據(jù)分析,可以更好地優(yōu)化產(chǎn)品方案。有關(guān)Telemetry 的工作原理和集成方法,我將在這篇文章里細(xì)細(xì)解釋。耐心看下去,相信您肯定可以在自己應(yīng)用中開啟這個(gè)功能。

Telemetry收集流程

a32fa8d8-c772-11ed-bfe3-dac502259ad0.png| 圖 1-2 Telemetry收集數(shù)據(jù)流程概括來說,對(duì)自定義AI模型上運(yùn)行模型優(yōu)化,由Intel OpenVINO進(jìn)行推理,完成對(duì)AI模型的推理后,您就可以獲得計(jì)算節(jié)點(diǎn)上可用的遙測(cè)指標(biāo)。具體步驟如下:1. 導(dǎo)入所有自定義模型文件(tensorflow、kaldi、onnx 等)2. 使用模型優(yōu)化器以必要的精度創(chuàng)建模型中間表示 (IR) 文件3. 創(chuàng)建用于在計(jì)算節(jié)點(diǎn)上提交運(yùn)行推理的作業(yè)文件 (.sh)4. 使用 Application Metrics Writer 啟用遙測(cè)5. 為不同的計(jì)算節(jié)點(diǎn)提交作業(yè)并監(jiān)控作業(yè)狀態(tài)直到完成(提交作業(yè)會(huì)調(diào)用bash和自定義python文件)6. 在遙測(cè)儀表板上顯示模型指標(biāo)注意:流程里不止包含Telemetry。而是AI應(yīng)用在DevCloud上運(yùn)行的流程,以便您可以了解Telemetry功能在應(yīng)用里的位置。參考:https://www.embedded.com/enabling-telemetry-for-custom-models-in-intel-devcloud-for-the-edge/

Telemetry集成

這次依然選擇object-detection-python實(shí)例來介紹集成方法,應(yīng)用程序的 python 代碼中調(diào)用了applicationMetricWriter模塊向Telemetry傳遞數(shù)據(jù)指標(biāo)如,幀率、推理時(shí)間、模型名稱、推理硬件信息,下面通過具體代碼來展示詳細(xì)信息。
  • Step1. 登錄JupyterLab

登錄Intel Developer Cloud主頁后,點(diǎn)擊“Bare Metal Deployment”的“Get Started”按鈕,進(jìn)入Jupyter Lab開發(fā)環(huán)境。在左側(cè)目錄導(dǎo)航欄選擇這個(gè)路徑:Reference-samples/iot-devcloud/openvino-dev-latest/developer-samples/python/,然后找到object-detection-python應(yīng)用。
  • Step2. 程序源碼分析

直接打開object_detection.py,可以看到在文件開頭部分導(dǎo)入了applicationMetricWriter模塊。我們可以在Jupyter notebook里直接查看它的函數(shù)。方法如下:a348073e-c772-11ed-bfe3-dac502259ad0.png| 圖 3-1在Jupyter notebook里查看函數(shù)可以看到它只有兩個(gè)函數(shù),使用起來非常的簡(jiǎn)單,我們來逐一介紹一下這兩個(gè)函數(shù)。send_inference_time() 用來向Telemetry 數(shù)據(jù)發(fā)送每一幀推送所消耗的時(shí)間,唯一要注意的是每一幀哦。這就要求你能區(qū)分每一幀推理的時(shí)間。如果你選擇async模式,就需要考慮是不是適用了。send_application_metrics 主要傳遞的是模型的名字和推理設(shè)備的名字,以便于你能更好地標(biāo)記這個(gè)任務(wù)。看到這你估計(jì)跟我剛開始一樣,怎么沒有看到上傳CPU, GPU, Thermal 等數(shù)據(jù)上傳呢。其實(shí)是因?yàn)檫@些數(shù)據(jù)都是通用的,這塊就沒有必要放在用戶側(cè)來每次都重復(fù)寫一遍,在后端直接默認(rèn)做了。從這里我們可以看到,最重要的數(shù)據(jù)還是推理時(shí)間的上傳。現(xiàn)在這兩個(gè)函數(shù)在程序里的調(diào)用時(shí)機(jī),這里我注釋了沒有必要的代碼,以方便觀察。

#!/usr/bin/env python

import applicationMetricWriter

...

def main():

...

try:

infer_time_start = time.time()

with open(processed_vid, "rb") as data:

while frame_count < video_len:

byte = data.read(CHUNKSIZE)

if not byte == b"":

deserialized_bytes = np.frombuffer(byte, dtype=np.uint8)

in_frame = np.reshape(deserialized_bytes, newshape=(n, c, h, w))

inf_time = time.time()

exec_net.start_async(request_id=current_inference,inputs={input_blob: in_frame})

# Retrieve the output of an earlier inference request

if previous_inference >= 0:

status = infer_requests[previous_inference].wait()

if status is not 0:

raise Exception("Infer request not completed successfully")

det_time = time.time() - inf_time

applicationMetricWriter.send_inference_time(det_time*1000)

res = output_postprocessor(exec_net.requests[previous_inference].output_blobs)

processBoxes(frame_count, res, labels_map, args.prob_threshold, width, height, result_file)

frame_count += 1

applicationMetricWriter.send_application_metrics(model_xml, args.device)

  • Step3.Telemetry數(shù)據(jù)訪問

等應(yīng)用程序在邊緣節(jié)點(diǎn)運(yùn)行結(jié)束,我們就可以去查看Telemetry的數(shù)據(jù)了。數(shù)據(jù)的連接你可以參考這個(gè)object-detection-python里的方法,直接點(diǎn)擊1Telemetry按鍵獲取連接方式。a35fde5e-c772-11ed-bfe3-dac502259ad0.png| 圖 3-2 Telemetry地址 當(dāng)然您也可以自己手動(dòng)生成這樣一個(gè)連接,注意上圖中2框處的ID號(hào)。使用Telemetry 服務(wù)器地址拼接該ID號(hào),即可訪問該數(shù)據(jù)。

https://devcloud.intel.com/edge/metrics/d/+ID

比如:https://devcloud.intel.com/edge/metrics/d/573403訪問該路徑即可獲取Telemetry 的數(shù)據(jù)了。a37004b4-c772-11ed-bfe3-dac502259ad0.png| 圖 3-3 Telemetry界面

總 結(jié)

看到這相信您一定理解了Intel Developer Cloud Telemetry 的集成方法了,它并沒有我們想象的那么復(fù)雜。我這里總結(jié)出來,只是為了方便剛開始接觸這塊的您更快上手,不用花費(fèi)太多精力就可以更快的把事情搞定。如果您在使用過程中有碰到問題,期待一起交流。這篇就到這吧。
審核編輯 :李倩


聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • AI
    AI
    +關(guān)注

    關(guān)注

    87

    文章

    29815

    瀏覽量

    268109
  • 應(yīng)用程序
    +關(guān)注

    關(guān)注

    37

    文章

    3237

    瀏覽量

    57547
  • 數(shù)據(jù)分析
    +關(guān)注

    關(guān)注

    2

    文章

    1411

    瀏覽量

    33987

原文標(biāo)題:Intel Developer Cloud Telemetry數(shù)據(jù)分析(二)

文章出處:【微信號(hào):SDNLAB,微信公眾號(hào):SDNLAB】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    Intel PXA27x Processor Family Developer's Manual

    Intel PXA27x Processor Family Developer's Manual 共29章!值得一學(xué)!  
    發(fā)表于 11-23 09:56

    數(shù)據(jù)分析

    數(shù)據(jù)分析軟件
    發(fā)表于 05-28 22:31

    數(shù)據(jù)分析需要的技能

    商業(yè)價(jià)值的轉(zhuǎn)換,數(shù)據(jù)分析師是其中一個(gè)重要的職位,那么,想從事該職業(yè)需要具備哪些技能呢?1. 精通ExcelExcel處理技能是大數(shù)據(jù)分析師必備技能,并且需要十分精通,除了常規(guī)操作和函數(shù),一些不常
    發(fā)表于 04-10 15:59

    怎么有效學(xué)習(xí)Python數(shù)據(jù)分析?

    Python在人工智能、機(jī)器學(xué)習(xí)領(lǐng)域受到火熱追捧,很大程度上在于它擁有非常龐大的第三方庫,以及強(qiáng)大的通用編程性能。因此,快速掌握Python進(jìn)行數(shù)據(jù)分析,就是學(xué)習(xí)Python各種第三方庫、工具包
    發(fā)表于 06-28 15:18

    傳統(tǒng)的商業(yè)分析怎么被數(shù)據(jù)分析取代的

    數(shù)據(jù)分析為什么能夠打敗傳統(tǒng)的商業(yè)分析
    發(fā)表于 04-13 11:48

    基于Python的數(shù)據(jù)分析

    《利用Python進(jìn)行數(shù)據(jù)分析》 113日期范圍、頻率和移位
    發(fā)表于 05-01 11:24

    BI分享秀——高度開放的數(shù)據(jù)分析經(jīng)驗(yàn)共享

    由于以前的數(shù)據(jù)分析軟件并沒有一個(gè)開放性的分析經(jīng)驗(yàn)共享板塊,因此很多的用戶基本上都是在閉門造車,延續(xù)自己的分析思維。因此一旦遇到新的分析內(nèi)容、需求,以前的
    發(fā)表于 05-12 14:23

    BI數(shù)據(jù)分析軟件使用指南

    存貯。數(shù)據(jù)可視化分析報(bào)表制作一鍵新建報(bào)表、應(yīng)用可視化圖表后,通過拖拉拽就能自定義可視化圖表的大小、排版,點(diǎn)擊即可完成數(shù)據(jù)集、匯總、行列維度等基礎(chǔ)設(shè)置。如果你想更快地制作BI
    發(fā)表于 01-04 11:00

    成為Python數(shù)據(jù)分析師,需要掌握哪些技能

    相關(guān)分析法回歸分析法聚類分析法判別分析法主成分分析法因子分析法對(duì)應(yīng)
    發(fā)表于 06-30 11:42

    電商數(shù)據(jù)分析攻略,讓你輕松搞定數(shù)據(jù)分析!

    在當(dāng)今的數(shù)字經(jīng)濟(jì)時(shí)代,運(yùn)用大數(shù)據(jù)分析來促進(jìn)業(yè)務(wù)增長已然成為一種普遍行為,擁有一套系統(tǒng)化的數(shù)據(jù)分析方案尤為重要。奧威BI電商數(shù)據(jù)分析方案是一種基于數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)技術(shù)的解決方案,以豐富
    發(fā)表于 06-27 09:22

    數(shù)據(jù)分析步驟

    數(shù)據(jù)分析過程的主要活動(dòng)由識(shí)別信息需求、收集數(shù)據(jù)、分析數(shù)據(jù)、評(píng)價(jià)并改進(jìn)數(shù)據(jù)分析的有效性組成。
    的頭像 發(fā)表于 12-19 16:36 ?4.9w次閱讀

    IBM Cloud Pak for Data平臺(tái)讓數(shù)據(jù)分析變得更簡(jiǎn)單

    實(shí)驗(yàn)室。但對(duì)非科技專業(yè)的學(xué)生和院系來說,分析數(shù)據(jù)的技術(shù)及工具很復(fù)雜和難用。因此,仁大選擇了IBM Cloud Pak for Data平臺(tái),解決這個(gè)難題,令數(shù)據(jù)分析變得更簡(jiǎn)單。
    的頭像 發(fā)表于 04-14 11:26 ?1833次閱讀

    Intel? Developer Cloud Telemetry數(shù)據(jù)分析

    Telemetry 數(shù)據(jù)包含在給定作業(yè)運(yùn)行期間的應(yīng)用程序詳細(xì)信息——即:平均推理時(shí)間 (MS)、推理計(jì)數(shù)、目標(biāo)硬件。它還包括以下指標(biāo):每秒幀數(shù)、推理時(shí)間、推理期間的 CPU/GPU 使用率、平均 CPU/GPU 溫度以及推理期間的內(nèi)存使用率。
    的頭像 發(fā)表于 03-17 11:17 ?398次閱讀

    Intel Developer Cloud Telemetry數(shù)據(jù)分析(一)

    Telemetry(遙測(cè))是指Intel Developer Cloud 幫助開發(fā)者收集應(yīng)用程序執(zhí)行時(shí)開發(fā)者指定的信息,并通過 UI 的形式展現(xiàn)的功能,該功能可以被啟動(dòng)或關(guān)閉。
    的頭像 發(fā)表于 06-05 15:57 ?624次閱讀
    <b class='flag-5'>Intel</b> <b class='flag-5'>Developer</b> <b class='flag-5'>Cloud</b> <b class='flag-5'>Telemetry</b><b class='flag-5'>數(shù)據(jù)分析</b>(一)

    Intel Developer CloudTelemetry數(shù)據(jù)分析

    在上一篇文章中介紹了 Intel Developer Cloud Telemetry 的概念和功能,通過該功能的數(shù)據(jù)分析,可以更好地優(yōu)化產(chǎn)品
    的頭像 發(fā)表于 07-07 10:55 ?558次閱讀
    <b class='flag-5'>Intel</b> <b class='flag-5'>Developer</b> <b class='flag-5'>Cloud</b>之<b class='flag-5'>Telemetry</b><b class='flag-5'>數(shù)據(jù)分析</b>