0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線(xiàn)課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

玩嗨OpenHarmony:基于OpenHarmony的道路維護(hù)方案

共熵服務(wù)中心 ? 來(lái)源:未知 ? 2022-11-02 21:20 ? 次閱讀
原文引自電子發(fā)燒友論壇 HarmonyOS技術(shù)社區(qū) 《【OpenHarmony成長(zhǎng)計(jì)劃挑戰(zhàn)賽】基于Openharmony的道路維護(hù)方案》

a0c77abc-5aad-11ed-a3b6-dac502259ad0.png

1. 功能描述

本設(shè)計(jì)方案致力于解決目標(biāo):建設(shè)包容、安全、有抵御災(zāi)害能力和可持續(xù)的城市和人類(lèi)住區(qū)中的交通問(wèn)題,在此提出一種基于OpenHarmony實(shí)現(xiàn)道路維護(hù)的方案,通過(guò)深度學(xué)習(xí)的方式對(duì)道路的裂縫進(jìn)行實(shí)時(shí)檢測(cè),增加道路的可持續(xù)使用性。

由于傳統(tǒng)的道路裂縫檢測(cè)精度和距離有限,大部分仍需要人工檢測(cè),而人工裂縫檢測(cè)的過(guò)程又十分的繁瑣,檢測(cè)的實(shí)時(shí)性與高效性普遍較低。本方案基于海思HI3516DV300圖像化處理方法,并部署深度學(xué)習(xí)模型,對(duì)道路裂縫進(jìn)行檢測(cè)。

話(huà)不多說(shuō),我們先上圖上視頻檢測(cè)電路正視圖:

a0f3ddb4-5aad-11ed-a3b6-dac502259ad0.png

視頻展示:2. 方案基線(xiàn)2.1 工程版本:
  • 系統(tǒng)版本/API版本:OpenHarmony 3.X小型系統(tǒng)
  • IDE版本:DeEco Device Tool Release 3.0.0.401
2.2 硬件基礎(chǔ):Hi3516DV300開(kāi)發(fā)套件2.3 學(xué)習(xí)模型:本方案第一階段在hi3516dv300主控芯片部署了兩種深度學(xué)習(xí)模型。3. 檢測(cè)網(wǎng)考慮到HI3516DV300的NNIE(編者注:是Neural Network Inference Engine 神經(jīng)網(wǎng)絡(luò)計(jì)算引擎的英文縮寫(xiě))支持的檢測(cè)網(wǎng),在檢測(cè)網(wǎng)的選擇上使用了以 darknet 為框架的YOLO v2模型。3.1 下載地址:https://github.com/pjreddie/darknet3.2 訓(xùn)練指令:
./darknet detector train hand.data cfg/resnet18.cfg
3.3YOLO v2受到faster rcnn的啟發(fā),引入了anchor。同時(shí)使用了K-Means方法,對(duì)anchor數(shù)量進(jìn)行了討論,在精度和速度之間做出折中。并且修改了網(wǎng)絡(luò)結(jié)構(gòu),去掉了全連接層,改成了全卷積結(jié)構(gòu)。在訓(xùn)練時(shí)引入了世界樹(shù)結(jié)構(gòu),將檢測(cè)和分類(lèi)問(wèn)題做成了一個(gè)統(tǒng)一的框架,并且提出了一種層次性聯(lián)合訓(xùn)練方法。3.4檢測(cè)訓(xùn)練數(shù)據(jù)本次檢測(cè)網(wǎng)選擇了2000張帶有道路裂縫的圖像進(jìn)行標(biāo)注,在搭建好的服務(wù)器進(jìn)行30200次迭代,直至模型收斂。

a112df34-5aad-11ed-a3b6-dac502259ad0.jpg

3.5resnet18.cfg配置framework > darkness-master > cfg > resnet18.cfg部分配置如下:
# subdivisions=1


# Testing
batch=48
subdivisions=8
height-384
width=640
channels=3
momentum=0.9
decay=0.0005
angle=0
saturation = 1.5
exposure = 1.5
hue=0.1
learning rate=0.01
burn in=10000
max batches = 300200
policy=steps
steps=100000, 200000, 250001
scales=.1,.1,.1
3.6模型訓(xùn)練IOU值接近0.98 class值接近0.99999 Obj值在0.003以下。

a14062ec-5aad-11ed-a3b6-dac502259ad0.jpg

3.7權(quán)重推理在服務(wù)器進(jìn)行權(quán)重的推理:

a14fe294-5aad-11ed-a3b6-dac502259ad0.jpg

4. 分類(lèi)網(wǎng)分類(lèi)網(wǎng)選擇resnet18。4.1分類(lèi)訓(xùn)練數(shù)據(jù)分類(lèi)網(wǎng)的訓(xùn)練數(shù)據(jù)集分為11000左右的道路裂縫圖片,10000左右的無(wú)裂縫圖片,在服務(wù)器上迭代300次,直至模型收斂。Creak_Image部分:

a112df34-5aad-11ed-a3b6-dac502259ad0.jpg

NoCreak_Image部分:

a169b2f0-5aad-11ed-a3b6-dac502259ad0.jpg

4.2訓(xùn)練模型

a177f11c-5aad-11ed-a3b6-dac502259ad0.jpg

5. 環(huán)境搭建5.1模型轉(zhuǎn)換對(duì)pytorch訓(xùn)練得到的模型權(quán)重首先將轉(zhuǎn)換為caffe模型。5.1.1 檢測(cè)網(wǎng)得到的權(quán)重轉(zhuǎn)換檢測(cè)網(wǎng)得到的權(quán)重轉(zhuǎn)換為caffe模型需要在caffe環(huán)境下并安裝torch環(huán)境
代碼地址:https://github.com/ChenYingpeng/darknet2caffe
轉(zhuǎn)換命令:python darknet2caffe.py resnet18.cfg resnet18_new_final.weights resnet18.prototxt resnet18.caffemodel
5.1.2 分類(lèi)網(wǎng)得到的權(quán)重轉(zhuǎn)換分類(lèi)網(wǎng)得到的權(quán)重轉(zhuǎn)換為caffe模型需要在caffe環(huán)境下并需要依賴(lài)torch和torchvison
代碼地址:https://codeload.github.com/xxradon/PytorchToCaffe/zip/refs/heads/master
轉(zhuǎn)換命令:python example/resnet_pytorch_2_caffe.py
5.2 開(kāi)發(fā)環(huán)境

本次采用windows+ubuntu混合開(kāi)發(fā),具體操作流程可參考HarmonyOS Device社區(qū):

https://device.harmonyos.com/cn/docs/documentation/guide/ide-install-windows-ubuntu-0000001194073744

5.3模型量化得到的caffe模型后使用Ruyistudio工具對(duì).prototxt進(jìn)行量化,并在此之前修改prototxt文件進(jìn)行適配使得NNIE(編者注:是Neural Network Inference Engine 神經(jīng)網(wǎng)絡(luò)計(jì)算引擎的英文縮寫(xiě))能夠支持網(wǎng)絡(luò)結(jié)構(gòu),最終生成WK文件。5.4板端適配將得到的WK文件在OpenHarmony中基于SDK sampled的網(wǎng)絡(luò)進(jìn)行修改,適配 ,配置依賴(lài) ,編譯(在此之前OpenHarmony小型系統(tǒng)的主干代碼已經(jīng)整體編譯通過(guò)),最終生成可執(zhí)行文件,并掛在到HI3516DV300板端。5.5加載文件

檢測(cè)網(wǎng)生成的WK文件在OpenHarmony中編譯后得到可執(zhí)行文件,并掛載板端,啟動(dòng)開(kāi)發(fā)板應(yīng)用驅(qū)動(dòng),加載可執(zhí)行文件

驅(qū)動(dòng)命令 :insmod hi_mipi_tx.ko
加載文件 :./ohos_yolov2_creak_demo 1
分類(lèi)網(wǎng)生成的WK文件在OpenHarmony中編譯后得到可執(zhí)行文件,并掛載板端,啟動(dòng)開(kāi)發(fā)板應(yīng)用驅(qū)動(dòng),加載可執(zhí)行文件
驅(qū)動(dòng)命令:insmod hi_mipi_tx.ko
加載文件:./ohos_cnn_creak_demo 0
6. 實(shí)驗(yàn)效果

6.1 檢測(cè)效果:

a1a62e9c-5aad-11ed-a3b6-dac502259ad0.jpg

6.2 Creak分類(lèi)效果:

Creak分類(lèi)效果高達(dá)100%

a1b40fb2-5aad-11ed-a3b6-dac502259ad0.jpg

6.3 NoCreak分類(lèi)效果:

NoCreak分類(lèi)效果高達(dá)97%

a1c2c48a-5aad-11ed-a3b6-dac502259ad0.jpg

寫(xiě)在最后我們最近正帶著大家玩嗨OpenHarmony。如果你有好玩的東東,歡迎投稿,讓我們一起嗨起來(lái)!有點(diǎn)子,有想法,有Demo,立刻聯(lián)系我們:合作郵箱:zzliang@atomsource.org
a1ce90d0-5aad-11ed-a3b6-dac502259ad0.gif

a1d47824-5aad-11ed-a3b6-dac502259ad0.png

a1de9ebc-5aad-11ed-a3b6-dac502259ad0.pnga20ed0b4-5aad-11ed-a3b6-dac502259ad0.pnga23c7b22-5aad-11ed-a3b6-dac502259ad0.png

a2488980-5aad-11ed-a3b6-dac502259ad0.png

a25f9300-5aad-11ed-a3b6-dac502259ad0.png

a27cb07a-5aad-11ed-a3b6-dac502259ad0.png

a287a714-5aad-11ed-a3b6-dac502259ad0.png

a2b06b68-5aad-11ed-a3b6-dac502259ad0.png

a2d1e45a-5aad-11ed-a3b6-dac502259ad0.png


原文標(biāo)題:玩嗨OpenHarmony:基于OpenHarmony的道路維護(hù)方案

文章出處:【微信公眾號(hào):開(kāi)源技術(shù)服務(wù)中心】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • OpenHarmony
    +關(guān)注

    關(guān)注

    25

    文章

    3546

    瀏覽量

    15734

原文標(biāo)題:玩嗨OpenHarmony:基于OpenHarmony的道路維護(hù)方案

文章出處:【微信號(hào):開(kāi)源技術(shù)服務(wù)中心,微信公眾號(hào):共熵服務(wù)中心】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    OpenHarmony:基于OpenHarmony的仿生四足狗開(kāi)發(fā)分享

    原文引自51CTO 開(kāi)源基礎(chǔ)軟件社區(qū) 《劉瀟翔:基于OpenHarmony的仿生四足狗開(kāi)發(fā)分享》 作者介紹 劉瀟翔, 現(xiàn)就讀于南方科技大學(xué)(Southern University
    的頭像 發(fā)表于 10-31 21:50 ?3531次閱讀

    OpenHarmony:基于OpenHarmony的智慧牧場(chǎng)方案 2/4 生物心率檢測(cè)篇

    原文引自電子發(fā)燒友論壇 HarmonyOS技術(shù)社區(qū) 《基于OpenHarmony的智慧牧場(chǎng)》 前文回顧 《智慧牧場(chǎng)之生物姿態(tài)檢測(cè)篇》 1. 背景知識(shí) 在智慧牧場(chǎng)解決方案中,實(shí)時(shí)檢測(cè)牲畜的健康狀況是非
    的頭像 發(fā)表于 11-05 02:05 ?1679次閱讀

    OpenHarmony:基于OpenHarmony的智慧牧場(chǎng)方案 3/4 生物運(yùn)動(dòng)軌跡跟蹤篇

    原文引自電子發(fā)燒友論壇 HarmonyOS技術(shù)社區(qū) 《基于OpenHarmony的智慧牧場(chǎng)》 前文回顧 《智慧牧場(chǎng)之生物姿態(tài)檢測(cè)篇》 《智慧牧場(chǎng)之生物心率檢測(cè)篇》 1. 背景知識(shí) 1.1?牧場(chǎng)定位
    的頭像 發(fā)表于 11-07 20:45 ?1084次閱讀

    基于OpenHarmony【O了個(gè)H】 #OpenHarmony #HarmonyOS

    HarmonyOSOpenHarmony
    程皖Orz
    發(fā)布于 :2022年09月22日 10:15:45

    Openharmony成長(zhǎng)計(jì)劃挑戰(zhàn)賽】基于openharmony道路維護(hù)方案

    【項(xiàng)目名稱(chēng)】:基于openharmony道路維護(hù)方案【負(fù)責(zé)人】 :艾如京方案實(shí)施流程【描述】:本方案
    發(fā)表于 09-28 20:56

    OpenHarmony生態(tài)論壇:基于OpenHarmony的輕量屏顯方案

    OpenHarmony生態(tài)論壇:基于OpenHarmony的輕量屏顯方案,可面向AIOT時(shí)代的多模態(tài)交互需求
    的頭像 發(fā)表于 04-25 15:49 ?1003次閱讀
    <b class='flag-5'>OpenHarmony</b>生態(tài)論壇:基于<b class='flag-5'>OpenHarmony</b>的輕量屏顯<b class='flag-5'>方案</b>

    OpenHarmony:基于OpenHarmony的機(jī)械狗進(jìn)階版——聽(tīng)話(huà)的狗子

    原文引自CSDN社區(qū) 《[立創(chuàng)傳智黑馬程序員CSDN]訓(xùn)練營(yíng)——仿生機(jī)械狗》 編者按 昨天的 《 OpenHarmony:基于OpenHarmony的仿生四足狗開(kāi)發(fā)分享 》 ,大家
    的頭像 發(fā)表于 11-01 21:25 ?1483次閱讀

    OpenHarmony:基于OpenHarmony的智慧牧場(chǎng)方案 4/4 室內(nèi)管理系統(tǒng)篇

    原文引自電子發(fā)燒友論壇 HarmonyOS技術(shù)社區(qū) 《基于OpenHarmony的智慧牧場(chǎng)》 前文回顧 《智慧牧場(chǎng)之生物姿態(tài)檢測(cè)篇》 《智慧牧場(chǎng)之生物心率檢測(cè)篇》 《生物運(yùn)動(dòng)軌跡跟蹤篇》 1. 背景
    的頭像 發(fā)表于 11-08 19:45 ?1262次閱讀

    OpenHarmony:基于OpenHarmony的智慧農(nóng)業(yè)環(huán)境監(jiān)控系統(tǒng)

    原文引自電子發(fā)燒友論壇 HarmonyOS技術(shù)社區(qū) 《基于OpenHarmony的智慧農(nóng)業(yè)環(huán)境監(jiān)控系統(tǒng)》 1. 項(xiàng)目的背景 根據(jù)《2022年糧食及農(nóng)業(yè)狀況》報(bào)告顯示,數(shù)字技術(shù)和人工智能機(jī)器人技術(shù)在
    的頭像 發(fā)表于 11-10 20:25 ?1775次閱讀

    OpenHarmony:基于OpenHarmony的智能保險(xiǎn)柜

    51CTO 開(kāi)源基礎(chǔ)軟件社區(qū) 潤(rùn)和OpenHarmony研究院 《智能保險(xiǎn)柜》 1. 項(xiàng)目簡(jiǎn)介 智能保險(xiǎn)柜實(shí)時(shí)監(jiān)測(cè)保險(xiǎn)柜中振動(dòng)傳感器,當(dāng)有振動(dòng)產(chǎn)生時(shí)及時(shí)向用戶(hù)發(fā)出警報(bào)。在連接網(wǎng)絡(luò)后,配合數(shù)字管家
    的頭像 發(fā)表于 11-25 20:15 ?929次閱讀

    OpenHarmony:基于OpenHarmony的貪吃蛇小游戲

    51CTO 開(kāi)源基礎(chǔ)軟件社區(qū) #夏日挑戰(zhàn)賽# 《 OpenHarmony基于JS實(shí)現(xiàn)的貪吃蛇 》 1. 項(xiàng)目簡(jiǎn)介 貪吃蛇是一款非常經(jīng)典的小游戲,概念起源于1976年由美國(guó)一家街機(jī)游戲Blockade
    的頭像 發(fā)表于 11-28 20:50 ?1113次閱讀

    OpenHarmony:基于OpenHarmony的ArkUI翻頁(yè)時(shí)鐘

    原文引自:51CTO 開(kāi)源基礎(chǔ)軟件社區(qū) #夏日挑戰(zhàn)賽# OpenHarmony - 《 ArkUI(TS)開(kāi)發(fā)翻頁(yè)時(shí)鐘 》 1. 項(xiàng)目背景 翻頁(yè)時(shí)鐘(Flip Clock)是一種有趣的機(jī)電數(shù)字計(jì)時(shí)
    的頭像 發(fā)表于 12-05 20:15 ?1169次閱讀

    OpenHarmony:基于OpenHarmony的車(chē)機(jī)系統(tǒng)OHCar

    原文引自:51CTO 開(kāi)源基礎(chǔ)軟件社區(qū) #DAYU200體驗(yàn)官 【HelloKun】《 OpenHarmony車(chē)機(jī)系統(tǒng)OHCar 》 1. 項(xiàng)目背景 “軟件定義汽車(chē)”,目前汽車(chē)的智能化主要體現(xiàn)在
    的頭像 發(fā)表于 12-24 07:45 ?3932次閱讀

    OpenHarmony版本發(fā)布計(jì)劃

    OpenHarmony社區(qū)定期發(fā)布LTS/Release分支,并按照OpenHarmony生命周期管理策略提供維護(hù)和技術(shù)支持。
    的頭像 發(fā)表于 05-19 12:35 ?750次閱讀