一個機(jī)器人操作系統(tǒng)(ROS)節(jié)點(diǎn)系統(tǒng)

描述

垃圾戰(zhàn)爭

每年人類總共傾倒超過 20 億噸垃圾，到 2050 年有望超過 34 億噸/年。目前這直接影響到超過 6100 萬人，約占溫室氣體排放量的 5%。

幾乎一半的浪費(fèi)是食物浪費(fèi)，其中 40% 是由于質(zhì)量標(biāo)準(zhǔn)過分強(qiáng)調(diào)外觀而在零售和消費(fèi)者層面造成的浪費(fèi)。盡管有如此大量的垃圾來自食物，但其中只有一小部分被堆肥（當(dāng)食物垃圾被放入垃圾填埋場時，它會產(chǎn)生甲烷而不是二氧化碳，參見堆肥與垃圾填埋場）。此外，由于體力勞動成本增加或缺乏全行業(yè)采用，許多用于升級回收食物浪費(fèi)的方法根本沒有實(shí)施。

單流回收的發(fā)展提高了回收率，因?yàn)橄M(fèi)者不必手動進(jìn)行分類，并降低了回收廠的成本（只有一個收集系統(tǒng)）。然而，由于未經(jīng)批準(zhǔn)的材料或不干凈的可回收物（回收廠清潔可回收物的成本通常太高）被放置在單流垃圾箱中，污染增加，這也導(dǎo)致回收材料的質(zhì)量下降。

在過去幾年中，隨著邊緣人工智能和物聯(lián)網(wǎng)的興起，已經(jīng)開發(fā)了許多新產(chǎn)品來幫助解決浪費(fèi)問題。其中一些包括 Alphabets X 的 Everyday Robot、Tomra 的 Container Deposit 以及對放入其中的物品進(jìn)行分類的“智能垃圾箱”。雖然這些產(chǎn)品正在緩慢地幫助解決其中的一些問題，但采用起來可能很慢而且成本很高。

該項(xiàng)目將展示一些開發(fā)低成本開源廢物管理系統(tǒng)的方法和流程，為回收行業(yè)的民主化開辟了可能性。雖然這不是一個端到端的項(xiàng)目和演示（由于資源有限），但它將討論對廢物類型進(jìn)行分類所需的組件以及處理它們的建議方法。

建議系統(tǒng)

該項(xiàng)目提出了一個機(jī)器人操作系統(tǒng) (ROS) 節(jié)點(diǎn)系統(tǒng)，可以使用和組合這些節(jié)點(diǎn)來構(gòu)建一個功能齊全的系統(tǒng)，以最大限度地減少和處理浪費(fèi)。當(dāng)前的特別重點(diǎn)是減少與食物相關(guān)的浪費(fèi)。使用 NVIDIA Jetson Nano 是因?yàn)槠渫庑涡∏汕夜牡?，使這些工作負(fù)載能夠在邊緣處理并本地化到手臂。

下面是一個 ROS 節(jié)點(diǎn)系統(tǒng)，用于對產(chǎn)品進(jìn)行分類以最大程度地減少浪費(fèi)。多光譜相機(jī)用于收集單個產(chǎn)品或產(chǎn)品集合（例如，系統(tǒng)監(jiān)控已上架的大量產(chǎn)品）的 NIR 圖像。該數(shù)據(jù)被送入成熟度指數(shù)節(jié)點(diǎn)，該節(jié)點(diǎn)量化給定項(xiàng)目的成熟度。決策引擎然后決定如何處理它，指示末端執(zhí)行器或執(zhí)行器（或可能是人類）進(jìn)行相應(yīng)處理。有關(guān)此系統(tǒng)的更多信息如下所示。

用于農(nóng)產(chǎn)品分類的 ROS 節(jié)點(diǎn)集合

?

目前的廢物流需要大量人力和大型機(jī)器來分類廢物。這些方法僅適用于具有更多“價值”的廢物流（即單流可回收物）。一系列帶有定制末端執(zhí)行器的機(jī)械臂（例如，特定的末端執(zhí)行器取決于貴重物品的類型，例如金屬、紡織品等）可以處理額外的廢物流。

雖然這些手臂比大型設(shè)施中運(yùn)行的快速運(yùn)行的氣動系統(tǒng)慢得多，但在分散的廢物經(jīng)濟(jì)中，這些手臂可以用來收集更具體的有價值的物品。它們也更靈活，能夠分揀更多種類且用途更廣泛（氣動系統(tǒng)很大，通常只能分揀一種材料）。

相機(jī)執(zhí)行首次通過對象檢測和分類以確定對象的初始值。如果該物品是為該手臂指定的特定物品，則可以使用末端執(zhí)行器內(nèi)置的微型光譜儀對其進(jìn)行進(jìn)一步的材料分類。這可用于確定材料的成分，以便在其最終位置進(jìn)行精細(xì)選擇和沉積。

用于廢物流分類的 ROS 節(jié)點(diǎn)集合

?

這樣的系統(tǒng)可以從普通廢物流中增加有價值的可回收物，對材料分類提供更精細(xì)的控制，從而產(chǎn)生更高價值的產(chǎn)品，并最大限度地減少人力勞動，從而實(shí)現(xiàn)更循環(huán)的經(jīng)濟(jì)。

在 Jetson Nano 上開始使用 ROS

由于其模塊化設(shè)計(jì)和寬松許可，該項(xiàng)目的模塊將使用機(jī)器人操作系統(tǒng)創(chuàng)建。它還允許模塊更容易地集成到更大的系統(tǒng)中。使用 NVIDIA Jetson 是因?yàn)樗且粋€功能強(qiáng)大但體積小的 SBC，能夠在其內(nèi)置的 128 個 CUDA 內(nèi)核上運(yùn)行計(jì)算和其他機(jī)器學(xué)習(xí)任務(wù)。

請參閱 Jetson Nano啟動說明以獲取加載 Jetson Nano 開發(fā)工具包 SD 卡映像。

在大多數(shù)情況下，我們將使用 PIP 方法從源指令中遵循 ROS 。我們還必須從源代碼構(gòu)建所需的包。

初始更新和安裝 pip

sudo apt update 
sudo apt upgrade -y
sudo apt install python-pip -y

安裝依賴并初始化rosdep

sudo pip install --upgrade setuptools
sudo pip install -U rosdep rosinstall_generator wstool rosinstall
sudo rosdep init 
rosdep update

創(chuàng)建用于構(gòu)建ros的catkin工作區(qū)

mkdir ~/ros_catkin_ws 
cd ~/ros_catkin_ws 
rosinstall_generator ros_comm --rosdistro melodic --deps --tar > melodic-ros_comm.rosinstall 
wstool init -j8 src melodic-ros_comm.rosinstall

解決依賴關(guān)系，構(gòu)建工作區(qū)并獲取它

rosdep install --from-paths src --ignore-src --rosdistro melodic -y
./src/catkin/bin/catkin_make_isolated --install -DCMAKE_BUILD_TYPE=Release
source ~/ros_catkin_ws/install_isolated/setup.bash

傳感器：多光譜相機(jī)

多光譜相機(jī)每個通道的結(jié)果

?

多光譜相機(jī)能夠看到超越我們?nèi)祟愃芸吹降臇|西。通過觀察特定波長的光，我們可以識別獨(dú)特的特征。這對于分選植物性食品特別有用，因?yàn)槌墒於忍卣鞒霈F(xiàn)在近紅外 (NIR) 區(qū)域。

可以從這樣的系統(tǒng)中建立一個減少易腐爛食物垃圾的系統(tǒng)。從超市常用的先進(jìn)先出 (FIFO) 做法過渡到根據(jù)產(chǎn)品成熟度推出產(chǎn)品的系統(tǒng)可以減少食物浪費(fèi)。通過監(jiān)控已經(jīng)出爐的農(nóng)產(chǎn)品，系統(tǒng)可以監(jiān)控成熟度并有選擇地去除即將成熟的農(nóng)產(chǎn)品（從而防止成熟連鎖反應(yīng)）

通過遵循與 Microsoft HyperCam 類似的方法，我們可以創(chuàng)建便宜（低于一百美元）的 NIR 多光譜成像設(shè)備。使用Raspberry Pi NoIR相機(jī)是因?yàn)樗鼪]有紅外濾光片（這使我們能夠看到高達(dá) 1000 納米左右的波長）。連接到簡單晶體管驅(qū)動電路的不同波長的 IR LED 網(wǎng)格允許我們使用Jetson GPIO庫控制我們想要檢查的波長。

上圖顯示了用多光譜相機(jī)拍攝的不同波長的成熟鱷梨。與 830nm 相比，890nm 在成熟和未成熟區(qū)域之間具有最高的對比度，830nm 僅非常輕微地顯示出這種差異。

?

?

?

?

1 / 4 ?多光譜相機(jī)原型

?

藍(lán)色濾光片阻擋藍(lán)色波長，但允許我們感興趣的 NIR 波長，因?yàn)閭鞲衅鞯乃{(lán)色通道對這些波長敏感。通過僅查看此通道，我們可以將藍(lán)色換成 NIR。

這可以在 opencv 中完成

#... load image
(r, g, b) = cv2.split(img)  # Split channels of image
nir = cv2.merge([b,b,b])    # merge only blue into NIR channel
cv2.imshow("NIR", nir)      # or only show the blue channel with grayscale selected

通過在不同的通道中組合這些圖像，我們可以比較每個波長的細(xì)節(jié)差異。例如，下圖顯示通道 e、c 和 f 合并為 RGB 圖像。

您可以在我的網(wǎng)站上找到構(gòu)建所需 ROS 包的依賴項(xiàng)列表。從源代碼構(gòu)建所需的所有依賴項(xiàng)都可以在我的網(wǎng)站上找到。為了獲得更高的光譜分辨率，我們需要使用光譜儀。我使用Sparkfun Triad Spectroscopy傳感器做了一些實(shí)驗(yàn)。

該傳感器在 NIR 范圍內(nèi)只有幾個通道，光譜分辨率相對較低，約為 40nm。

光譜響應(yīng)（來源：AS7??265X 數(shù)據(jù)表）

?

為了創(chuàng)建能夠進(jìn)行準(zhǔn)確材料分類的高分辨率設(shè)備，我們需要使用能夠在寬波長范圍（高達(dá) 2000nm 左右）、超過 1000nm 并具有高光譜分辨率（大約 20nm 或更小）的傳感器). 例如，使用Hamamatsu MEMS-FPI光譜傳感器構(gòu)建的傳感器能??夠?qū)崿F(xiàn) 1350 至 1650 nm 的光譜范圍和 18 nm 的光譜分辨率（對于 C14272）。該設(shè)備足夠小，可以嵌入機(jī)械臂的末端執(zhí)行器中，允許在運(yùn)動過程中同時進(jìn)行分類。然而，獲得這個模塊對于愛好者來說是具有挑戰(zhàn)性的。

我使用 AS7265X 傳感器創(chuàng)建了一個小型數(shù)據(jù)集。這可以作為包含類然后通道的 csv 文件使用。該數(shù)據(jù)可以傳遞到分類器中以推導(dǎo)材料成分

對象檢測：暗網(wǎng)和 ROS

為了執(zhí)行對象檢測和初始分類，我們可以使用Darket 的 ROS 節(jié)點(diǎn)并訓(xùn)練一組自定義權(quán)重來指定專用模型。帶有 YOLOv3 Tiny 的 Darknet ROS（roslaunch 文件在我的存儲庫的分支中）在 Jetson Nano 上以大約 10-15fps 的速度運(yùn)行。

可以將邊界框和分類輸入到價值引擎中，以具體選擇目標(biāo)項(xiàng)目類型。然后可以使用某種形式的機(jī)械臂收集這些信息以供進(jìn)一步分析。

顯示 yolov3-tiny 配置的 ROS Launch 文件示例

<launch>

<arg name="network_param_file"         default="$(find darknet_ros)/config/yolov3-tiny.yaml"/>
<arg name="image" default="camera/rgb/image_raw" />

<include file="$(find darknet_ros)/launch/darknet_ros.launch">
<arg name="network_param_file"    value="$(arg network_param_file)"/>
<arg name="image" value="$(arg image)" />
include>
launch>

要使用 Darknet 構(gòu)建專門的分類器，我們可以遵循pjreddie 的訓(xùn)練 CIFAR10 。所使用的數(shù)據(jù)集應(yīng)該圍繞所需的價值項(xiàng)目進(jìn)行訓(xùn)練，以獲得最佳效率。如JK Jung 的 TensortRT ONNX YOLOv3所示，在 TensorRT 上運(yùn)行暗網(wǎng)可以產(chǎn)生更高的幀速率。

價值引擎和末端執(zhí)行器

ROS節(jié)點(diǎn)中的價值引擎（單流排序）是為執(zhí)行排序的實(shí)際硬件提供一個目標(biāo)。它以兩階段方式運(yùn)行，初始值（通常具有較低或較低的特定概率）隨后是用于高置信度材料成分分類的特定分類器（利用光譜儀），以便可以將其放入正確的容器中。

這導(dǎo)致更高質(zhì)量的輸出被重復(fù)使用，這很重要，因?yàn)榛厥栈驈U物設(shè)施的輸出必須與原始材料競爭。這對于回收紡織品等敏感材料也很重要。

末端執(zhí)行器必須專用于它們需要收集的材料。這就是價值引擎具有初始分類的原因，以便它可以傳遞到正確的子系統(tǒng)。

進(jìn)一步探索

去中心化、民主化的廢物和回收過程的目標(biāo)需要大量的工作。該項(xiàng)目只是探索了一些傳感器和使用設(shè)備對邊緣物質(zhì)進(jìn)行分類的方法。

還探索了其他用于材料分類的傳感器，例如雷達(dá)，它們可能是光譜儀的低成本替代/增強(qiáng)。