【虹科案例】 一臺智能相機無需PC通過人工智能實現(xiàn)自動化拾取

關(guān)于虹科智能感知

虹科智能感知事業(yè)部專注于智能感知與機器視覺領(lǐng)域，已經(jīng)和IDS，Blickfeld和Gidel等有著重要地位的國際公司展開深度的技術(shù)合作。我們的解決方案包括3D激光雷達，工業(yè)相機，視覺處理平臺，圖像采集卡及視覺系統(tǒng)集成等。虹科的工程師積極參與國內(nèi)外專業(yè)協(xié)會和聯(lián)盟的活動，我們非常重視技術(shù)培訓(xùn)和積累，公司定期與國內(nèi)外專家團隊進行交流和培訓(xùn)。

AI速度快，耐用，錯誤極低，不需要停歇。由于這些優(yōu)點，在必須持續(xù)高效率和高質(zhì)量執(zhí)行工作流程的領(lǐng)域，AI比人類更有優(yōu)勢。人們希望在機器視覺環(huán)境中使用AI與機器人技術(shù)進行交互，以提高流程效率和成本效益。“視覺引導(dǎo)機器人”用例展示了典型的取放任務(wù)，在不使用PC的情況下通過機器人和嵌入式AI視覺相機實現(xiàn)智能自動化。
對于“智能抓取”，不同學(xué)科必須以最佳方式合作。舉個例子來說，要使用機器人對不同大小、形狀、材料或質(zhì)量的產(chǎn)品進行分類，那么不但要進行抓取，還必須事先進行識別、分析和定位。對于基于規(guī)則的圖像處理系統(tǒng)，這通常不僅非常耗時（處理小批量任務(wù)時尤其嚴重），而且在經(jīng)濟效益上說幾乎不可行。但是，工業(yè)機器人與基于AI的推理結(jié)合后，已經(jīng)具備了熟練工人所需的技能和產(chǎn)品知識。事實上，不再需要為單個子任務(wù)重新設(shè)計方案。只需要讓合適的產(chǎn)品以跨學(xué)科的方式有效協(xié)同工作，構(gòu)成一個“智能機器人視覺系統(tǒng)”，就足夠應(yīng)對這類任務(wù)。

01

智能拾取用例

在生產(chǎn)線中，物體隨機散布在傳送帶上。必須檢測、選擇對象，根據(jù)需要將其放入包裝中，或?qū)⑵鋫鬟f到正確的位置，以便進行進一步的處理或分析。虹科合作伙伴開發(fā)了一種基于PC的解決方案，用于檢測物體和控制機器人。他們訓(xùn)練的AI模型能夠識別相機圖像中物體的位置和方向，從而確定機器人的抓取坐標?，F(xiàn)在的目標是將該解決方案遷移到虹科的基于AI的嵌入式視覺系統(tǒng)。對于他們來說，解決方案中最重要的兩大要求是：

（1）用戶應(yīng)該在不需要特殊AI專業(yè)知識的情況下，輕松針對不同用例調(diào)整系統(tǒng)。這意味著，即使生產(chǎn)環(huán)境發(fā)生一些變化，例如照明、對象的外觀發(fā)生變化，甚至增加了其他對象類型，系統(tǒng)依然可以發(fā)揮作用。

（2）實現(xiàn)設(shè)備組件之間的直接通信，使整個系統(tǒng)可以徹底擺脫對PC的依賴，從而減小成本、降低重量并節(jié)省空間。

虹科推出的IDS NXT ocean推理相機系統(tǒng)可以滿足這兩項要求。

02

位置檢測和機器通信

經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)識別圖像中的所有對象，并檢測它們的位置和方向。AI不僅能處理外觀保持不變的固定對象，也適用于存在大量自然變化的情況，例如食物、植物或其他柔性物體。這使得物體的位置和方向識別非常穩(wěn)定。我們可以使用自己的軟件和知識為客戶訓(xùn)練網(wǎng)絡(luò)，然后將其上傳到虹科的智能相機。要做到這一點，必須將它轉(zhuǎn)化成一種特殊的優(yōu)化格式，類似于一種“鏈表”。借助虹科提供的Ferry工具，將訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)移植到推理相機中就變得非常容易。在這個過程中，CNN網(wǎng)絡(luò)的每一層都成為一個節(jié)點描述符，這種描述符可以精確描述每一層。最終的結(jié)果是以二進制表示的CNN的完整串聯(lián)列表。CNN加速器是專門為該相機開發(fā)的，以FPGA為基礎(chǔ)，非常適合執(zhí)行這個通用CNN。

然后，虹科開發(fā)的視覺應(yīng)用根據(jù)檢測數(shù)據(jù)計算機器人的最佳抓取位置。但這還不夠。除了抓取什么、在哪里以及如何抓取的結(jié)果外，智能相機和機器人之間還必須建立直接通信，不應(yīng)低估這項任務(wù)的重要性。這通常是決定解決方案需要投入多少時間、金錢和人力的關(guān)鍵因素。我們通過虹科Vision App Creator在相機的視覺應(yīng)用中實現(xiàn)了基于XMLRPC的網(wǎng)絡(luò)協(xié)議，可以將具體的工作指令直接傳遞給機器人。最終的AI視覺應(yīng)用能在大約200毫秒內(nèi)檢測到物體，并實現(xiàn)了+/-2度的定位精度。

虹科智能相機中的神經(jīng)網(wǎng)絡(luò)定位并檢測物體的準確位置機器人可以根據(jù)這些圖像信息，獨立取放這些物體

03

擺脫對PC機的依賴，實現(xiàn)人工智能

這個用例的突出之處不僅僅是人工智能，這個解決方案完全可以在沒有PC的情況下工作。這一點有兩個方面的優(yōu)勢。首先，由于相機本身不僅僅傳送圖像，更可以生成圖像處理結(jié)果，這樣就可以省去PC硬件和所有相關(guān)基礎(chǔ)設(shè)施。最終可以降低系統(tǒng)的購置和維護成本。然而，通常情況下，直接在生產(chǎn)現(xiàn)場做出流程決策也很重要，也就是要滿足“及時”的要求。這樣，系統(tǒng)就可以更快地執(zhí)行后續(xù)處理，并消除延遲，這在某些情況下還能夠提高時鐘頻率。
其次，這種方式可以降低開發(fā)成本。AI視覺或神經(jīng)網(wǎng)絡(luò)訓(xùn)練的工作方式與基于規(guī)則的經(jīng)典圖像處理完全不同，這也改變了圖像處理任務(wù)的方法和處理方式。最終質(zhì)量不再由圖像處理專家和應(yīng)用開發(fā)人員人工開發(fā)的程序代碼決定。換句話說，如果可以基于AI實現(xiàn)一個應(yīng)用，虹科智能相機方案還可以節(jié)省相應(yīng)專家的成本和時間，因為有了用戶友好的全面軟件環(huán)境，每個用戶群都可以訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)，設(shè)計相應(yīng)的視覺應(yīng)用，并在相機上執(zhí)行。該用例展示了計算機視覺如何成為無PC的嵌入式AI視覺應(yīng)用。基于視覺應(yīng)用的概念的可擴展性、針對不同目標群體的應(yīng)用開發(fā)以及端到端生產(chǎn)商支持也是小型嵌入式系統(tǒng)的優(yōu)勢。有了智能相機，就可以在應(yīng)用中清楚分配各種能力。用戶的注意力可以集中在他的產(chǎn)品上，而我們則專注于訓(xùn)練和運行AI，以進行圖像處理和控制機器人。另一個優(yōu)勢是，通過基于以太網(wǎng)通信和開放式平臺，視覺應(yīng)用還可以輕松適應(yīng)其他物體、其他機器人模型，從而適應(yīng)許多其他類似應(yīng)用。

一體化推理小體積智能相機——虹科NXT rio GS18031C-HQ

虹科NXT rio GS18031C-HQ工業(yè)推理相機，采用Sony IMX265LQR-C CMOS傳感器，像素達300萬，幀率為20fps，自帶128M圖像內(nèi)存。我們提供的NXT工業(yè)相機平臺，可以實現(xiàn)本地圖像處理?？捎糜趯崿F(xiàn)視覺解決方案的所有步驟，從圖像采集、圖像分析與處理到工業(yè)生產(chǎn)設(shè)備的控制。我們可以提供包括硬件、軟件和基礎(chǔ)設(shè)施在內(nèi)的所有相關(guān)技術(shù)知識和支持，用戶只需擁有應(yīng)用場合相關(guān)的專業(yè)知識和樣本圖像即可搭建神經(jīng)網(wǎng)絡(luò)。借助云軟件平臺Lighthouse，即使是沒有人工智能知識的用戶，也能利用自己的圖像數(shù)據(jù)來訓(xùn)練AI分類器或是物體檢測器。Lighthouse是一款Web應(yīng)用程序，用戶可立刻使用它的所有功能和基礎(chǔ)架構(gòu)。即用戶無需事先搭建個人開發(fā)環(huán)境，直接可以開始訓(xùn)練他們專屬的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)訓(xùn)練只需三步：上傳樣本數(shù)據(jù)，給圖像貼上標簽，然后按一下按鈕即可創(chuàng)建所需網(wǎng)絡(luò)。生成的網(wǎng)絡(luò)可以直接在NXT相機上運行，將其變成推理相機——意味著他們能將深度學(xué)習(xí)所獲得的知識，應(yīng)用到新的數(shù)據(jù)中。由于NXT相機具有特殊的AI處理器，因此神經(jīng)網(wǎng)絡(luò)能由硬件加速，并直接在設(shè)備上運行。