關(guān)于虹科智能感知
虹科智能感知事業(yè)部專注于智能感知與機器視覺領(lǐng)域,已經(jīng)和IDS,Blickfeld和Gidel等有著重要地位的國際公司展開深度的技術(shù)合作。我們的解決方案包括3D激光雷達,工業(yè)相機,視覺處理平臺,圖像采集卡及視覺系統(tǒng)集成等。虹科的工程師積極參與國內(nèi)外專業(yè)協(xié)會和聯(lián)盟的活動,我們非常重視技術(shù)培訓(xùn)和積累,公司定期與國內(nèi)外專家團隊進行交流和培訓(xùn)。
AI速度快,耐用,錯誤極低,不需要停歇。由于這些優(yōu)點,在必須持續(xù)高效率和高質(zhì)量執(zhí)行工作流程的領(lǐng)域,AI比人類更有優(yōu)勢。人們希望在機器視覺環(huán)境中使用AI與機器人技術(shù)進行交互,以提高流程效率和成本效益。“視覺引導(dǎo)機器人”用例展示了典型的取放任務(wù),在不使用PC的情況下通過機器人和嵌入式AI視覺相機實現(xiàn)智能自動化。
對于“智能抓取”,不同學(xué)科必須以最佳方式合作。舉個例子來說,要使用機器人對不同大小、形狀、材料或質(zhì)量的產(chǎn)品進行分類,那么不但要進行抓取,還必須事先進行識別、分析和定位。對于基于規(guī)則的圖像處理系統(tǒng),這通常不僅非常耗時(處理小批量任務(wù)時尤其嚴重),而且在經(jīng)濟效益上說幾乎不可行。但是,工業(yè)機器人與基于AI的推理結(jié)合后,已經(jīng)具備了熟練工人所需的技能和產(chǎn)品知識。事實上,不再需要為單個子任務(wù)重新設(shè)計方案。只需要讓合適的產(chǎn)品以跨學(xué)科的方式有效協(xié)同工作,構(gòu)成一個“智能機器人視覺系統(tǒng)”,就足夠應(yīng)對這類任務(wù)。
01
智能拾取用例
在生產(chǎn)線中,物體隨機散布在傳送帶上。必須檢測、選擇對象,根據(jù)需要將其放入包裝中,或?qū)⑵鋫鬟f到正確的位置,以便進行進一步的處理或分析。虹科合作伙伴開發(fā)了一種基于PC的解決方案,用于檢測物體和控制機器人。他們訓(xùn)練的AI模型能夠識別相機圖像中物體的位置和方向,從而確定機器人的抓取坐標?,F(xiàn)在的目標是將該解決方案遷移到虹科的基于AI的嵌入式視覺系統(tǒng)。對于他們來說,解決方案中最重要的兩大要求是:
(1)用戶應(yīng)該在不需要特殊AI專業(yè)知識的情況下,輕松針對不同用例調(diào)整系統(tǒng)。這意味著,即使生產(chǎn)環(huán)境發(fā)生一些變化,例如照明、對象的外觀發(fā)生變化,甚至增加了其他對象類型,系統(tǒng)依然可以發(fā)揮作用。
(2)實現(xiàn)設(shè)備組件之間的直接通信,使整個系統(tǒng)可以徹底擺脫對PC的依賴,從而減小成本、降低重量并節(jié)省空間。
虹科推出的IDS NXT ocean推理相機系統(tǒng)可以滿足這兩項要求。
02
位置檢測和機器通信
經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)識別圖像中的所有對象,并檢測它們的位置和方向。AI不僅能處理外觀保持不變的固定對象,也適用于存在大量自然變化的情況,例如食物、植物或其他柔性物體。這使得物體的位置和方向識別非常穩(wěn)定。我們可以使用自己的軟件和知識為客戶訓(xùn)練網(wǎng)絡(luò),然后將其上傳到虹科的智能相機。要做到這一點,必須將它轉(zhuǎn)化成一種特殊的優(yōu)化格式,類似于一種“鏈表”。借助虹科提供的Ferry工具,將訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)移植到推理相機中就變得非常容易。在這個過程中,CNN網(wǎng)絡(luò)的每一層都成為一個節(jié)點描述符,這種描述符可以精確描述每一層。最終的結(jié)果是以二進制表示的CNN的完整串聯(lián)列表。CNN加速器是專門為該相機開發(fā)的,以FPGA為基礎(chǔ),非常適合執(zhí)行這個通用CNN。
然后,虹科開發(fā)的視覺應(yīng)用根據(jù)檢測數(shù)據(jù)計算機器人的最佳抓取位置。但這還不夠。除了抓取什么、在哪里以及如何抓取的結(jié)果外,智能相機和機器人之間還必須建立直接通信,不應(yīng)低估這項任務(wù)的重要性。這通常是決定解決方案需要投入多少時間、金錢和人力的關(guān)鍵因素。我們通過虹科Vision App Creator在相機的視覺應(yīng)用中實現(xiàn)了基于XMLRPC的網(wǎng)絡(luò)協(xié)議,可以將具體的工作指令直接傳遞給機器人。最終的AI視覺應(yīng)用能在大約200毫秒內(nèi)檢測到物體,并實現(xiàn)了+/-2度的定位精度。
虹科智能相機中的神經(jīng)網(wǎng)絡(luò)定位并檢測物體的準確位置機器人可以根據(jù)這些圖像信息,獨立取放這些物體
03
擺脫對PC機的依賴,實現(xiàn)人工智能
這個用例的突出之處不僅僅是人工智能,這個解決方案完全可以在沒有PC的情況下工作。這一點有兩個方面的優(yōu)勢。首先,由于相機本身不僅僅傳送圖像,更可以生成圖像處理結(jié)果,這樣就可以省去PC硬件和所有相關(guān)基礎(chǔ)設(shè)施。最終可以降低系統(tǒng)的購置和維護成本。然而,通常情況下,直接在生產(chǎn)現(xiàn)場做出流程決策也很重要,也就是要滿足“及時”的要求。這樣,系統(tǒng)就可以更快地執(zhí)行后續(xù)處理,并消除延遲,這在某些情況下還能夠提高時鐘頻率。
其次,這種方式可以降低開發(fā)成本。AI視覺或神經(jīng)網(wǎng)絡(luò)訓(xùn)練的工作方式與基于規(guī)則的經(jīng)典圖像處理完全不同,這也改變了圖像處理任務(wù)的方法和處理方式。最終質(zhì)量不再由圖像處理專家和應(yīng)用開發(fā)人員人工開發(fā)的程序代碼決定。換句話說,如果可以基于AI實現(xiàn)一個應(yīng)用,虹科智能相機方案還可以節(jié)省相應(yīng)專家的成本和時間,因為有了用戶友好的全面軟件環(huán)境,每個用戶群都可以訓(xùn)練一個神經(jīng)網(wǎng)絡(luò),設(shè)計相應(yīng)的視覺應(yīng)用,并在相機上執(zhí)行。該用例展示了計算機視覺如何成為無PC的嵌入式AI視覺應(yīng)用。基于視覺應(yīng)用的概念的可擴展性、針對不同目標群體的應(yīng)用開發(fā)以及端到端生產(chǎn)商支持也是小型嵌入式系統(tǒng)的優(yōu)勢。有了智能相機,就可以在應(yīng)用中清楚分配各種能力。用戶的注意力可以集中在他的產(chǎn)品上,而我們則專注于訓(xùn)練和運行AI,以進行圖像處理和控制機器人。另一個優(yōu)勢是,通過基于以太網(wǎng)通信和開放式平臺,視覺應(yīng)用還可以輕松適應(yīng)其他物體、其他機器人模型,從而適應(yīng)許多其他類似應(yīng)用。
一體化推理小體積智能相機——虹科NXT rio GS18031C-HQ
虹科NXT rio GS18031C-HQ工業(yè)推理相機,采用Sony IMX265LQR-C CMOS傳感器,像素達300萬,幀率為20fps,自帶128M圖像內(nèi)存。我們提供的NXT工業(yè)相機平臺,可以實現(xiàn)本地圖像處理??捎糜趯崿F(xiàn)視覺解決方案的所有步驟,從圖像采集、圖像分析與處理到工業(yè)生產(chǎn)設(shè)備的控制。我們可以提供包括硬件、軟件和基礎(chǔ)設(shè)施在內(nèi)的所有相關(guān)技術(shù)知識和支持,用戶只需擁有應(yīng)用場合相關(guān)的專業(yè)知識和樣本圖像即可搭建神經(jīng)網(wǎng)絡(luò)。借助云軟件平臺Lighthouse,即使是沒有人工智能知識的用戶,也能利用自己的圖像數(shù)據(jù)來訓(xùn)練AI分類器或是物體檢測器。Lighthouse是一款Web應(yīng)用程序,用戶可立刻使用它的所有功能和基礎(chǔ)架構(gòu)。即用戶無需事先搭建個人開發(fā)環(huán)境,直接可以開始訓(xùn)練他們專屬的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)訓(xùn)練只需三步:上傳樣本數(shù)據(jù),給圖像貼上標簽,然后按一下按鈕即可創(chuàng)建所需網(wǎng)絡(luò)。生成的網(wǎng)絡(luò)可以直接在NXT相機上運行,將其變成推理相機——意味著他們能將深度學(xué)習(xí)所獲得的知識,應(yīng)用到新的數(shù)據(jù)中。由于NXT相機具有特殊的AI處理器,因此神經(jīng)網(wǎng)絡(luò)能由硬件加速,并直接在設(shè)備上運行。
-
人工智能
+關(guān)注
關(guān)注
1787文章
46061瀏覽量
235074
發(fā)布評論請先 登錄
相關(guān)推薦
評論