Golang在Momenta大數(shù)據(jù)平臺當(dāng)中的應(yīng)用

目前人工智能非?；?，大家所熟知的人臉識別、智能安防、自動駕駛等領(lǐng)域都在應(yīng)用人工智能技術(shù)。但在自動駕駛這個(gè)行業(yè)中我們能用Go語言做什么事情？今天分享的主要是人工智能數(shù)據(jù)流的流轉(zhuǎn)方式，也是Golang在Momenta大數(shù)據(jù)平臺當(dāng)中的應(yīng)用。

Momenta 大數(shù)據(jù)平臺

Momenta的目標(biāo)是打造自動駕駛大腦，基于深度學(xué)習(xí)和海量數(shù)據(jù)，Momenta已經(jīng)形成服務(wù)多個(gè)場景的自動駕駛解決方案，解決了逆光、橋、隧道、雨天、夜間、匝道等復(fù)雜道路場景。

在實(shí)現(xiàn)自動駕駛的過程中，深度學(xué)習(xí)的算法在訓(xùn)練模型時(shí)得有基礎(chǔ)數(shù)據(jù)作支撐，需要大量的圖像數(shù)據(jù)。借助團(tuán)隊(duì)極強(qiáng)的研究能力與工程能力，Momenta已經(jīng)建立起大數(shù)據(jù)平臺、大計(jì)算平臺、大測試平臺三大基礎(chǔ)平臺，從而實(shí)現(xiàn)大數(shù)據(jù)與AI算法的反饋閉環(huán)——以強(qiáng)大的計(jì)算資源處理豐富的海量數(shù)據(jù)，得到更精準(zhǔn)、更可靠的算法模型。

其中，大數(shù)據(jù)平臺能夠完美處理自動駕駛領(lǐng)域的數(shù)據(jù)流，具體而言，便是處理收集數(shù)據(jù)、篩選數(shù)據(jù)、數(shù)據(jù)標(biāo)注、訓(xùn)練模型、模型測試、封裝發(fā)布的整個(gè)過程。

數(shù)據(jù)篩選       

上圖是車輛識別的一個(gè)典型，富有中國特色和北京特色——電動車，Momenta目前對電動車、自行車、人力三輪車、三輪電動車等，都能進(jìn)行識別，并且達(dá)到很高的準(zhǔn)確度。在人工智能數(shù)據(jù)流中，數(shù)據(jù)篩選這一步驟主要有以下作用：

降低成本：無需重復(fù)標(biāo)注已經(jīng)可以很好識別的素材，降低標(biāo)注成本，模型運(yùn)行結(jié)果可用于輔助標(biāo)注；

提高模型訓(xùn)練效率：去除無效素材，提取包含識別目標(biāo)的素材，提高訓(xùn)練效率；

提高模型訓(xùn)練邊際效用：通過對極端情況（corner case）的數(shù)據(jù)進(jìn)行針對性訓(xùn)練，可以有效的提高模型性能。

數(shù)據(jù)標(biāo)注

經(jīng)過篩選之后，會有部分圖片需要人工標(biāo)注?；跇O強(qiáng)的工程能力，Momenta開發(fā)了在線遠(yuǎn)程眾包數(shù)據(jù)標(biāo)注系統(tǒng)，實(shí)習(xí)可視化操作，即便標(biāo)注人員不懂代碼也能遠(yuǎn)程完成各類標(biāo)注任務(wù)。數(shù)據(jù)標(biāo)注的作用主要是提高模型訓(xùn)練精度， 獲得更多標(biāo)注圖片，提取包含識別目標(biāo)的素材，提高訓(xùn)練精度。

模型訓(xùn)練

上圖是模型訓(xùn)練的流程圖，其中，在數(shù)據(jù)導(dǎo)入、模型訓(xùn)練和模型驗(yàn)證Momenta都做出了極大的創(chuàng)新。

數(shù)據(jù)導(dǎo)入：支持多種數(shù)據(jù)類型，支持多批次數(shù)據(jù)合并，支持多種組合規(guī)則；

模型訓(xùn)練：多機(jī)多卡并發(fā)訓(xùn)練，共享式集群、支持多人多任務(wù)同時(shí)進(jìn)行，支持多種主流訓(xùn)練框架，所有任務(wù)由 Kubernetes 自動調(diào)度完成；

模型驗(yàn)證：訓(xùn)練所得模型自動在驗(yàn)證集上進(jìn)行驗(yàn)證，通過驗(yàn)證的模型將進(jìn)入模型倉庫供后續(xù)流程使用。

與傳統(tǒng)方式相比，Momenta采用的共享集群調(diào)度讓用戶（內(nèi)部的算法研發(fā)人員）可以編寫任務(wù)描述和訓(xùn)練腳本，而管理員通過網(wǎng)頁界面進(jìn)行集群管理和工作調(diào)度。極大地節(jié)省人工成本，提高資源利用率，實(shí)現(xiàn)集中性管理，提高安全性。

Golang 在人工智能數(shù)據(jù)流中的應(yīng)用

Golang在人工智能數(shù)據(jù)流中主要應(yīng)用在篩選系統(tǒng)、標(biāo)注系統(tǒng)和訓(xùn)練系統(tǒng)。

篩選 系統(tǒng)

Momenta每天可能需要處理幾千萬張圖片，數(shù)據(jù)量巨大，如果逐一進(jìn)行標(biāo)注將給存儲帶來很大的挑戰(zhàn)。解決這個(gè)問題的方法就是篩選系統(tǒng)，通過篩選系統(tǒng)，我們將大的數(shù)據(jù)集拆分為小的單元，每個(gè)單元中包含小的任務(wù)，而每個(gè)單元對應(yīng)一個(gè) GPU，使用 GPU進(jìn)行智能篩選。最終只有約10%的圖片時(shí)需要進(jìn)行標(biāo)注的，大大減少了數(shù)據(jù)標(biāo)注的成本。

標(biāo)注系統(tǒng)

Momenta為內(nèi)部算法研發(fā)人員服務(wù)的標(biāo)注系統(tǒng)，可以實(shí)現(xiàn)用戶管理、任務(wù)分發(fā)、計(jì)費(fèi)、結(jié)算和自動審核。自動審核是比較特殊的，在一般場景和服務(wù)中用得比較少，自動審核是指用Momenta的模型來證實(shí)用戶（在平臺上兼職標(biāo)注的人員）的標(biāo)注結(jié)果是否符合需求或預(yù)期，主要是應(yīng)付較大的用戶訪問，特別是節(jié)假日的時(shí)候。（節(jié)假日期間平臺的用戶比較閑，會希望在平臺上賺點(diǎn)零花錢。）

訓(xùn)練系統(tǒng)