何為3D點(diǎn)云語(yǔ)義分割

在自動(dòng)駕駛環(huán)境感知系統(tǒng)中，如何獲取高精度實(shí)時(shí)路況數(shù)據(jù)，是決定自動(dòng)駕駛系統(tǒng)行車安全的關(guān)鍵。

目前主流的兩種感知技術(shù)路徑“純視覺(jué)”與“高精地圖+激光雷達(dá)”中，由于激光雷達(dá)采集的3D點(diǎn)云路況數(shù)據(jù)更為密集、準(zhǔn)確且具備三維地理信息，因此以3D點(diǎn)云數(shù)據(jù)為基礎(chǔ)的感知算法即成為部分自動(dòng)駕駛企業(yè)的核心技術(shù)路徑，并誕生了規(guī)模龐大的3D點(diǎn)云數(shù)據(jù)標(biāo)注需求。

何為3D點(diǎn)云語(yǔ)義分割

對(duì)3D點(diǎn)云數(shù)據(jù)的標(biāo)注處理，依據(jù)處理方式和使用標(biāo)注工具的不同，大致可以分為三類：

▌純點(diǎn)云

純點(diǎn)云使用的標(biāo)注工具以3D立體框?yàn)橹?，待?biāo)注對(duì)象以3D立體框形式標(biāo)出，并附上相對(duì)應(yīng)的屬性信息標(biāo)簽，具體形式如下：

圖片來(lái)源：曼孚科技SEED數(shù)據(jù)服務(wù)平臺(tái)

▌融合標(biāo)注

融合標(biāo)注使用的3D標(biāo)注工具仍以3D立體框?yàn)橹?，但?D點(diǎn)云數(shù)據(jù)以外，還需要使用2D標(biāo)注工具在點(diǎn)云數(shù)據(jù)相對(duì)應(yīng)的2D圖像中進(jìn)行標(biāo)注，3D點(diǎn)云數(shù)據(jù)中的標(biāo)注對(duì)象與2D圖像中的標(biāo)注對(duì)象一一對(duì)應(yīng)，具體形式如下：

圖片來(lái)源：曼孚科技SEED數(shù)據(jù)服務(wù)平臺(tái)

▌3D點(diǎn)云語(yǔ)義分割

與2D圖像語(yǔ)義分割標(biāo)注邏輯類似，3D點(diǎn)云語(yǔ)義分割也是對(duì)不同的待標(biāo)注對(duì)象進(jìn)行上色分割、賦予語(yǔ)義標(biāo)簽，不同的是3D點(diǎn)云語(yǔ)義分割需要在3維立體點(diǎn)云中對(duì)每個(gè)像素點(diǎn)指定一個(gè)類別標(biāo)簽，比如車輛、行人、道路、建筑物等，具體形式如下：

圖片來(lái)源：曼孚科技SEED數(shù)據(jù)服務(wù)平臺(tái)

相較于前兩種標(biāo)注方式，在需要更為精細(xì)的空間信息時(shí)（比如自動(dòng)泊車），立體框標(biāo)注場(chǎng)景中如鉸接式公交車等形狀可變的物體，3D點(diǎn)云語(yǔ)義分割標(biāo)注對(duì)路況數(shù)據(jù)的反饋更為精準(zhǔn)，因此3D點(diǎn)云語(yǔ)義分割標(biāo)注在自動(dòng)駕駛感知算法中所占的比重也愈發(fā)高漲。

常見(jiàn)標(biāo)注規(guī)則與標(biāo)注對(duì)象

不同算法、不同應(yīng)用場(chǎng)景對(duì)點(diǎn)云語(yǔ)義分割的標(biāo)注需求與規(guī)則也不盡相同，常見(jiàn)的相對(duì)簡(jiǎn)單的自動(dòng)駕駛3D點(diǎn)云語(yǔ)義分割標(biāo)注對(duì)象包括：

1、行人：通常指未騎乘交通工具的人，包含騎滑板車、平衡車的人。

2、騎車人：通常包括騎摩托車、自行車、三輪車、電動(dòng)車等的人。

3、車輛：車輛是3D點(diǎn)云語(yǔ)義分割標(biāo)注場(chǎng)景下最為常見(jiàn)，且子分類較多的對(duì)象。子對(duì)象的劃分有依據(jù)車輛具體車型，比如轎車、卡車、公交車、救護(hù)車等，也有依據(jù)類別，比如客車、貨車、工程車等。

以類別為例，具體如下：

1）微型車：如代步車、各類三輪車等；

2）小型汽車：如轎車、SUV等；

3）客車：如大、中型巴士、雙層巴士等載人車輛；

4）貨車：如廂式貨車等載貨車輛；

5）工程車：灑水車、消防車、垃圾車等；

6）其他車輛。

4、路面相關(guān)：與路面相關(guān)的各種對(duì)象，可具體細(xì)分為馬路可行駛區(qū)域、人行道、車道線等。

5、建筑物：如樓房、隧道橋面、橋墩、高架橋等。

6、植物：如草地、樹(shù)木等。

7、路面物體：路面物體也是一個(gè)子對(duì)象較多的種類，常見(jiàn)的包括：

1）護(hù)欄：如交通隔離欄、交通護(hù)欄等；

2）柵欄：臨時(shí)性的如交通水馬等；

3）交通標(biāo)志：如紅綠燈、標(biāo)識(shí)牌、桿等；

4）障礙物：如交通錐桶、警示牌、防撞桶、石墩等；

5）其他物體。

8、噪聲點(diǎn)云：如水霧、煙霧、汽車尾氣、雨水等各類噪聲點(diǎn)云。

以上是3D點(diǎn)云語(yǔ)義分割常見(jiàn)的各類標(biāo)注對(duì)象，但不同場(chǎng)景，具體的對(duì)象劃分規(guī)則以及待標(biāo)注對(duì)象種類都存在巨大差異，并沒(méi)有統(tǒng)一的標(biāo)準(zhǔn)。

而在更為具體的標(biāo)注規(guī)則上，差異同樣十分巨大。

常見(jiàn)的標(biāo)注規(guī)則如物體起標(biāo)范圍，通常會(huì)規(guī)定點(diǎn)云數(shù)量超過(guò)X以上，該物體即需要標(biāo)注，此外還會(huì)規(guī)定模糊無(wú)法判定物體的具體標(biāo)注規(guī)則等等，不一而足。

具象化的標(biāo)注實(shí)例如下：

標(biāo)注前（圖片來(lái)源：曼孚科技SEED數(shù)據(jù)服務(wù)平臺(tái)）

標(biāo)注后（圖片來(lái)源：曼孚科技SEED數(shù)據(jù)服務(wù)平臺(tái)）

隨著自動(dòng)駕駛商業(yè)量產(chǎn)進(jìn)入新階段，開(kāi)放路段場(chǎng)景復(fù)雜且多變，需要自動(dòng)駕駛算法有更深的場(chǎng)景積累度與迭代能力，以滿足感知算法與行車安全的需求。

3D點(diǎn)云語(yǔ)義分割更精細(xì)的場(chǎng)景信息反饋，在幫助算法建立更貼合現(xiàn)實(shí)的場(chǎng)景模型，以及提升感知安全方面具備天然優(yōu)勢(shì)，在自動(dòng)駕駛邁向大規(guī)模商業(yè)化應(yīng)用的今天，勢(shì)必將扮演更重要的角色。

審核編輯 ：李倩