邊緣AI推理應(yīng)用設(shè)計的發(fā)展

在過去的三四年里，人工智能推理市場發(fā)生了巨大變化。以前，甚至不存在邊緣人工智能，大多數(shù)推理能力都發(fā)生在數(shù)據(jù)中心、超級計算機或政府應(yīng)用程序中，這些應(yīng)用程序通常也是大型計算項目。在所有這些情況下，性能都是至關(guān)重要的，并且始終是重中之重。快進到今天，邊緣人工智能市場與此截然不同，尤其是當(dāng)它進入更多商業(yè)應(yīng)用時。對于這些用例，主要關(guān)注點更多的是低成本、功耗和小尺寸；而更少關(guān)于原始性能。

通過硬件-軟件協(xié)同設(shè)計平衡更好的性能

在查看推理芯片時，很明顯一種芯片與另一種不同。設(shè)計師總是在他們的設(shè)計中做出選擇，而好的選擇會考慮他們的最終應(yīng)用以及他們在這些應(yīng)用中的限制。例如，當(dāng) Flex Logix 設(shè)計其第一個推理芯片時，它最初的大小是現(xiàn)在的 4 倍。我們很快意識到，芯片需要更小才能在成本更低、功耗更低、外形尺寸更小的邊緣 AI 市場中占據(jù)一席之地。

有趣的是，大多數(shù)人最初認(rèn)為大多數(shù)推理總是在數(shù)據(jù)中心完成。這種觀點最終發(fā)生了變化，因為行業(yè)意識到它有太多的數(shù)據(jù)需要移動，因此，這些數(shù)據(jù)開始向邊緣移動。隨著 5G 開始出現(xiàn)，更清楚的是，不可能始終將原始數(shù)據(jù)發(fā)送到云端進行處理。顯然，邊緣必須有一定的智能才能解決 99.9% 的場景，而數(shù)據(jù)中心實際上只需要用于極端情況。一個完美的例子是安全攝像頭。邊緣 AI 需要能夠確定是否發(fā)生了任何可疑活動以及周圍是否有人。然后，如果發(fā)現(xiàn)任何有趣的東西，這些部分可以發(fā)送到數(shù)據(jù)中心進行進一步處理。然而，發(fā)送到數(shù)據(jù)中心的數(shù)據(jù)實際上只是整體推理的一小部分。邊緣推理 AI 通常意味著要滿足很多約束，有時如果你想運行非常大的復(fù)雜模型，你實際上只需要在很小一部分?jǐn)?shù)據(jù)上運行這些模型。

早期邊緣 AI 推理設(shè)計的另一個誤解是，一刀切的方法就足夠了。這也被證明是錯誤的，因為出現(xiàn)了展示其優(yōu)勢和力量的專用芯片。關(guān)鍵是圍繞算法構(gòu)建芯片，因為如果它真的能在算法上磨練，你可以獲得更好的性能。正確的平衡實際上是像專用硬件一樣獲得最有效的計算，但在編譯時具有可編程性。

可編程性是關(guān)鍵

該行業(yè)確實處于人工智能發(fā)展的風(fēng)口浪尖。在接下來的幾十年里，我們將在這個領(lǐng)域看到的創(chuàng)新將是驚人的。就像任何長壽的市場一樣，您可以期待變化。這就是為什么不為某些客戶模型設(shè)計超級專業(yè)的芯片變得至關(guān)重要的原因。如果我們今天這樣做，那么當(dāng)芯片在兩年后到達客戶手中時，模型可能會發(fā)生重大變化——客戶的要求也會發(fā)生變化。這就是我們不斷聽到有關(guān)公司最終獲得他們的人工智能推理芯片的故事的主要原因——然后發(fā)現(xiàn)它們的表現(xiàn)并沒有像他們需要的那樣。如果將可編程性內(nèi)置到芯片架構(gòu)中，則可以輕松解決該問題。

如今，在任何邊緣 AI 處理器中，AI 的靈活性和可編程性都至關(guān)重要?？蛻舻乃惴〞ㄆ诎l(fā)生變化，系統(tǒng)設(shè)計也會發(fā)生變化。隨著 Edge AI 功能在主流中的推廣，越來越清楚的是，芯片設(shè)計人員需要能夠適應(yīng)和改變客戶模型，而不是根據(jù)他們“認(rèn)為”的模型來選擇它。我們一次又一次地看到這一點，這就是編譯器如此重要的原因。編譯器中有很多對最終用戶隱藏的技術(shù)，這些技術(shù)是圍繞分配資源以確保一切都以最少的功率高效完成的。

另一個被密切關(guān)注的關(guān)鍵特性是吞吐量。現(xiàn)在正在構(gòu)建好的推理芯片，以便它們可以非?？焖俚赝ㄟ^它們移動數(shù)據(jù)，這意味著它們必須非?？焖俚靥幚磉@些數(shù)據(jù)，并且非?？焖俚貙⑵湟迫牒鸵瞥鰞?nèi)存。通常，芯片供應(yīng)商會拋出各種各樣的性能數(shù)據(jù)，例如 TOPS 或 ResNet-50，但研究這些數(shù)據(jù)的系統(tǒng)/芯片設(shè)計人員很快就會意識到這些數(shù)據(jù)通常毫無意義。真正重要的是推理引擎可以為模型、圖像大小、批量大小和過程以及 PVT（過程/電壓/溫度）條件提供多少吞吐量。這是衡量其性能表現(xiàn)的第一個衡量標(biāo)準(zhǔn)，但令人驚訝的是，很少有供應(yīng)商提供它。

邊緣人工智能向前發(fā)展

今天的許多客戶都渴望吞吐量，并正在尋找能夠以與他們現(xiàn)在使用的相同功率/價格為他們提供更高吞吐量和更大圖像尺寸的解決方案。當(dāng)他們得到它時，他們的解決方案將比競爭解決方案更準(zhǔn)確和可靠，然后他們的市場采用和擴展將加速。因此，盡管今天的應(yīng)用程序有數(shù)千或數(shù)萬個單位，但我們預(yù)計隨著推理的可用性，這種情況會迅速增長，從而提供越來越多的吞吐量/美元和吞吐量/瓦特。

邊緣人工智能市場正在迅速增長，芯片供應(yīng)商也在這個市場上爭奪一席之地。事實上，到 2020 年代中期，人工智能銷售額迅速增長至數(shù)百億美元，其中大部分增長來自邊緣人工智能推理。沒有人可以預(yù)測未來的模型，這就是為什么在設(shè)計時考慮到靈活性和可編程性更為重要

審核編輯：郭婷