提供設(shè)計(jì)/驗(yàn)證工具以創(chuàng)建 AI 芯片

有道理的是，我們會(huì)發(fā)現(xiàn)很多應(yīng)用程序，我們可以在其中利用人工智能的力量來改進(jìn)我們的流程并更快地構(gòu)建芯片。

Mentor, a Siemens Business 的高級(jí)營銷總監(jiān) Jean-Marie Brunet 擔(dān)任主持人，主持了一場(chǎng)出席人數(shù)眾多且熱鬧非凡的 DVCon 美國小組討論，討論人工智能 (AI) 和機(jī)器學(xué)習(xí) (ML) 的熱門話題。

長達(dá)一小時(shí)的會(huì)議由 Achronix 副總裁兼首席技術(shù)專家 Raymond Nijssen 主持。Arm 研究員兼技術(shù)總監(jiān) Rob Aitken；AMD 高級(jí)研究員 Alex Starr；Mythic 硬件工程副總裁 Ty Garibay；英偉達(dá)應(yīng)用深度學(xué)習(xí)研究主管 Saad Godil。

根據(jù)小組記錄，這個(gè)由四部分組成的迷你系列的第 1 部分講述了 Brunet 關(guān)于人工智能如何重塑半導(dǎo)體行業(yè)的第一個(gè)問題，特別是芯片設(shè)計(jì)驗(yàn)證，以及小組成員的回答（參見“專家權(quán)衡人工智能重塑半導(dǎo)體工業(yè)”）。

接下來是第 2 部分，該部分涉及 AI 芯片的設(shè)計(jì)和驗(yàn)證。第 3 部分和第 4 部分將包括觀眾成員的問題和小組成員的回答。

Raymond Nijssen：在我看來，我們才剛剛開始接觸人工智能。這將是一條漫長的道路，這將是一個(gè)激動(dòng)人心的時(shí)刻。我們必須現(xiàn)在或一年后做好準(zhǔn)備，并且絕對(duì)做好準(zhǔn)備。該方法可以是漸進(jìn)的。我們已經(jīng)可以自動(dòng)化一些很棒的小事情。

如果我們想深入了解我們?cè)谶@里談?wù)摰膬?nèi)容，傳統(tǒng)上，使用機(jī)器學(xué)習(xí)，您需要擁有一個(gè)數(shù)據(jù)集，然后使用該數(shù)據(jù)集訓(xùn)練您的機(jī)器學(xué)習(xí)網(wǎng)絡(luò)。

在驗(yàn)證的情況下，您可能想知道該訓(xùn)練集是什么樣的。它是一個(gè)包含錯(cuò)誤的大數(shù)據(jù)集，可能會(huì)影響系統(tǒng)并引發(fā)問題，“這是好還是壞？” 因?yàn)槟闶苓^訓(xùn)練？再退一步。如果你看一下機(jī)器學(xué)習(xí)系統(tǒng)是什么，它是一個(gè)通用的曲線擬合函數(shù)。

如果您還記得高中或大學(xué)中的曲線擬合函數(shù)，那么它就是構(gòu)建最適合一系列數(shù)據(jù)點(diǎn)的曲線或數(shù)學(xué)函數(shù)的過程。然后你可以有一堆系數(shù)進(jìn)入曲線擬合運(yùn)動(dòng)訓(xùn)練數(shù)據(jù)。從曲線擬合練習(xí)中得出的系數(shù)將成為您的系數(shù)。那么問題是，如果你有一個(gè)新的 x 值，你能預(yù)測(cè)那個(gè)類比中的 y 值嗎？然后你可以說它好或壞。

現(xiàn)在，回到設(shè)計(jì)驗(yàn)證。如果你想擴(kuò)展這個(gè)類比，你必須有一個(gè)包含正確事物的大數(shù)據(jù)集和另一個(gè)包含錯(cuò)誤事物的數(shù)據(jù)集。

如果你看看設(shè)計(jì)驗(yàn)證的另一個(gè)領(lǐng)域——如果你可以稱之為——晶圓廠中的晶圓檢測(cè)。人們使用機(jī)器學(xué)習(xí)是因?yàn)樗梢酝ㄟ^這種方法自動(dòng)識(shí)別一些東西。如果我在那里有許多 Verilog 插入并且我的插入正在完成，我怎么知道當(dāng)我運(yùn)行任何類型的模擬或我正在查看的內(nèi)容是正確的？我們必須有能夠以某種方式預(yù)測(cè)什么是好的，什么是不好的訓(xùn)練集。在許多情況下，如果您正在查看某個(gè) AI 產(chǎn)生的波形，您可以這樣做。這是未來不尋常的事情——在此之前我從未見過這一系列事件，作為一名人工智能設(shè)計(jì)師，你需要看看。我認(rèn)為作為具有訓(xùn)練數(shù)據(jù)的工具，您可以直截了當(dāng)。

我們準(zhǔn)備好了嗎？是的，我認(rèn)為我們已經(jīng)為此做好了準(zhǔn)備。

如果您查看 Google Go，這是另一個(gè)正在執(zhí)行規(guī)則的示例，但系統(tǒng)沒有被告知規(guī)則是什么。它只是通過輸入大量數(shù)據(jù)來學(xué)習(xí)規(guī)則。我認(rèn)為類比延伸到沿著這些思路的設(shè)計(jì)驗(yàn)證。

Ty Garibay：確實(shí)所有處理器都使用軟件。對(duì)于其中一些人工智能應(yīng)用程序來說，這可能更真實(shí)。這些芯片只是一堆乘法器，上面有一些編程。這些芯片的驗(yàn)證任務(wù)必須包括固件和軟件層，甚至不僅僅是在普通處理器或 SoC 中。

我們沒有用于集成硬件和軟件設(shè)計(jì)驗(yàn)證的良好 EDA 環(huán)境，因?yàn)殚L期以來，我們一直說固件是一個(gè)獨(dú)立的東西，他們將測(cè)試自己的固件。什么？我們實(shí)際上是在設(shè)計(jì)固件的同時(shí)制造硬件。當(dāng)然，這推動(dòng)了我們產(chǎn)品的規(guī)格，這很好，但我們沒有我見過的理論來制作一個(gè)工具來驗(yàn)證集成的硬件/軟件產(chǎn)品。我們從調(diào)制解調(diào)器、RF、DSP 中學(xué)到了很多東西，我們將這些東西帶到了我們的設(shè)計(jì)中，內(nèi)置到我們的系統(tǒng)中，并試圖利用它們。

Rob Aitken：我認(rèn)為曲線擬合還有一個(gè)重要的點(diǎn)。在驗(yàn)證空間中考慮它很有用，特別是因?yàn)槿绻挠?xùn)練集限制了您的曲線，曲線擬合作為一個(gè)過程非常有效。插值是好的，而外插在曲線擬合中是出了名的糟糕。你必須記住，無論你認(rèn)為你用機(jī)器學(xué)習(xí)解決了什么驗(yàn)證問題，如果它涉及外推，你很可能會(huì)感到失望。

構(gòu)建超越對(duì)象檢測(cè)的人工智能系統(tǒng)是可能的，但它們比僅僅說“這是一只鴨子”或類似的系統(tǒng)更難設(shè)計(jì)。一個(gè)能夠正確識(shí)別以前從未見過的東西的圖像識(shí)別系統(tǒng)是一個(gè)更具挑戰(zhàn)性的問題。

亞歷克斯斯塔爾：我想加倍強(qiáng)調(diào)這里已經(jīng)說過的很多事情。這些天我們必須驗(yàn)證的硬件/軟件生態(tài)系統(tǒng)不僅僅是設(shè)計(jì)。我們幾乎在整個(gè)行業(yè)都有糟糕的工具來解決這個(gè)問題。我們有工具可以查看設(shè)計(jì)并同時(shí)查看固件在做什么以及軟件堆棧在做什么。這很棒。

我們需要一個(gè)更抽象的調(diào)試級(jí)別，并以全局視圖理解所有這些。我們需要一個(gè)系統(tǒng)的工作流程。最近沒看到什么好工具。我認(rèn)為這就是我們需要向人工智能設(shè)計(jì)行業(yè)發(fā)展的地方，也需要復(fù)雜的 CPU、GPU 等，極其復(fù)雜的系統(tǒng)，在單個(gè)芯片中集成數(shù)十個(gè)不同類型的微處理器。這是一個(gè)復(fù)雜的問題，我們今天沒有 EDA 行業(yè)的工具來解決它。

Saad Godil：作為長期從事特定領(lǐng)域芯片工作的人，尤其是 GPU，我在 DVCon 上經(jīng)?？吹降囊患戮褪欠浅ｊP(guān)注設(shè)計(jì)重用和第三方 IP 即插即用 -玩以及如何輕松啟用它。

一個(gè)觀察：我看到更多的人在定制芯片，更多特定領(lǐng)域的芯片，而不僅僅是人工智能。通常，這些與他們自己的領(lǐng)域特定語言配對(duì)。

我認(rèn)為驗(yàn)證社區(qū)依賴通用標(biāo)準(zhǔn)和通用工具的機(jī)會(huì)將會(huì)減少。EDA 提供商為每個(gè)人構(gòu)建通用的解決方案，這無濟(jì)于事。相反，我認(rèn)為您將不得不自己投資，并且您將在公司內(nèi)部擁有更多專有設(shè)計(jì)和標(biāo)準(zhǔn)。

你不能外包和依賴別人的軟件。您將在內(nèi)部進(jìn)行投資并構(gòu)建您需要的工具，這會(huì)變得更加困難，因?yàn)榇蠖鄶?shù)硬件/軟件系統(tǒng)都將具有專有軟件和語言。這將是一筆相當(dāng)大的投資。

此時(shí)，版主 Brunet 介入為 EDA 辯護(hù)：考慮使用模擬器進(jìn)行硬件和軟件驗(yàn)證的演變。人工智能設(shè)計(jì)的一個(gè)問題是容量。仿真器可以很好地處理容量。至于實(shí)際的硬件/軟件驗(yàn)證，我們正在取得進(jìn)展，但還不是很好。AI 領(lǐng)域的不同之處在于與移動(dòng)框架基準(zhǔn)測(cè)試不同的新框架。例如，Cafe 工具、TensorFlow 和許多不同的框架。

從 EDA 的角度來看，我們需要用戶的幫助來告訴我們他們需要從設(shè)計(jì)中提取什么。并非所有的模擬器都是一樣的。在我們的例子中，我們的模擬器可以提取所有內(nèi)容，但設(shè)計(jì)師想要的是避免因?yàn)閿?shù)據(jù)過多而傾倒大量數(shù)據(jù)。

這就是我們需要指導(dǎo)提取哪些指標(biāo)很重要的地方。當(dāng)設(shè)計(jì)在模擬器中映射并且軟件正在運(yùn)行時(shí)，我們幾乎可以提取任何東西，但隨后它變成了大量數(shù)據(jù)。

Ty Garibay：我們有一些通用層，即神經(jīng)網(wǎng)絡(luò)輸入，但在那之后，每個(gè)供應(yīng)商都是獨(dú)一無二的。工具供應(yīng)商有責(zé)任快速適應(yīng)每個(gè)獨(dú)特的實(shí)現(xiàn)。他們需要提供快速生成記分牌的能力，以便以可見的方式跟蹤芯片內(nèi)的不同狀態(tài)，并了解新的數(shù)據(jù)類型和新的操作類型。

我們可以在處理元素和語言的正式語言定義方面使用幫助，以便 EDA 工具可以使用架構(gòu)描述。我認(rèn)為，這種基礎(chǔ)設(shè)施可以帶來很大的不同。

我們可能都能夠指定一些東西——我們只是不知道如何指定。

Saad Godil：我認(rèn)為到目前為止，問題是不同的。從商業(yè)模式的角度來看，這是有道理的，按照一定的標(biāo)準(zhǔn)構(gòu)建工具，多個(gè)客戶可以攤銷。

當(dāng)每個(gè)人都有自己的自定義專有規(guī)格時(shí)，問題就會(huì)變得更加困難。在等式的另一邊，您現(xiàn)在可以使用 AI 來幫助您解決問題。人工智能擅長感知，它可以查看圖片并找出不同的對(duì)象是什么，而無需知道這些對(duì)象的含義或它們是什么。或者它真的很擅長從句子中提取意義，即使它不理解。它不能很好地推理，但它善于感知。

也許答案是，考慮到您正在構(gòu)建的規(guī)范，您能否發(fā)現(xiàn)專有設(shè)計(jì)的屬性并弄清楚哪些是重要的，哪些不重要？這是一個(gè)非常難以解決的問題。這不是現(xiàn)成的解決方案可以工作的東西。從理論上講，可以構(gòu)建可以做這些事情的神經(jīng)網(wǎng)絡(luò)。

為了解決曲線擬合問題，這將屬于監(jiān)督學(xué)習(xí)范式，并且迄今為止在深度學(xué)習(xí)中已經(jīng)取得了成功。在無監(jiān)督學(xué)習(xí)方面已經(jīng)做了很多偉大的工作，我認(rèn)為這將推動(dòng)人工智能的下一輪革命。我認(rèn)為我們的工具可以使用這些東西。有很多可用數(shù)據(jù)可用于處理信息。問題是，我要保存什么？我要向神經(jīng)網(wǎng)絡(luò)展示什么？我們應(yīng)該考慮如何找到模式，并嘗試確定什么是重要的，什么是不重要的。

Rob Aitken：不過，我認(rèn)為還有別的東西。當(dāng)您查看該處理如何工作的實(shí)際實(shí)現(xiàn)時(shí)，如果您只是對(duì)一些隨機(jī)邊緣集和一些激活函數(shù)有可見性，并且您說，“這些數(shù)據(jù)出現(xiàn)在這里并且它被觸發(fā)了”，那么您并沒有真正知道這意味著什么或?yàn)槭裁?，這是人工智能的一個(gè)好處。
這就是為什么這些東西有效，以及為什么我們不必對(duì)它們的每個(gè)方面都進(jìn)行編程。這也是它們很難調(diào)試的原因。在這一點(diǎn)上，匹配輸出是最接近可證明性的東西。這個(gè)軟件版本和這個(gè)硬件版本做同樣的事情。我們知道他們做同樣的事情。因此，我們將假設(shè)它是正確的，但這種方法存在許多固有風(fēng)險(xiǎn)。

Raymond Nijssen：我認(rèn)為我們正在討論一些重要的事情：監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)之間的區(qū)別。同樣的道理，當(dāng)機(jī)器學(xué)習(xí)在 20 年前開始時(shí)，人們擁有特定領(lǐng)域的知識(shí)，如果你想識(shí)別一只貓，你必須進(jìn)行邊緣檢測(cè)。然后你必須在上面找到一些橢圓形和兩個(gè)三角形。這是一條規(guī)則，你可以走得很遠(yuǎn)。他們碰到了玻璃天花板，直到他們提出了無監(jiān)督學(xué)習(xí)，基本上沒有規(guī)則來驅(qū)動(dòng)系統(tǒng)。該系統(tǒng)必須通過提供大量這些流因素來工作。該工具得出的系數(shù)使得貓的尾巴被識(shí)別出來，而無需任何人指定規(guī)則是什么。

讓我們看看有規(guī)則的應(yīng)用程序，并且您想將這些規(guī)則指定給系統(tǒng)。這絕對(duì)是一種很有希望的途徑。此外，它不如不依賴規(guī)則但依賴大量輸入的自學(xué)習(xí)系統(tǒng)智能。

在某些時(shí)候，您還必須區(qū)分現(xiàn)在的人工智能和自然智能。這兩者之間的真正區(qū)別是什么？

自然智能是插值和外推之間的區(qū)別。如果您閱讀杰夫·霍金斯 (Jeff Hawkins) 的《論智能》一書，就會(huì)思考智能的真正含義?；旧?，它將我們所有人描述為外推引擎。

在我們的童年時(shí)期，我們知道如果你有事件 A，然后是事件 B，然后是事件 C，下次你有事件 A 和事件 B，你知道事件 C 會(huì)隨之而來。我們都是外推引擎，只要我們這樣做，我們的工作就是安全的。如果你的人工智能可能會(huì)以某種方式影響你的工作，或者你發(fā)現(xiàn)自己一直在插值，那么你應(yīng)該專注于尋找可以改變你的工作以進(jìn)行推斷的方法。

當(dāng)您開始外推時(shí)，不再清楚它的工作有多完美，因?yàn)楝F(xiàn)在您沒有數(shù)據(jù)，因?yàn)檫@里有一堆點(diǎn)的數(shù)據(jù)。現(xiàn)在我們可能會(huì)對(duì)那邊的 x 軸方式產(chǎn)生影響，現(xiàn)在我們必須進(jìn)行推斷，并且您沒有與之前的訓(xùn)練數(shù)據(jù)相同的置信度。

對(duì)于設(shè)計(jì)驗(yàn)證，風(fēng)險(xiǎn)在于有人可能會(huì)說自學(xué)系統(tǒng)可能會(huì)遺漏一些東西，或者訓(xùn)練數(shù)據(jù)可能不夠好。然后這可能不會(huì)發(fā)生在規(guī)則驅(qū)動(dòng)的系統(tǒng)中，規(guī)則提供了更高的可能性，即系統(tǒng)將在大量數(shù)據(jù)上發(fā)現(xiàn)與規(guī)則的偏差。這些區(qū)別很重要。

在這個(gè)迷你系列的第 3 部分和第 4 部分中，小組成員回答觀眾成員的問題。

審核編輯 黃昊宇