解析機(jī)器學(xué)習(xí)在EDA領(lǐng)域的重要作用

機(jī)器學(xué)習(xí)是近段時(shí)間以來(lái)的大熱門，而盡管 EDA 處理的也是大數(shù)據(jù)類型的問(wèn)題，但在將機(jī)器學(xué)習(xí)技術(shù)整合進(jìn) EDA 工具方面還沒(méi)有取得很大的進(jìn)展。

許多 EDA 問(wèn)題和解決方案本質(zhì)上就是關(guān)于統(tǒng)計(jì)的，這說(shuō)明機(jī)器學(xué)習(xí)自然而然適合 EDA。那為什么這個(gè)領(lǐng)域在采用機(jī)器學(xué)習(xí)技術(shù)上如此緩慢而視覺(jué)識(shí)別和搜索等其它技術(shù)領(lǐng)域卻可以如此輕松地接納它？

Solido Design Automation 技術(shù)運(yùn)營(yíng)副總裁 Jeff Dyck 表示：“你可以感受到這是一個(gè)機(jī)器學(xué)習(xí)問(wèn)題。我們有大量的數(shù)據(jù)，但我們可以應(yīng)用哪些方法來(lái)解決這些問(wèn)題？這才是難點(diǎn)。不是說(shuō)讀一本教科書(shū)或?qū)W一門課就能將這些方法應(yīng)用到所有問(wèn)題上。工程問(wèn)題需要一個(gè)不同的角度。”

在深入了解機(jī)器學(xué)習(xí)在哪些地方有所應(yīng)用之前，我們先看看一些問(wèn)題。

從基于規(guī)則到深度學(xué)習(xí)

我們首先對(duì)這些技術(shù)進(jìn)行一個(gè)分類吧。“從最廣義的角度講，在 EDA 領(lǐng)域，我們?nèi)慷家呀?jīng)習(xí)慣了基于規(guī)則的方法（rule-based techniques，RBT）?！?a href="http://www.ttokpm.com/tags/英偉達(dá)/" target="_blank">英偉達(dá)資深工程總監(jiān) Ting Ku 解釋說(shuō)，“實(shí)際上機(jī)器學(xué)習(xí)是RBT的一個(gè)子集，而深度學(xué)習(xí)又是機(jī)器學(xué)習(xí)的一個(gè)子集。RBT是確定性的，不會(huì)涉及到數(shù)據(jù)庫(kù)，也不會(huì)定義特征。而機(jī)器學(xué)習(xí)的出發(fā)點(diǎn)是統(tǒng)計(jì)的，而非確定性的，而且因?yàn)楸仨殢慕?jīng)驗(yàn)中學(xué)習(xí)，所以還會(huì)涉及到數(shù)據(jù)庫(kù)。使用機(jī)器學(xué)習(xí)，我們也許還需要預(yù)定義的特征，而這正是機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的區(qū)別。對(duì)于深度學(xué)習(xí)而言，除了沒(méi)有預(yù)定義的特征，其它都和機(jī)器學(xué)習(xí)一樣。所以問(wèn)題來(lái)了：‘特征（feature）是什么？’”

一旦你有了特征并存儲(chǔ)了足夠的數(shù)據(jù)，你就要想辦法把它們用起來(lái)?！八阉髡麄€(gè)設(shè)計(jì)空間是不切實(shí)際的。”NetSpeed Systems營(yíng)銷和業(yè)務(wù)開(kāi)發(fā)副總裁 Anush Mohandass 說(shuō)，“由于該空間高度非線性的本質(zhì)，搜索時(shí)間會(huì)隨著搜索范圍擴(kuò)大而指數(shù)級(jí)增加。對(duì)于這樣的問(wèn)題，機(jī)器學(xué)習(xí)（其中，過(guò)去的解決相似問(wèn)題的經(jīng)驗(yàn)可被用作訓(xùn)練數(shù)據(jù)，從而學(xué)習(xí)和預(yù)測(cè)可用于相似的新問(wèn)題的解決方案）表現(xiàn)了巨大的潛力?！?/p>

機(jī)器學(xué)習(xí)的方法有很多，大體上可分為監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。大多數(shù) EDA 應(yīng)用都著眼于監(jiān)督學(xué)習(xí)。E3 Data Science 的 CTO Eric Hall 解釋說(shuō)：“有兩種類型的監(jiān)督學(xué)習(xí)?；貧w（regression）可用于我們想要預(yù)測(cè)數(shù)值的情況，而分類（classification）則可用于預(yù)測(cè)多個(gè)結(jié)果中一個(gè)結(jié)果的情況。可以解決這些問(wèn)題的機(jī)器學(xué)習(xí)算法有很多，但是卻沒(méi)有任何一種能夠單獨(dú)解決所有問(wèn)題?！?/p>

也還存在其它問(wèn)題，Hall 補(bǔ)充說(shuō)：“在尋找未被發(fā)現(xiàn)的特征來(lái)對(duì)非線性進(jìn)行建模方面，深度學(xué)習(xí)技術(shù)表現(xiàn)很出色，但它卻是一個(gè)黑箱，難以解釋而且可能需要很長(zhǎng)的訓(xùn)練時(shí)間?！?/p>

訓(xùn)練

機(jī)器學(xué)習(xí)技術(shù)的表現(xiàn)取決于其訓(xùn)練所用的數(shù)據(jù)?！皺C(jī)器學(xué)習(xí)是一個(gè)迭代過(guò)程，”Ku 說(shuō)，“機(jī)器學(xué)習(xí)算法根據(jù)輸入數(shù)據(jù)有相應(yīng)輸出。這些輸出可能不正確，所以你還必須要驗(yàn)證。完成之后，這些數(shù)據(jù)又被包含回?cái)?shù)據(jù)庫(kù)。這時(shí)候就該開(kāi)始再訓(xùn)練（rertraining）了。這個(gè)循環(huán)一直持續(xù)。在某種程度上，我們希望這些迭代循環(huán)能夠使得該模型相當(dāng)準(zhǔn)確，使得其在看到一個(gè)新案例時(shí)能夠做出很好的預(yù)測(cè)?！?/p>

在許多案例中，數(shù)據(jù)可能來(lái)自于以前的設(shè)計(jì)，但這就夠用了嗎？Solido 的 Dyck 說(shuō)：“想象一下，假如有 2000 個(gè)并行工作的 SPICE 模擬器要解決一個(gè)我們以前從未見(jiàn)過(guò)的芯片的一種從未見(jiàn)過(guò)的制造工藝問(wèn)題。我們可以收集一些過(guò)去做法的信息并使用這些信息來(lái)塑造模型，但我們也有實(shí)時(shí)數(shù)據(jù)。這是實(shí)時(shí)機(jī)器學(xué)習(xí)以及實(shí)時(shí)構(gòu)建模型?！?/p>

而實(shí)時(shí)學(xué)習(xí)還有其它很多問(wèn)題?！叭绻鲾?shù)據(jù)（streaming data）出了什么問(wèn)題或者有會(huì)污染模型的錯(cuò)誤答案，那你就需要過(guò)濾或調(diào)整它——而這是非常艱難的?！彼a(bǔ)充說(shuō)，“我們需要自動(dòng)恢復(fù)和修復(fù)。當(dāng)出現(xiàn)問(wèn)題時(shí)，你必須要能夠?qū)α鲾?shù)據(jù)進(jìn)行調(diào)試。”

但調(diào)試機(jī)器學(xué)習(xí)系統(tǒng)還是一個(gè)相對(duì)未知的領(lǐng)域。驗(yàn)證技術(shù)就算有，也只是寥寥無(wú)幾。

涉及 EDA 流程的學(xué)習(xí)還有其它一些類型。“我們需要能通過(guò)設(shè)計(jì)實(shí)現(xiàn)過(guò)程獲取知識(shí)，”高通高級(jí)技術(shù)總監(jiān) Sorin Dobre 說(shuō)，“EDA 有一個(gè)很好的機(jī)會(huì)，可以將監(jiān)督和無(wú)監(jiān)督機(jī)器學(xué)習(xí)解決方案擴(kuò)展用于設(shè)計(jì)流程優(yōu)化（design flow optimization）。我們有20 年經(jīng)驗(yàn)的高級(jí)工程師可以確保高質(zhì)量的設(shè)計(jì)，但我們也需要幫助剛剛開(kāi)始的設(shè)計(jì)師。我們沒(méi)法等上五年時(shí)間才完全發(fā)揮他們的生產(chǎn)力?！?/p>

就算對(duì)經(jīng)驗(yàn)豐富的設(shè)計(jì)師，這個(gè)工作也正變得越來(lái)越難?！斑^(guò)去，架構(gòu)師根據(jù)他們的經(jīng)驗(yàn)來(lái)設(shè)計(jì)互連（interconnect），并且根據(jù)他們的直覺(jué)來(lái)做出關(guān)于拓?fù)浣Y(jié)構(gòu)和布線選擇的關(guān)鍵設(shè)計(jì)決策?！?NetSpeed 的 Mohandass 說(shuō)，“但是，這種方法并不適用于片上需求非常多樣化的異構(gòu)系統(tǒng)。由于多個(gè)片上器件之間交互的復(fù)雜性，要設(shè)計(jì)一種接近最優(yōu)的，而且能夠工作的、表現(xiàn)良好的、還考慮了所有用例的互連實(shí)際上是不可能的。”

數(shù)據(jù)集

Plunify 的 CEO Harnhua Ng 說(shuō)：“獲取一個(gè)好的數(shù)據(jù)集可能難度很大。這些工具的學(xué)習(xí)能力可以保證當(dāng)工程團(tuán)隊(duì)使用它們?cè)蕉鄷r(shí)，學(xué)習(xí)數(shù)據(jù)庫(kù)就會(huì)變得越聰明，從而加速設(shè)計(jì)完成的時(shí)間。”

所以只有那些已經(jīng)有大規(guī)模數(shù)據(jù)集的人可以使用這些技術(shù)嗎？或者 EDA 可以提供初始的訓(xùn)練嗎？“對(duì)于 EDA 領(lǐng)域的許多機(jī)器學(xué)習(xí)應(yīng)用而言，與算法相關(guān)的參數(shù)選擇和訓(xùn)練需要完全在設(shè)計(jì)客戶或代工廠的計(jì)算環(huán)境內(nèi)進(jìn)行?！?a href="http://www.ttokpm.com/tags/Cadence/" target="_blank">Cadence 的杰出工程師 David White 說(shuō)，“在這些應(yīng)用中，最具挑戰(zhàn)性的任務(wù)是創(chuàng)建自動(dòng)化的訓(xùn)練和驗(yàn)證方法，使其可以確保算法在目標(biāo)硅技術(shù)上按預(yù)期運(yùn)行。在一些案例中，更先進(jìn)和更復(fù)雜的機(jī)器學(xué)習(xí)方法可以提供更高的準(zhǔn)確度，但要在該領(lǐng)域提供支持卻最為困難。在開(kāi)發(fā)過(guò)程中，人們需要根據(jù)所需的準(zhǔn)確度以及可用訓(xùn)練數(shù)據(jù)的數(shù)量和其它支持以及模型相關(guān)的約束條件來(lái)權(quán)衡合適的算法與架構(gòu)選擇?！?/p>

聽(tīng)上去很難，實(shí)際上也正是如此?！癊DA 問(wèn)題有很高的維度、高階的互動(dòng)、不連續(xù)性和非線性，需要先進(jìn)的實(shí)驗(yàn)技術(shù)設(shè)計(jì)、先進(jìn)的監(jiān)督學(xué)習(xí)、智能篩選和過(guò)濾以及基準(zhǔn)基礎(chǔ)設(shè)施（benchmarking infrastructure）?！盨olido 總裁兼 CEO Amit Gupta說(shuō)，“此外，EDA 問(wèn)題還有很高的流數(shù)據(jù)速率和大規(guī)模的數(shù)據(jù)歸檔，需要優(yōu)化的流解析器（streaming parser）、可并行化算法、高效和可擴(kuò)展的集群管理、自動(dòng)恢復(fù)和修復(fù)以及大數(shù)據(jù)調(diào)試?！?/p>

Mohandass給出了一個(gè)互連設(shè)計(jì)所需的數(shù)據(jù)集的例子。“完美的互連策略依賴于非常大量的 SoC 參數(shù)，其中包括布圖（floorplan）、布線約束、可用資源、連接要求、協(xié)議層面的依賴、時(shí)鐘特性、工藝特性（比如線延遲、功耗、帶寬和延遲約束）等等。設(shè)計(jì)策略空間中不同維度的數(shù)量可以增至數(shù)百個(gè)，這會(huì)創(chuàng)造一個(gè)過(guò)大的設(shè)計(jì)空間。”

基礎(chǔ)設(shè)施

這個(gè)問(wèn)題有幾個(gè)維度。Synopsys 副總裁兼 CIO Hasmukh Ranjan 說(shuō)：“機(jī)器學(xué)習(xí)可以被用在 EDA 中，但為了最大化其所帶來(lái)的好處，機(jī)器學(xué)習(xí)既應(yīng)該被用在這些工具本身之中，也應(yīng)該圍繞這些工具用在設(shè)計(jì)流程之中?！?/p>

高通的 Dobre 表示同意：“沒(méi)必要將所有東西都做到 EDA 工具里面。你可以用獨(dú)立的機(jī)器學(xué)習(xí)解決方案來(lái)驅(qū)動(dòng)已有的工具。”

IC Manage 的執(zhí)行副總裁 Shiv Sikand 提供了一個(gè)例子：“通過(guò)分析之前流片（tapeout）的數(shù)十億個(gè)數(shù)據(jù)點(diǎn)，我們可以預(yù)測(cè)漏洞、設(shè)計(jì)復(fù)雜度、人力資源、證書(shū)的影響，并計(jì)算當(dāng)前項(xiàng)目服務(wù)器集群的吞吐量。通過(guò)確定半導(dǎo)體設(shè)計(jì)中的瓶頸，我們可以提供前瞻性預(yù)測(cè)并識(shí)別潛在的延遲?！?/p>

我們可能也需要檢查我們運(yùn)行工具的基礎(chǔ)設(shè)施?！拔覀円残枰紤]智能存儲(chǔ)，”Sikand 補(bǔ)充說(shuō)：“通過(guò)分析與文件操作相關(guān)的數(shù)據(jù)流，聚類和回歸分析等機(jī)器學(xué)習(xí)技術(shù)可以持續(xù)改進(jìn) P2P 網(wǎng)絡(luò)和緩存管理，以提供更好的應(yīng)用性能?！?/p>

Dobre 的團(tuán)隊(duì)也很熟悉這些問(wèn)題：“我們有包含數(shù)以萬(wàn)計(jì) CPU 的計(jì)算農(nóng)場(chǎng)。當(dāng)你查看需要同時(shí)驗(yàn)證的設(shè)計(jì)的數(shù)量時(shí)，你該怎樣以一種最優(yōu)的方式來(lái)使用這些資源，而不造成資源需求爆炸？這就需要數(shù)據(jù)管理。你該怎么有效地應(yīng)對(duì)在設(shè)計(jì)空間和在代工方面的這么多的數(shù)據(jù)，并提取出下一設(shè)計(jì)所需的知識(shí)和信息以減少學(xué)習(xí)周期？”

將運(yùn)行該機(jī)器學(xué)習(xí)算法的機(jī)器又增加了額外的另一個(gè)維度?！皺C(jī)器學(xué)習(xí)將通過(guò)現(xiàn)有的復(fù)雜算法來(lái)減少設(shè)計(jì)和仿真的時(shí)間?！?Markets and Markets 副總監(jiān) Sachin Garg 說(shuō)，“EDA 工具可以采納或采取智能決策來(lái)使其更進(jìn)一步，但我們需要更好的硬件（CPU GPU）來(lái)運(yùn)行如此復(fù)雜的機(jī)器學(xué)習(xí)算法，以使其更有效率。當(dāng)前一代又一代的 GPU 可以為并行計(jì)算負(fù)載提供巨大的加速和出色的性能擴(kuò)展?！?/p>

Cadence 的 White 同意這個(gè)說(shuō)法：“在大規(guī)模并行計(jì)算架構(gòu)領(lǐng)域的進(jìn)步為基于假設(shè)的優(yōu)化和驗(yàn)證（ what-if based optimization and verification）開(kāi)啟了大門，從而可以有效地探索設(shè)計(jì)空間和融合最有潛力的決策?！?/p>

應(yīng)用領(lǐng)域

成功依賴于定義正確的特征集合的能力。“以考慮工藝偏差（variation）的設(shè)計(jì)為例，”Ku 說(shuō)：“如果你想建模一個(gè)概率密度函數(shù)，你需要屬性（attribute）。特征（feature）是能將一種事物與另一種事物區(qū)分開(kāi)的屬性。對(duì)于人來(lái)說(shuō)，特征可能是頭發(fā)顏色、身高、性別。對(duì)于考慮工藝偏差的設(shè)計(jì)而言，特征則可能是 PVT 角、定義器件變化的算法和器件的隨機(jī)變量。所以特征就是一些對(duì)一個(gè)特定問(wèn)題重要的東西。”

在 10nm 和 7nm 工藝上，我們可以看到有很多工藝偏差?！按S提出新工藝技術(shù)的努力是很重要的?！盌obre 說(shuō)，“即便這是在數(shù)字領(lǐng)域，也需要將庫(kù)元素看作是模擬設(shè)計(jì)。你必須跨多個(gè)工藝角來(lái)對(duì)設(shè)計(jì)進(jìn)行驗(yàn)證。你該怎樣在不出現(xiàn)所需資源爆表的情況下實(shí)現(xiàn)高質(zhì)量？機(jī)器學(xué)習(xí)可以將生產(chǎn)力提升 10 倍、減少數(shù)周的測(cè)量時(shí)間和減少資源消耗。在識(shí)別會(huì)導(dǎo)致產(chǎn)量不達(dá)標(biāo)的模式上，機(jī)器學(xué)習(xí)是一種有效方法。我們看到了其中的巨大潛力，可以帶來(lái)經(jīng)濟(jì)效益?！?/p>

EDA 正在努力解決這個(gè)問(wèn)題?！皩?duì)于先進(jìn)節(jié)點(diǎn)的設(shè)計(jì)，新型的硅技術(shù)和額外的驗(yàn)證需求帶來(lái)了更大的不確定性，從而也提升了潛在的風(fēng)險(xiǎn)。”White 說(shuō)，“在傳統(tǒng)的設(shè)計(jì)流程中，先前的設(shè)計(jì)和布局?jǐn)?shù)據(jù)并不會(huì)被有效地用來(lái)幫助指導(dǎo)下一個(gè)設(shè)計(jì)。分析方法的進(jìn)步允許我們檢查（開(kāi)采）之前的設(shè)計(jì)數(shù)據(jù)和趨勢(shì)，并將其用于在設(shè)計(jì)流程的最早期階段指導(dǎo)設(shè)計(jì)決策。這些同樣的方法也可以被用于發(fā)現(xiàn)和提供驅(qū)動(dòng)機(jī)器學(xué)習(xí)引擎的訓(xùn)練和開(kāi)發(fā)的背景（context）。這樣的解決方案很可能需要利用大量的數(shù)據(jù)和數(shù)百個(gè)機(jī)器學(xué)習(xí)組件，它們都將需要管理和驗(yàn)證。一旦數(shù)據(jù)被放在了適當(dāng)?shù)谋尘爸?，機(jī)器學(xué)習(xí)就可以被用于獲取復(fù)雜行為提供的分析（比如寄生、電氣、驗(yàn)證），而且準(zhǔn)確度高、速度快?！?/p>

另外還有一些其可以提供幫助的設(shè)計(jì)領(lǐng)域。Hall 說(shuō)：“我們可以將其用于內(nèi)存或邏輯門的功率估計(jì)或時(shí)序估計(jì)。這將能減少不確定性并為人類工作提供補(bǔ)充，從而可以創(chuàng)造出更具競(jìng)爭(zhēng)力的產(chǎn)品?！?/p>

另一個(gè)正在出現(xiàn)解決方案的領(lǐng)域是布線（routing）?！霸诨ミB設(shè)計(jì)的背景中，第一步是識(shí)別每一個(gè)維度中設(shè)計(jì)策略的組合，這能為之前大量不同的 SoC 設(shè)計(jì)帶來(lái)優(yōu)良的解決方案?！?Mohandass 指出，“下一步是使用這些信息來(lái)學(xué)習(xí)模式并預(yù)測(cè)哪些策略組合將最有可能帶來(lái)優(yōu)良設(shè)計(jì)?！?/p>

類似的技術(shù)也可應(yīng)用于 FPGA 布線。“帶有復(fù)雜時(shí)序和性能封閉（performance closure）問(wèn)題的復(fù)雜 FPGA 設(shè)計(jì)是基于機(jī)器學(xué)習(xí)技術(shù)的工具的良好候選項(xiàng)。” Plunify 的 Ng 補(bǔ)充說(shuō)，“機(jī)器學(xué)習(xí)工具能夠分析過(guò)去的編譯結(jié)果，從而可在數(shù)以千萬(wàn)億計(jì)的可能方案中預(yù)測(cè)出最優(yōu)的綜合/布局和布線參數(shù)以及布放位置。它們可以使用統(tǒng)計(jì)建模和機(jī)器學(xué)習(xí)來(lái)推斷哪些工具參數(shù)對(duì)一種設(shè)計(jì)最優(yōu)，以從數(shù)據(jù)中提取見(jiàn)解來(lái)提升結(jié)果的質(zhì)量?！?/p>

值得信任的結(jié)果

但相對(duì)于其它機(jī)器學(xué)習(xí)應(yīng)用，設(shè)計(jì)面臨著更大的障礙?！白詈笕绻粋€(gè)方案存在設(shè)計(jì)過(guò)于激進(jìn)或過(guò)于保守的風(fēng)險(xiǎn)，人們就不會(huì)采用這個(gè)方案?！盌yck 解釋說(shuō)，“機(jī)器學(xué)習(xí)工具是大型的估計(jì)器。你不能要求人們?nèi)バ湃嗡?。所以我們需要能夠清楚?zhǔn)確度的建模技術(shù)。目前這種技術(shù)還非常少——你必須發(fā)明它們。我們需要主動(dòng)的學(xué)習(xí)方法，可以逐步發(fā)現(xiàn)相關(guān)的領(lǐng)域，而這些往往在最糟糕的情況旁邊。要向我展示可能會(huì)導(dǎo)致芯片失敗的地方，并且在那個(gè)區(qū)域提供清楚的洞察。這樣你就要在這些區(qū)域直接進(jìn)行實(shí)驗(yàn)。針對(duì)問(wèn)題領(lǐng)域是很重要的?！?/p>

Dyck 還指出了 EDA 所面臨的另一個(gè)障礙：“如果你不能證明一個(gè)答案是正確的，他們就不會(huì)接受它。所以你需要設(shè)計(jì)可驗(yàn)證的算法。你需要將驗(yàn)證用作該技術(shù)的一部分，這樣當(dāng)你給出一個(gè)答案時(shí)，你就可以說(shuō)明它在運(yùn)行時(shí)是正確的?！?/p>

總結(jié)

機(jī)器學(xué)習(xí)已經(jīng)開(kāi)始滲透進(jìn) EDA 和設(shè)計(jì)流程中了。Gupta 說(shuō)：“機(jī)器學(xué)習(xí)已經(jīng)開(kāi)始在 EDA 領(lǐng)域發(fā)揮重要的作用。它還有進(jìn)一步提供顛覆性技術(shù)突破來(lái)解決半導(dǎo)體難題的機(jī)會(huì)?！?/p>

但我們還有很長(zhǎng)的路要走。Ku 說(shuō)：“今天我們看到的只是冰山一角。我們希望未來(lái) EDA 能停止提供數(shù)據(jù)。數(shù)據(jù)當(dāng)然很好，但我們真正需要的是決策。你需要做的就是在數(shù)據(jù)和決策之間加入一層，該機(jī)器算法可以通過(guò)學(xué)習(xí)數(shù)據(jù)來(lái)了解應(yīng)該做出怎樣的決策。EDA 正處在進(jìn)行這項(xiàng)工作的完美位置上?！?/p>

如果要維護(hù)信任，還需要一些小步驟。 Synopsys 的 Ranjan 總結(jié)道：“人工智能和機(jī)器學(xué)習(xí)可以成為一家公司與眾不同的地方，但是使用人工智能必須不能降低算法的精確度。“

yuzhong 從競(jìng)爭(zhēng)對(duì)手之中脫穎而出的關(guān)鍵，但在利用它時(shí)需要不對(duì)準(zhǔn)確度產(chǎn)生損害。”
? ? ? ?責(zé)任編輯:tzh