音頻和視頻傳感器數(shù)量對(duì)IC設(shè)計(jì)的影響

作者：ANN STEFFORA MUTSCHLER

音頻和視頻傳感器數(shù)量的激增大大增加了芯片和系統(tǒng)的設(shè)計(jì)復(fù)雜性，迫使工程師做出可能影響性能、功耗和成本的權(quán)衡。

總的來(lái)說(shuō)，這些傳感器生成的數(shù)據(jù)如此之多，以至于設(shè)計(jì)人員必須考慮在哪里處理不同的數(shù)據(jù)、如何對(duì)其進(jìn)行優(yōu)先級(jí)排序以及如何針對(duì)特定應(yīng)用對(duì)其進(jìn)行優(yōu)化。權(quán)衡包括從始終開啟、始終收聽功能、更長(zhǎng)的屏幕開啟時(shí)間等所有方面，這些都必須與更長(zhǎng)電池壽命的需求相平衡。最重要的是，人們對(duì)數(shù)據(jù)安全性的擔(dān)憂持續(xù)存在，并且對(duì)上下文感知人工智能算法的需求不斷增加。

西門子 EDA電源完整性產(chǎn)品管理高級(jí)總監(jiān) Joe Davis 表示，到 2025 年底，估計(jì)將有 140 億個(gè)智能傳感器連接到互聯(lián)網(wǎng)?！斑@些只是連接到互聯(lián)網(wǎng)的傳感器，它增長(zhǎng)最快，因?yàn)樗梢垣@取數(shù)據(jù)并對(duì)其進(jìn)行處理。這不僅僅是觀察它并拍照。它正在對(duì)數(shù)據(jù)進(jìn)行一些處理?！?/p>

恰當(dāng)?shù)睦樱核髂嵊幸环N設(shè)備可以識(shí)別亂穿馬路的人而不會(huì)侵犯隱私?！八鼒?zhí)行動(dòng)作識(shí)別，然后發(fā)出信號(hào)，”戴維斯說(shuō)?！岸乙?yàn)樗械膫鞲泻吞幚矶际窃诒镜赝瓿傻?，所以它不?huì)通過(guò)互聯(lián)網(wǎng)發(fā)送某人的臉，所以它可以保護(hù)他們的隱私。在架構(gòu)方面，該領(lǐng)域的供應(yīng)商傳統(tǒng)上處于非常成熟的節(jié)點(diǎn)并優(yōu)化了這些技術(shù)。許多技術(shù)仍然存在，但要獲得現(xiàn)在所需的處理，他們必須將這些傳感器與更先進(jìn)的技術(shù)結(jié)合起來(lái)?！?/p>

在許多情況下，功率預(yù)算極其有限，因?yàn)樗枰褂靡还?jié)或多節(jié)電池運(yùn)行。Cadence的 Tensilica 音頻/語(yǔ)音 DSP 產(chǎn)品營(yíng)銷總監(jiān) Prakash Madhvapathy 說(shuō)：“設(shè)備越來(lái)越注重電池，因?yàn)樗鼈兿Ｍ褂梅浅Ｐ〉碾姵亍?” “用戶希望看到非常長(zhǎng)的電池壽命和全天連續(xù)運(yùn)行，因此 24/7/365。為了方便用戶，設(shè)備需要始終在線。他們還需要聰明地理解用戶在特定時(shí)刻的意圖，而不是被明確告知它必須做什么。”

同時(shí)，這些設(shè)備需要更多的計(jì)算能力，因?yàn)樗鼈冃枰幚砀嗟臄?shù)據(jù)?！斑^(guò)去看到的用例現(xiàn)在正在演變成更復(fù)雜的用例，最終消費(fèi)者對(duì)設(shè)備的期望比以前高得多，”Madhvapathy 說(shuō)。“這是一個(gè)積極的反饋循環(huán)，設(shè)備本身顯示出更多的功能，這提高了制造商和最終消費(fèi)者的期望。這推動(dòng)了設(shè)備本身對(duì)更多計(jì)算能力的需求?！?/p>

Madhvapathy 觀察到這兩個(gè)因素似乎相互矛盾?！霸谝环N情況下，你想要永遠(yuǎn)在線、長(zhǎng)電池壽命。在另一種情況下，您正在尋找更多的計(jì)算能力，這將消耗電池壽命。挑戰(zhàn)變成了這兩者如何共存，制造商或原始設(shè)備制造商如何才能創(chuàng)造出兩全其美的產(chǎn)品？”

隨著車輛自主性的增加，這一點(diǎn)很明顯，這需要數(shù)百個(gè) TOP（每秒萬(wàn)億次運(yùn)算）。產(chǎn)品管理總監(jiān) Amol Borkar 表示：“在這些情況下，對(duì)于功率/能源，您需要進(jìn)行一些權(quán)衡，但您不希望使用與低端產(chǎn)品相同的產(chǎn)品?！?Cadence 的 Tensilica 視覺和 AI DSP 營(yíng)銷?！霸诘湫偷漠a(chǎn)品開發(fā)周期中，您開始細(xì)分市場(chǎng)，以確定低、中、高產(chǎn)品的重點(diǎn)產(chǎn)品范圍，或者好、更好、最好的方法。很難擁有一種可以跨越整個(gè)范圍的產(chǎn)品。它可以廣泛地跨越一個(gè)范圍，但如果你談?wù)摰氖且环N永遠(yuǎn)在線的能力，但隨后還必須可重新配置以運(yùn)行自動(dòng)駕駛汽車——這通常不會(huì)發(fā)生。如果真的發(fā)生了，它將被過(guò)度設(shè)計(jì)，不符合任何細(xì)分市場(chǎng)的要求。”

這適用于音頻或視頻部分。過(guò)去離散的東西越來(lái)越多地被集成到一個(gè)系統(tǒng)或子系統(tǒng)中。

“隨著人工智能的進(jìn)一步普及，我們開始看到這些產(chǎn)品系列之間出現(xiàn)了很多合并，”Borkar 說(shuō)?！霸谟肋h(yuǎn)在線的空間中，開發(fā)人員說(shuō)，‘我只想進(jìn)行音頻處理，例如關(guān)鍵字定位和關(guān)鍵字檢測(cè)?！?例如，現(xiàn)在他們正在為人類存在檢測(cè)添加一些視覺處理。更進(jìn)一步，開發(fā)人員不希望兩個(gè)不同的 IP 進(jìn)行這種類型的多模式處理。他們想要一個(gè)既可以進(jìn)行視覺處理又可以進(jìn)行音頻處理的 IP，這是低端的。在高端方面，更多的是，‘我有一個(gè)系統(tǒng)可以進(jìn)行這種基于攝像頭的人員檢測(cè)，或 ADAS/行人/街道標(biāo)志檢測(cè)，但同時(shí)我也在做短程雷達(dá)加工。我不想放置一個(gè)單獨(dú)的處理塊或 IP 塊來(lái)做到這一點(diǎn)。我只想要一個(gè)塊來(lái)進(jìn)行處理，即使它是多模式的。”

通信問(wèn)題

芯片架構(gòu)師關(guān)心的另一個(gè)問(wèn)題是能否為特定應(yīng)用快速傳輸圖像和視頻。

今天的顯示器具有比過(guò)去更高的分辨率，這反過(guò)來(lái)又需要更高的帶寬。Synopsys移動(dòng)、汽車和消費(fèi)類 IP 產(chǎn)品營(yíng)銷總監(jiān) Hezi Saar 表示，問(wèn)題在于 PHY 速度跟不上分辨率的提高。隨著 AR/VR 和移動(dòng)應(yīng)用的帶寬需求不斷增加，這很明顯，這需要增加 PHY 帶寬。至少目前，該解決方案涉及壓縮標(biāo)準(zhǔn)，例如 VESA DSC 和 VESA VDCM。

“視覺無(wú)損壓縮已被引入市場(chǎng)，這將減少對(duì)更快 PHY 和更快切換的需求，從而降低功耗，因?yàn)槟恍枰l(fā)送相同的數(shù)據(jù)，”Saar 說(shuō)。“您可以對(duì)其進(jìn)行壓縮，并且數(shù)據(jù)或多或少地保持在同一個(gè)范圍內(nèi)，因此有效地控制了每比特的功率。這種壓縮方式被 HDMI、DisplayPort 和 MIPI 全面采用，用于移動(dòng)設(shè)備和汽車?！?/p>

對(duì)這種方法的最初反對(duì)是出于對(duì)丟失像素的安全影響的擔(dān)憂，或者如果像素在一秒或一毫秒內(nèi)沒有看到會(huì)發(fā)生什么。盡管對(duì)此主題有多種意見，但車輛中的屏幕通常不用于駕駛員安全，并且壓縮可以節(jié)省大量資源。

“然后，架構(gòu)問(wèn)題變得更簡(jiǎn)單，”薩爾說(shuō)。“權(quán)衡歸結(jié)為，‘幀緩沖區(qū)將實(shí)現(xiàn)什么？您將在 SoC 內(nèi)部使用多少內(nèi)存，而在外部使用多少內(nèi)存？您需要多少條通信通道？功率預(yù)算是多少？所有這些都是由驅(qū)動(dòng)顯示器所需的帶寬量驅(qū)動(dòng)的?！?/p>

由于應(yīng)用程序的廣泛性，A/V 芯片和 IP 必須高度依賴工作負(fù)載和特定于應(yīng)用程序，才能實(shí)現(xiàn)最佳系統(tǒng)。這意味著當(dāng)系統(tǒng)架構(gòu)師設(shè)計(jì)這些芯片時(shí)，他們必須考慮將要運(yùn)行的工作負(fù)載的種類，并選擇滿足性能和功率配置文件所需的計(jì)算塊。

瑞薩電子副總裁兼總經(jīng)理 Rami Sethi 表示：“我們正在解決的最大挑戰(zhàn)僅涉及更高的數(shù)據(jù)速率。“你會(huì)看到越來(lái)越多的計(jì)算能力向邊緣移動(dòng)，在那里做盡可能多的事情，而不是將所有東西都轉(zhuǎn)移到云端。即使在網(wǎng)絡(luò)設(shè)備內(nèi)部，我們也看到在需要的地方有更多本地化計(jì)算。我們甚至看到越來(lái)越多的人談?wù)搩?nèi)存中的計(jì)算，只是讓處理盡可能接近數(shù)據(jù)。”

與此同時(shí)，這些計(jì)算元素正變得更加專業(yè)化?！拔覀冏尳缑孢\(yùn)行得更快、更有效、更可靠，”Sethi 說(shuō)。“但在未來(lái)，有機(jī)會(huì)在其中添加額外的功能。所有數(shù)據(jù)都通過(guò)我們的芯片，在 CPU 和內(nèi)存之間。我們可以通過(guò)安全性和潛在的數(shù)據(jù)壓縮算法在數(shù)據(jù)處理方面增加更多價(jià)值?！?/p>

其他人同意?！叭绻阆胍ㄓ?a target="_blank">硬件，比如 CPU，你可以把所有東西都放在 x86 或 Arm CPU 上，”Madhvapathy 說(shuō)。“但它不會(huì)是節(jié)能的，也不會(huì)是計(jì)算效率的，因?yàn)樗鼈儾皇菫樘囟悇e的工作負(fù)載設(shè)計(jì)的。你永遠(yuǎn)不會(huì)只為一個(gè)工作負(fù)載設(shè)計(jì)任何東西。您為一類或兩類工作負(fù)載設(shè)計(jì)它們，這樣您就不會(huì)過(guò)于狹隘地關(guān)注。但至少對(duì)于工作負(fù)載而言，DSP 最終在處理方面的效率將大大高于主 CPU，無(wú)論是在時(shí)間還是在功率方面。這就是為什么過(guò)去十年的趨勢(shì)是將處理從 CPU 轉(zhuǎn)移到 DSP 以實(shí)現(xiàn)視覺以及音頻和語(yǔ)音的高效處理?！?/p>

同樣的權(quán)衡和變通方法也發(fā)生在消費(fèi)電子領(lǐng)域，需要更高的計(jì)算性能和更長(zhǎng)的電池壽命。Codasip的高級(jí)營(yíng)銷總監(jiān) Roddy Urquhart 說(shuō)：“傳統(tǒng)上，工程師要么針對(duì)低功耗進(jìn)行優(yōu)化，要么針對(duì)高性能進(jìn)行優(yōu)化。 ” “為了滿足特定應(yīng)用程序的要求，少數(shù)幾種前進(jìn)方式之一是硬件專業(yè)化。25 年前，這個(gè)問(wèn)題可以通過(guò)創(chuàng)建 ASIC 來(lái)解決。但 ASIC 缺乏靈活性，許多應(yīng)用程序需要可編程性來(lái)處理不同版本的標(biāo)準(zhǔn)，例如編碼，或處理固件更新。”

因此，雖然通用處理器可以處理范圍廣泛的軟件任務(wù)，但它的能效卻低得多。“如果它們與專門的軟件一起使用，很可能許多處理器功能——以及電路——將被簡(jiǎn)單地未使用或未充分利用，”Urquhart 說(shuō)。“相比之下，如果對(duì)軟件工作負(fù)載進(jìn)行分析以識(shí)別計(jì)算瓶頸，則可以設(shè)計(jì)專用處理器來(lái)解決計(jì)算瓶頸，但不包括不必要的功能。這樣的設(shè)計(jì)在電路方面應(yīng)該是精簡(jiǎn)的，并提供良好的性能。”

但是，這會(huì)產(chǎn)生其他問(wèn)題。從頭開始創(chuàng)建專用處理器需要一種多學(xué)科方法，這超出了許多公司的技能范圍，這也是 RISC-V 開放指令集受到關(guān)注的原因之一。它通過(guò)為團(tuán)隊(duì)提供一組基本的整數(shù)指令、可選擴(kuò)展和用于創(chuàng)建自定義指令的規(guī)定來(lái)簡(jiǎn)化設(shè)計(jì)。“另一個(gè)簡(jiǎn)化是當(dāng)處理器使用處理器描述語(yǔ)言獲得許可時(shí)，”他說(shuō)?！昂诵拿枋隹梢栽诟邔舆M(jìn)行修改和調(diào)優(yōu)，RTL、驗(yàn)證環(huán)境和軟件工具鏈可以從高層描述中綜合起來(lái)?！?/p>

更多工具即將推出

盡管如此，Siemens EDA 的 Davis 堅(jiān)持認(rèn)為，在系統(tǒng)級(jí)別上并沒有特別好的工具可用，因?yàn)槠渲泻芏喙ぞ甙l(fā)展得如此之快。“市場(chǎng)上沒有機(jī)會(huì)開發(fā)和部署這些模型。早在那個(gè)時(shí)候，一切都在數(shù)據(jù)手冊(cè)中建模并且一切都在線，您可以很早就將您的系統(tǒng)組合在一起并進(jìn)行所有系統(tǒng)權(quán)衡。但是這些功能發(fā)展得如此之快，以至于這些模型不可用。人們通常使用電子表格之類的東西來(lái)進(jìn)行這種分析。那里有一些功能，但是當(dāng)您深入到 IC 級(jí)別時(shí)，每個(gè)制造商、每個(gè)設(shè)計(jì)公司都必須與他們的代工廠聯(lián)系并與其合作，以了解權(quán)衡的環(huán)境。

雖然工具提供商正在開發(fā)工具，但今天需要能夠進(jìn)行這種分析。“人們的夢(mèng)想是能夠坐下來(lái)提出最佳解決方案。但與往常一樣，當(dāng)您向前推進(jìn)時(shí)，您將在今天設(shè)計(jì)這種芯片架構(gòu)。他們將在明年設(shè)計(jì)它，并在一年后進(jìn)行制造和部署。我正在展望未來(lái)三年，”戴維斯說(shuō)。

為了解決這些問(wèn)題，答案是越來(lái)越多地使用某種類型的高級(jí)封裝進(jìn)行異構(gòu)集成。這使得在數(shù)字端擁有低泄漏的最先進(jìn)處理成為可能，并將其與模擬端相結(jié)合，從而可以以最有意義的工藝幾何形狀開發(fā)電路。

“很多這些歷史上成熟的節(jié)點(diǎn)公司都在做所有這些傳感器、放大器和降噪——所有這些都需要先進(jìn)的處理，他們必須引入先進(jìn)的技術(shù)來(lái)以低功耗獲得計(jì)算資源，”戴維斯說(shuō)?！艾F(xiàn)在我們談?wù)摰氖窍到y(tǒng)級(jí)集成，因此 2.5D/3D 堆棧變得更具挑戰(zhàn)性。有一個(gè)數(shù)字芯片，以及一個(gè)或多個(gè)模擬芯片，因?yàn)槿绻乙湃雮鞲衅骱蜔o(wú)線電，我可能會(huì)將三種不同的技術(shù)放在一個(gè)封裝中。我們看到了很多。我們還看到了硅光子學(xué)，尤其是在計(jì)算中心。只要您不熔化硅，計(jì)算中心就可以了。過(guò)去的態(tài)度是，‘我們把它插在墻上。誰(shuí)在乎？‘ 當(dāng)他們?cè)诮ㄖ镏袚碛袛?shù)十萬(wàn)到數(shù)百萬(wàn)個(gè)這樣的核心時(shí)，他們現(xiàn)在確實(shí)很在意，頂部有大型冷卻塔，因?yàn)樗鼤?huì)產(chǎn)生大量熱量?！?/p>

使用 die-on-die 或 package-on-package 的架構(gòu)將更常見以解決其中一些問(wèn)題?！斑@取決于您所談?wù)摰膽?yīng)用程序，”Synopsys 的 Saar 說(shuō)?！坝袝r(shí)房地產(chǎn)很重要，所以你會(huì)使用包裝上的包裝。有時(shí)延遲非常重要?；蛘哂袝r(shí)你想在本地進(jìn)行這種計(jì)算。然后你把 DDR 放在你的芯片上。這樣做可以提高性能、減少延遲并提高功耗。這意味著當(dāng)您處理視頻數(shù)據(jù)時(shí)，它可以更有效地完成。某種 die-to-die 接口將在更復(fù)雜的系統(tǒng)中變得更加普遍。汽車 ADAS 是一個(gè)候選者。移動(dòng)是 SoC 方面的候選者。即使在像 IP 攝像機(jī)或網(wǎng)絡(luò)錄像機(jī)這樣的應(yīng)用程序中，如果你是一家擁有一切的公司——你在云端擁有人工智能引擎，你提供完整的服務(wù)、所有的電子設(shè)備，而且你還在制造 SoC——那么你可能會(huì)做一個(gè) SoC，它可以去網(wǎng)絡(luò)攝像機(jī)。您還可以使用 die-to-die 技術(shù)連接兩個(gè)芯片，這樣您就可以進(jìn)行將所有 IP 攝像機(jī)連接在一起的網(wǎng)絡(luò)視頻錄制?！?/p>

為了提高高級(jí)音頻/視頻系統(tǒng)的效率，需要非常專業(yè)的硬件。“看看這在智能手機(jī)和個(gè)人電腦中的做法，以提高所有這些設(shè)備的電池壽命——無(wú)論是音頻、視頻、個(gè)人電腦、ADAS 還是任何這些系統(tǒng)——你不能讓你的系統(tǒng)完全運(yùn)行Movellus技術(shù)營(yíng)銷主管 Aakash Jani 說(shuō)，始終保持 100% 。“否則，你只會(huì)殺死你的系統(tǒng)。這帶來(lái)了切換不同功率域的想法，創(chuàng)建截然不同的功率域，無(wú)論您是在前一分鐘進(jìn)行波前分析，還是在那之后的下一秒進(jìn)行全面推理。您將很快讓您的系統(tǒng)切換到動(dòng)態(tài)電源。如果沒有，那將轉(zhuǎn)化為實(shí)時(shí)延遲。”

這遠(yuǎn)遠(yuǎn)超出了音頻/視頻系統(tǒng)。“在平衡芯片上增加的智能時(shí)，必須平衡電池壽命，”賈尼說(shuō)。“您需要根據(jù)工作負(fù)載進(jìn)行非常精細(xì)的電源控制。電源系統(tǒng)和電源管理需要并行處理您可能會(huì)看到的不同工作負(fù)載，這樣您就不會(huì)因?yàn)橄碾娏Χ速M(fèi)周期?！?/p>

設(shè)計(jì)人員試圖處理的最大設(shè)計(jì)限制和問(wèn)題之一是電壓下降或 IR 下降?！耙?yàn)?a href="http://ttokpm.com/tags/時(shí)鐘/" target="_blank">時(shí)鐘與它們所處的任何系統(tǒng)都如此緊密地交織在一起，并且因?yàn)樗鼈兪且粋€(gè)如此大的功率貢獻(xiàn)者，所以它們與電壓下降有著非常私人的關(guān)系，”他解釋道。“由于這些系統(tǒng)正在切換，尤其是高頻系統(tǒng)，對(duì)于智能手機(jī)、PC，甚至在數(shù)據(jù)中心，功率波動(dòng)很大。時(shí)鐘網(wǎng)絡(luò)不僅是其中的一個(gè)促成因素，它的設(shè)計(jì)方式也可能是一種解決方案。”

結(jié)論

大局觀，所有這些低層次的挑戰(zhàn)都必須從長(zhǎng)遠(yuǎn)的角度出發(fā)，并且設(shè)計(jì)必須是可擴(kuò)展的。

“你今天做的不是明天要做的，”Expedera 營(yíng)銷主管 Paul Karazuba 指出。“從設(shè)計(jì)的角度來(lái)看，大多數(shù)做硬件的公司對(duì)一代不感興趣。他們對(duì)多代人感興趣，以維持一家成長(zhǎng)中的公司。我今天在音頻或視頻領(lǐng)域所做的可能是在 4k 相機(jī)上。我可能會(huì)在幾代人之后使用 8k 相機(jī)。你需要一個(gè)可擴(kuò)展的架構(gòu)——不僅僅是架構(gòu)，還有你工作的底層設(shè)計(jì)語(yǔ)言和軟件生態(tài)系統(tǒng)。您不希望每一代都采用完全不同的架構(gòu)，因此您需要擁有作為系統(tǒng)工程師、系統(tǒng)架構(gòu)師、

將 AI 添加到組合中，這不僅在音頻/視頻應(yīng)用程序中廣泛擴(kuò)散，而且事情變得更加復(fù)雜。

“取決于市場(chǎng)，你必須開始為今天不存在的算法進(jìn)行設(shè)計(jì)，這完全違反直覺，”Karazuba 說(shuō)?！袄?，在汽車行業(yè)，如果你今天設(shè)計(jì)一個(gè)芯片，它三年內(nèi)都不會(huì)上市。它必須在市場(chǎng)上銷售 10 年。在那 13 年里，它正在處理的神經(jīng)網(wǎng)絡(luò)不會(huì)保持不變。因此，對(duì)于先進(jìn)的神經(jīng)網(wǎng)絡(luò)、定制的神經(jīng)網(wǎng)絡(luò)以及今天不存在的網(wǎng)絡(luò)，這些都是系統(tǒng)工程師需要做出的決定，因此他們可以嘗試為不存在的東西進(jìn)行設(shè)計(jì)。”

— Ed Sperling 為本報(bào)告做出了貢獻(xiàn)。