全新CrossLinkPlus FPGA 簡(jiǎn)化基于MIPI的視覺(jué)系統(tǒng)開(kāi)發(fā)

萊迪思半導(dǎo)體白皮書(shū)

2019年11月

如今，嵌入式視覺(jué)系統(tǒng)設(shè)計(jì)師需要迎合眾多市場(chǎng)趨勢(shì)。例如，現(xiàn)在的設(shè)計(jì)使用的傳感器越來(lái)越多，便于收集更多數(shù)據(jù)或?qū)崿F(xiàn)新的功能。比如在汽車市場(chǎng)，幾十年前，汽車廠商在車輛上安裝一個(gè)備份攝像頭就算是創(chuàng)新之舉了，而現(xiàn)在他們已經(jīng)開(kāi)始將攝像頭用于道路偏離監(jiān)控、速度標(biāo)志牌識(shí)別和其他眾多智能駕駛應(yīng)用。

同時(shí)，嵌入式視覺(jué)系統(tǒng)設(shè)計(jì)師正逐漸采用符合移動(dòng)產(chǎn)業(yè)處理器接口（MIPI）聯(lián)盟標(biāo)準(zhǔn)的組件。 MIPI起初是為移動(dòng)市場(chǎng)開(kāi)發(fā)的，它定義了移動(dòng)設(shè)備的設(shè)計(jì)人員在在構(gòu)建高性能、高成本效益、可靠的移動(dòng)解決方案時(shí)所需的硬件和軟件接口標(biāo)準(zhǔn)。在過(guò)去幾年中MIPI已經(jīng)成為開(kāi)發(fā)嵌入式系統(tǒng)的主流標(biāo)準(zhǔn)。包括工業(yè)和汽車等領(lǐng)域的各類應(yīng)用的設(shè)計(jì)人員都已經(jīng)意識(shí)到這一點(diǎn)，并且開(kāi)始尋找方法來(lái)利用移動(dòng)組件高性能和規(guī)模經(jīng)濟(jì)的優(yōu)勢(shì)。

縮短上市時(shí)間帶來(lái)的壓力也推動(dòng)了對(duì)易于使用的嵌入式視覺(jué)解決方案的需求。只提供芯片的做法已經(jīng)遠(yuǎn)遠(yuǎn)不夠了。這些壓力讓設(shè)計(jì)人員迫切需要能夠提供所有硬件、軟件、IP和參考設(shè)計(jì)的嵌入式視覺(jué)設(shè)計(jì)環(huán)境，從而快速設(shè)計(jì)和開(kāi)發(fā)終端產(chǎn)品。與此同時(shí)，如今的用戶希望他們的嵌入式顯示屏能夠像消費(fèi)電子產(chǎn)品那樣反應(yīng)迅捷。啟動(dòng)很慢的嵌入式顯示屏?xí)?lái)偽像，破壞用戶體驗(yàn)。

新的挑戰(zhàn)

這些快速發(fā)展的趨勢(shì)在創(chuàng)造機(jī)遇的同時(shí)，也為嵌入式視覺(jué)設(shè)計(jì)師帶來(lái)了嚴(yán)峻的挑戰(zhàn)。首先，許多嵌入式系統(tǒng)中使用的攝像頭和顯示屏與當(dāng)今的應(yīng)用處理器（AP）的接口類型或數(shù)量不匹配。AP上用于傳感器的I/O很有限，卻又要支持各類顯示屏和傳感器，更為棘手的是，各種應(yīng)用的顯示大小和分辨率也不盡相同。此外，工業(yè)顯示屏使用壽命較長(zhǎng)，許多尚在使用的顯示屏最初是通過(guò)傳統(tǒng)接口連接的。那么，當(dāng)嵌入式應(yīng)用的設(shè)計(jì)人員在設(shè)計(jì)中不得不使用傳統(tǒng)或?qū)Ｓ玫娘@示屏和傳感器時(shí)，如何利用好MIPI組件市場(chǎng)的優(yōu)勢(shì)呢？

為了支持使用更多傳感器和更有效地管理I/O資源，設(shè)計(jì)人員需要可編程的解決方案來(lái)彌補(bǔ)I/O不足的缺陷。理想狀況下，這樣的解決方案需要聚合傳感器輸入，并且讓設(shè)計(jì)師對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，減少處理器的負(fù)載。理想的解決方案還需要是可編程的，能夠輕松地適應(yīng)定制化的顯示屏設(shè)計(jì)。以前，設(shè)計(jì)師只能通過(guò)為每種顯示類型開(kāi)發(fā)專門(mén)的ASIC來(lái)支持不同的顯示尺寸和分辨率。而可編程的解決方案能夠使用單個(gè)器件實(shí)現(xiàn)不同的顯示要求。

2016年，隨著CrossLinkTM系列FPGA的推出，萊迪思半導(dǎo)體成為這一領(lǐng)域的領(lǐng)先供應(yīng)商。這是一款可編程的視頻橋接器件，支持連接移動(dòng)圖像傳感器和顯示屏的各類協(xié)議和接口。為了滿足嵌入式視頻市場(chǎng)不斷增長(zhǎng)的需求，萊迪思又推出了CrossLink的增強(qiáng)版本——CrossLinkPlusTM。CrossLinkPlus新增了2 Mbit的嵌入式閃存作為配置存儲(chǔ)器，滿足用戶對(duì)顯示屏無(wú)縫啟動(dòng)的需求。有了片上閃存，CrossLinkPlus能夠在10 ms內(nèi)瞬時(shí)啟動(dòng)，而人腦一般無(wú)法在15 ms內(nèi)感知圖像，因此不會(huì)產(chǎn)生偽像干擾用戶體驗(yàn)。片上閃存可支持現(xiàn)場(chǎng)重新編程。

圖1：萊迪思半導(dǎo)體的CrossLinkPlus FPGA

CrossLinkPlus擁有同尺寸FPGA中速度最快的MIPI D-PHY，同時(shí)功耗非常低。此款FPGA封裝尺寸僅為3.5 mm x 3.5 mm，共支持12 Gbps D-PHY。除了高速M(fèi)IPI D-PHY外，CrossLinkPlus還擁有6K LUT可編程FPGA架構(gòu)和靈活的高速I(mǎi)/O，支持MIPI CSI-2、MIPI DSI、LVDS、SLVS200、CMOS和Sub-LVDS等接口的視頻橋接。由于CrossLinkPlus能夠連接這類顯示屏和傳感器，為設(shè)計(jì)團(tuán)隊(duì)提供了極大的設(shè)計(jì)靈活性。

全新器件能夠幫助開(kāi)發(fā)團(tuán)隊(duì)提升設(shè)計(jì)效率，從而應(yīng)對(duì)產(chǎn)品快速上市的壓力。例如，針對(duì)接收器、轉(zhuǎn)換器和發(fā)送器等功能提供的即時(shí)可用的預(yù)驗(yàn)證IP庫(kù)能讓設(shè)計(jì)人員專注于開(kāi)發(fā)其設(shè)計(jì)的高價(jià)值特性，讓他們的產(chǎn)品在競(jìng)爭(zhēng)中脫穎而出。預(yù)驗(yàn)證的視頻IP模塊和參考設(shè)計(jì)不僅能縮短設(shè)計(jì)周期，還能免費(fèi)立即獲得。此外，這些IP模塊在CrossLink和CrossLinkplus產(chǎn)品系列均可復(fù)用。

萊迪思還提供易于使用的硬件和軟件工具來(lái)模擬功能表現(xiàn)、驗(yàn)證系統(tǒng)級(jí)功能、加速產(chǎn)品開(kāi)發(fā)。器件上的嵌入式閃存讓設(shè)計(jì)人員可以在現(xiàn)場(chǎng)更新位流，滿足不斷變化的市場(chǎng)需求。全新CrossLinkPlus還能幫助工程師解決嚴(yán)格的尺寸和功耗限制問(wèn)題，同時(shí)避免了使用外部閃存產(chǎn)生更多功耗。

從競(jìng)爭(zhēng)力角度而言，該器件的單位尺寸硬核MIPI D-PHY速率為業(yè)界最快。萊迪思CrossLinkPlus與相似的競(jìng)品相比不僅尺寸更小，D-PHY性能更強(qiáng)，功耗也更低。

圖2：萊迪思CrossLinkPlus FPGA不僅提供高性能的MIPI D-PHY，而且功耗極低

萊迪思為加速產(chǎn)品開(kāi)發(fā)提供了大量支持。例如，萊迪思會(huì)定期推出基于CrossLink和CrossLinkPlus的新參考設(shè)計(jì)。這些參考設(shè)計(jì)都是為在新的或現(xiàn)有產(chǎn)品設(shè)計(jì)上實(shí)現(xiàn)流行的視頻橋接特性而定制的。

新的應(yīng)用

CrossLinkPlus的常見(jiàn)用例表明它可以賦予設(shè)計(jì)人員高度的設(shè)計(jì)靈活性。下列圖3描述了如何使用該器件橋接不同接口的傳感器和處理器。這此案例中，設(shè)計(jì)人員面臨這樣一個(gè)問(wèn)題：一方面它們希望利用MIPI處理器的成本、性能和尺寸的優(yōu)勢(shì)；另一方面，他們希望保留采用行業(yè)標(biāo)準(zhǔn)的現(xiàn)有攝像頭。在圖3的機(jī)器視覺(jué)應(yīng)用中，設(shè)計(jì)人員采用CrossLinkPlus來(lái)橋接Sub-LVDS接口的攝像頭和D-PHY接口的MIPI處理器。

圖3：在此應(yīng)用示例中，萊迪思CrossLinkPlus FPGA在Sub-LVDS攝像頭與機(jī)器視覺(jué)處理器的MIPI I/O之間起到橋接的作用。

萊迪思CrossLinkPlus的第二個(gè)潛在應(yīng)用是聚合多個(gè)傳感器的輸入，并將其發(fā)送至應(yīng)用處理器。例如，在圖4中，三個(gè)圖像傳感器通過(guò)三個(gè)D-PHY端口與CrossLinkPlus器件連接。CrossLinkPlus將傳感器數(shù)據(jù)聚合，通過(guò)單個(gè)D-PHY輸出至處理器。設(shè)計(jì)人員可以通過(guò)這種聚合功能優(yōu)化使用處理器有限的I/O資源。

圖4：萊迪思CrossLinkPlus可以在一個(gè)端口上聚合多個(gè)傳感器信號(hào)，節(jié)約處理器的I/O

設(shè)計(jì)人員還可以使用CrossLinkPlus來(lái)實(shí)現(xiàn)MIPI信號(hào)分離或復(fù)制。在圖5中，設(shè)計(jì)人員將來(lái)自傳感器的信號(hào)饋送到CrossLinkPlus器件中，然后將輸出拆分或?qū)⑵鋸?fù)制到兩個(gè)單獨(dú)的輸出中。萊迪思認(rèn)為這種方法將越來(lái)越多地應(yīng)用于智能汽車的ADAS或注重?cái)?shù)據(jù)冗余備份的應(yīng)用中。在此案例中，來(lái)自攝像頭的信號(hào)進(jìn)入萊迪思CrossLinkPlus器件，并被復(fù)制到兩個(gè)輸出流中。一個(gè)被發(fā)送到實(shí)時(shí)處理數(shù)據(jù)的應(yīng)用處理器。第二個(gè)被存檔到本地或云端進(jìn)行數(shù)據(jù)記錄和備份，類似飛機(jī)的黑匣子。若發(fā)生故障或交通事故，調(diào)查人員可以查看數(shù)據(jù)備份，確定事故原因。

圖5：在該ADAS視覺(jué)系統(tǒng)中，CrossLinkPlus FPGA復(fù)制攝像頭信號(hào)輸出，發(fā)送至應(yīng)用處理器和數(shù)據(jù)備份處

下圖6展示了設(shè)計(jì)人員如何使用CrossLinkPlus將傳統(tǒng)顯示器連接到新的高性能AP。許多工業(yè)控制應(yīng)用在連接OpenLDI接口的傳統(tǒng)顯示屏和AP時(shí)，需要采用橋接器件，因?yàn)镺penLDI顯示屏通常比MIPI顯示屏大很多。新的MIPI應(yīng)用處理器通過(guò)D-PHY將數(shù)據(jù)傳送到CrossLinkPlus。然后，該器件使用OpenLDI橋接，將數(shù)據(jù)發(fā) 送到傳統(tǒng)顯示屏。同樣，CrossLinkPlus可用于橋接非MIPI接口的圖像傳感器和MIPI AP。

圖6：在該應(yīng)用示例中，萊迪思CrossLinkPlus實(shí)現(xiàn)了傳統(tǒng)顯示器和現(xiàn)代應(yīng)用處理器之間的連接

結(jié)論

如今，有了萊迪思CrossLinkPlus，那些希望加快嵌入式視覺(jué)開(kāi)發(fā)的設(shè)計(jì)師們就無(wú)需苦苦尋找了。通過(guò)將FPGA的可重編程性引入嵌入式視覺(jué)系統(tǒng)，CrossLinkPlus讓設(shè)計(jì)人員可以利用MIPI組件提供的成本和性能優(yōu)勢(shì)。其硬核D-PHY接口可提供行業(yè)領(lǐng)先的性能，嵌入式閃存可實(shí)現(xiàn)瞬時(shí)顯示。該器件的運(yùn)行功耗極低，尺寸小，有助于簡(jiǎn)化散熱管理，對(duì)各類常用接口和傳統(tǒng)接口的支持最大限度地提高了設(shè)計(jì)靈活性。最后， CrossLinkPlus全面的、預(yù)先驗(yàn)證且免費(fèi)的IP庫(kù)進(jìn)一步加快了開(kāi)發(fā)速度，讓設(shè)計(jì)人員將更多時(shí)間用于設(shè)計(jì)的 核心部分——提升競(jìng)爭(zhēng)優(yōu)勢(shì)。