智能家居中視覺成像傳感器案例分析

超越單個(gè)像素

許多家用電器和設(shè)備承諾讓我們的家更安全、更舒適，并節(jié)省我們的時(shí)間或讓我們的生活更輕松。它們可以自動(dòng)完成瑣碎的任務(wù)，或者通過(guò)連接到我們的手機(jī)使這些設(shè)備的控制觸手可及。此功能由大量數(shù)字傳感器實(shí)現(xiàn)，從測(cè)量空氣溫度、濕度和光照條件的設(shè)備到運(yùn)動(dòng)檢測(cè)器、氣體傳感器等。從此類傳感器提供的信息來(lái)看，它們有一個(gè)共同點(diǎn)：它們都是逐點(diǎn)的，缺乏空間分辨率。例如，傳統(tǒng)的溫度或光傳感器將僅在房間的安裝點(diǎn)報(bào)告溫度或光強(qiáng)度。不知道房間里的人，他們的行為，

相比之下，視覺成像傳感器具有非常精細(xì)的空間分辨率。由集成在傳感器中的數(shù)百萬(wàn)個(gè)檢測(cè)器提供。通過(guò)這種方式，它們生成了豐富的非結(jié)構(gòu)化信息，在這些信息上應(yīng)用視覺圖像分析來(lái)獲取結(jié)構(gòu)化信息（例如，不僅僅是“門鈴前有人”，而是有多少人和誰(shuí)）。視覺圖像傳感器在智能機(jī)器人和家庭安防系統(tǒng)中的應(yīng)用已經(jīng)很廣泛?，F(xiàn)在，該技術(shù)的發(fā)展正在將其他多像素傳感器帶入家庭自動(dòng)化和智能家居領(lǐng)域。熱成像傳感器是主要候選者，具有預(yù)防火災(zāi)危險(xiǎn)和指導(dǎo)廚房廚師、在不犧牲隱私的情況下監(jiān)控人員占用、測(cè)量我們的舒適度以及遠(yuǎn)程確保嬰兒和老年人的健康等方面的前景。

下面，我們來(lái)看幾個(gè)具體案例。

您的更安全、更智能的廚房

為什么要在廚房進(jìn)行熱成像？簡(jiǎn)短的回答是為了安全、健康和方便。事實(shí)上，根據(jù)美國(guó)國(guó)家消防協(xié)會(huì) （NPFA） 的數(shù)據(jù)，烹飪是家庭火災(zāi)的主要原因，占此類火災(zāi)的 49%。并非所有受影響的家庭都有煙霧探測(cè)器故障；相反，當(dāng)檢測(cè)到煙霧時(shí)，已經(jīng)為時(shí)已晚，無(wú)法消除導(dǎo)致火災(zāi)的條件。熱成像可以在危險(xiǎn)條件出現(xiàn)之前很久就識(shí)別可能導(dǎo)致火災(zāi)的高溫，從而為最大限度地減少此類代價(jià)高昂和毀滅性的事故提供清晰的途徑。

在廚房中提供熱成像的一種自然方式是將傳感器集成到抽油煙機(jī)內(nèi)以實(shí)現(xiàn)灶具監(jiān)控器。Cooksy-Pro，如圖1所示，是全球首款智能烹飪助手產(chǎn)品。圖中，Cooksy-Pro 是安裝在抽油煙機(jī)下方的銅色設(shè)備。從那里，熱像儀可以連續(xù)“看到”整個(gè)爐灶或爐子的溫度分布。

許多烹飪?cè)蠈?duì)加工溫度很敏感。過(guò)熱它們不僅可能會(huì)耗盡它們的營(yíng)養(yǎng)價(jià)值，甚至?xí)顾鼈冏兂蓪?duì)我們的身體不太友好的化合物。灶臺(tái)上方的熱像儀可以連續(xù)“讀取”烹飪餐點(diǎn)的溫度并將其顯示給我們，從而幫助我們制作更健康的餐點(diǎn)。

Cooksy Corp. 首席財(cái)務(wù)官 Steven Cartwright 表示：“這讓我們想到了烹飪助手的概念，每次都能幫助您制作健康美味的飯菜?！皬谋举|(zhì)上講，Cooksy 使您能夠分享您的烹飪食譜或跟隨他人的食譜。烹飪過(guò)程中實(shí)時(shí)的烹飪時(shí)間和溫度的詳細(xì)信息。“

Cartwright 解釋說(shuō)：“Cooksy 將視覺和熱像儀傳感器與復(fù)雜的智能和連接性結(jié)合在一個(gè)易于安裝在爐灶上方的設(shè)備中。該設(shè)備可以將您的爐灶面實(shí)時(shí)傳輸?shù)侥氖謾C(jī)，讓您“看到”烹飪食材的溫度，并建議您如何以及何時(shí)根據(jù)這些信息采取行動(dòng)?！?/p>

灶具監(jiān)視器的好處不僅限于烹飪藝術(shù)和營(yíng)養(yǎng)，還涉及廚房安全領(lǐng)域。例如，監(jiān)控器可以檢測(cè)到無(wú)人看管的燃?xì)庠蠲骰鸹蜻^(guò)熱的灶具、過(guò)熱的鍋碗瓢盆（有油或無(wú)油）、容器沸騰和溢出以及其他危險(xiǎn)情況。圖 2顯示一壺水的沸騰，帶蓋，由熱成像儀隨時(shí)間監(jiān)測(cè)。雖然直接可觀察到的溫度從未接近 100 （212 ），但水的沸點(diǎn)、熱圖像處理和分析的應(yīng)用可以檢測(cè)水何時(shí)開始沸騰、何時(shí)開始從蓋子下方溢出以及何時(shí)燃?xì)馊紵饕殃P(guān)閉。在智能家居和聯(lián)網(wǎng)設(shè)備的背景下，識(shí)別此類事件不僅可以觸發(fā)警報(bào)，還可以在必要時(shí)調(diào)節(jié)或停止電力或燃?xì)夤?yīng)，以防止事故或火災(zāi)危險(xiǎn)。

灶具應(yīng)用的熱成像分析（來(lái)源：Meridian Innovation）

灶臺(tái)監(jiān)視器并不是廚房中唯一可以找到熱成像傳感器的地方。圖 3顯示了支持熱成像的微波爐的早期原型——最初由 Meridian Innovation 在 CES 2020 上展示——如圖 3所示（可在facebook.com/watch/？v=685705472262649上查看其操作視頻）。

該裝置能夠?qū)⑹澄锛訜岬剿铚囟?，而不是以固定功率加熱固定時(shí)間。它基于一個(gè)現(xiàn)成的微波爐，該微波爐經(jīng)過(guò)修改以集成熱成像儀和替代控制。這使我們不必經(jīng)常在選擇重新加熱食物的功率和時(shí)間時(shí)進(jìn)行猜測(cè)。最后，我們可以通過(guò)選擇所需的食物溫度直接傳達(dá)我們的意圖，并將技術(shù)細(xì)節(jié)留給機(jī)器。這種意圖可以通過(guò)無(wú)線連接的移動(dòng)設(shè)備或通過(guò)集成在改進(jìn)后的微波爐中的觸摸屏來(lái)傳達(dá)。自然地，人們可以設(shè)置所需的食物溫度，并在食物被加熱時(shí)對(duì)其進(jìn)行監(jiān)控。

此外，隨著 TinyML 的進(jìn)步和其他在嵌入式處理器上啟用 AI 功能的舉措，這種設(shè)置可能允許設(shè)備在加熱時(shí)猜測(cè)我們?cè)谖⒉t中放入了什么，從而自動(dòng)選擇最佳溫度為我們。

及時(shí)交付用于檢測(cè)高溫的熱像儀的必要性以及構(gòu)建良好解決方案的復(fù)雜性導(dǎo)致許多合作伙伴努力為 OEM 和 ODM 提供大量參考設(shè)計(jì)。歐洲商業(yè)雜志https://europeanbusinessmagazine.com/media-outreach/arrow-electronics-launches-ai-發(fā)表的文章“Arrow Electronics 推出由 STMicroelectronics 的 X-CUBE AI 提供支持的 AI 熱傳感解決方案”描述了一個(gè)很好的例子stmicroelectronics-x-cube-ai/ 供電的熱傳感解決方案。與我們的合作伙伴 Generalplus Technology 合作實(shí)現(xiàn)的另一個(gè)新解決方案將在下面標(biāo)題為“當(dāng)熱成像遇到 AI 芯片組時(shí)”的部分中進(jìn)行描述。

關(guān)心您的舒適的空調(diào)

HVAC 系統(tǒng)是集成熱成像可以產(chǎn)生積極影響的另一個(gè)例子。當(dāng)今常用的大多數(shù)空調(diào)都在盒子中嵌入了一個(gè)簡(jiǎn)單的溫度傳感器來(lái)控制室溫；該傳感器提供來(lái)自環(huán)境的唯一反饋。這樣的系統(tǒng)可以被視為第一代。相比之下，集成了熱成像儀的第二代系統(tǒng)可以知道房間內(nèi)是否有居住者，以及這些居住者可能位于房間的什么位置。這能夠更有效地利用空調(diào)單元。對(duì)于小型公寓房間或酒店房間，幾百到一千像素的熱像儀可能就足夠了，而對(duì)于更大的居住空間，則需要幾千像素的傳感器，再加上一個(gè)視場(chǎng)為90°以上的視角。

請(qǐng)注意，熱圖像的內(nèi)容不僅可以洞察車廂的占用情況，還可以了解整體分布情況整個(gè)房間的溫度?；谶@些更詳細(xì)的信息，機(jī)組可以自動(dòng)調(diào)節(jié)氣流的溫度、方向和速度，以節(jié)省能源并提高舒適度。

至于舒適度，有各種數(shù)學(xué)模型在人的平均皮膚溫度和人的感知舒適度之間建立直接關(guān)系。我們應(yīng)該記住，空調(diào)和暖通空調(diào)系統(tǒng)的目的是確保居住者一定程度的舒適和幸福，而不是僅僅將房間的空氣冷卻或加熱到預(yù)設(shè)溫度。這將我們引向了我們所說(shuō)的第 3 代 HVAC 系統(tǒng)的概念。在該層，加熱或冷卻單元使用更高分辨率的熱成像 - 大約 5，000 到 20，000 像素 - 并且可以獲得更詳細(xì)的熱圖像，直接測(cè)量居住者的平均皮膚溫度，并估計(jì)他們的水平舒適。這些信息可以實(shí)現(xiàn)以真正的熱舒適度而不是溫度為目標(biāo)的環(huán)境控制，

第 2 代空調(diào)機(jī)組已經(jīng)在市場(chǎng)上銷售，這得益于最近批量供應(yīng)具有成本效益的 1，000 至 5，000 像素的熱像儀。我們預(yù)計(jì)，熱成像技術(shù)的快速發(fā)展將在五年內(nèi)將第 3 代功能帶入高端機(jī)型。

嬰兒和老人的健康 監(jiān)測(cè) 帶視頻流的嬰兒監(jiān)視器已經(jīng)上市有一段時(shí)間了，它是與親友分享孩子快樂時(shí)刻以及讓看護(hù)人照看嬰兒的好方法遠(yuǎn)程。然而，嵌入式視覺相機(jī)無(wú)法直接洞察嬰兒的生理狀態(tài)。熱成像傳感器可以。

正在進(jìn)行大量研究和開發(fā)，以創(chuàng)建集成視覺和熱像儀并使用豐富的 AI 計(jì)算引擎支持相機(jī)的嬰兒監(jiān)視器。圖 5顯示了即將推出的新產(chǎn)品的示例。該領(lǐng)域提供了許多可能性。

例如，由于體溫升高是疾病的常見癥狀，因此每個(gè)父母都希望盡早發(fā)現(xiàn)這種癥狀，即使是在半夜。為了解決這一應(yīng)用，人們可以在嬰兒健康和快樂時(shí)準(zhǔn)確跟蹤嬰兒的正常溫度模式，然后自動(dòng)檢測(cè)異常溫度模式的發(fā)生，并在出現(xiàn)癥狀的早期提醒孩子的照顧者。應(yīng)該記住，嬰兒核心體溫的健康模式表現(xiàn)出顯著的晝夜變化，其最低點(diǎn)和最高點(diǎn)之間可能接近 2°。這種模式似乎對(duì)每個(gè)孩子都是獨(dú)一無(wú)二的，并且隨著孩子生理機(jī)能的發(fā)展而緩慢演變，因此捕捉這種模式需要不斷觀察。所以，

除了健康狀況之外，熱和視覺光流模式還可以通過(guò)智能嬰兒手機(jī)在反饋回路中進(jìn)一步利用，讓發(fā)育中的大腦參與互動(dòng)游戲?？梢酝瑫r(shí)分析行為模式和相應(yīng)的溫度標(biāo)記。這些技術(shù)可以幫助護(hù)理人員培育出安全、聰明和健康的嬰兒。

通過(guò)熱成像進(jìn)行的健康監(jiān)測(cè)也可以擴(kuò)展到老年人。鑒于兩個(gè)重要的全球趨勢(shì)，這一點(diǎn)至關(guān)重要：預(yù)期壽命延長(zhǎng)和人口老齡化，以及獨(dú)居老人的數(shù)量增加。熱成像可以在許多方面提供幫助，從簡(jiǎn)單的溫度和運(yùn)動(dòng)生命體征監(jiān)測(cè)到復(fù)雜的行為分析。老年人護(hù)理中一個(gè)常見且重要的主題是發(fā)現(xiàn)甚至預(yù)防跌倒。雖然這可以通過(guò)在客廳安裝視覺攝像頭來(lái)實(shí)現(xiàn)，但不會(huì)將攝像頭放在浴室里——但浴室的風(fēng)險(xiǎn)最高。

考慮到這一點(diǎn)，LSCM Hong Kong 的一個(gè)團(tuán)隊(duì)率先推出了熱像儀解決方案，該解決方案建立在一個(gè)分辨率相對(duì)較低的 LWIR 傳感器上，像素不到 5，000 像素。該分辨率足夠高，可以進(jìn)行姿態(tài)估計(jì)，但也足夠小，可以以適度的計(jì)算能力進(jìn)行連續(xù)、實(shí)時(shí)的熱圖像處理——最重要的是，可以保護(hù)隱私。該單元在本地運(yùn)行一種復(fù)雜的算法，能夠檢測(cè)事故或跌倒的發(fā)生，并向負(fù)責(zé)的護(hù)士或家庭成員發(fā)出警報(bào)。該產(chǎn)品于2019年在日內(nèi)瓦第47屆國(guó)際發(fā)明展上獲得金獎(jiǎng)。

其他公司正在開發(fā)相機(jī)解決方案，幫助護(hù)理機(jī)構(gòu)預(yù)防常見事故。當(dāng)居民起床時(shí)，這些單位可以檢測(cè)到該人是醒著的，并立即提醒看護(hù)人參加。

當(dāng)熱成像遇上AI 芯片組

為了將集成參考設(shè)計(jì)帶給 OEM 和 ODM，Meridian Innovation 與總部位于臺(tái)灣的全球集成電路供應(yīng)商 Generalplus Technology 合作，該供應(yīng)商以其消費(fèi)產(chǎn)品和家用電器解決方案而聞名，該供應(yīng)商用于數(shù)百萬(wàn)行業(yè)名牌產(chǎn)品?！拔覀兒芨吲d與 Meridian Innovation 合作。他們的熱成像模塊和Generalplus的AI芯片是智能家居的完美解決方案

當(dāng) Meridian 的工程師將其熱成像模塊安裝在我們的 AI SoC 平臺(tái)上 ［圖 6］時(shí)，它就是制作中的杰作。一種經(jīng)濟(jì)高效的獨(dú)立解決方案應(yīng)運(yùn)而生，通過(guò)卷積神經(jīng)網(wǎng)絡(luò) （CNN） 功能將溫度集成到音頻、視頻和圖形中，用于智能和 AI 應(yīng)用。在展示這樣的解決方案時(shí)，我們看到客戶對(duì)這項(xiàng)尖端技術(shù)產(chǎn)生了極大的興趣，以創(chuàng)造一種創(chuàng)新產(chǎn)品，創(chuàng)造更美好的明天，”Generalplus 銷售經(jīng)理 Jacky Chen 說(shuō)。

SmartForm 套件（來(lái)源：Generalplus 提供）

結(jié)論

熱成像傳感器有望增強(qiáng)我們家中許多產(chǎn)品的功能和價(jià)值，使我們能夠解決長(zhǎng)期存在的挑戰(zhàn)，例如健康監(jiān)測(cè)、跌倒和防火，同時(shí)提高生活空間的能源效率和舒適度，以及甚至幫助我們做出更好的飯菜。這些進(jìn)步得益于新一代具有成本效益的熱像儀的批量可用性，分辨率高達(dá)數(shù)千甚至數(shù)萬(wàn)像素。

與此同時(shí)，我們看到大量可訪問的參考硬件設(shè)計(jì)和軟件解決方案極大地促進(jìn)了該技術(shù)的采用，并加快了包含熱像儀的創(chuàng)新產(chǎn)品的開發(fā)周期。的確，這很關(guān)鍵。一直走在這場(chǎng)革命前沿的公司 Meridian Innovation 的聯(lián)合創(chuàng)始人是這樣表達(dá)的：“熱成像傳感器就像人的眼睛；他們需要［他們］背后的復(fù)雜情報(bào)，以便理解所有通過(guò)的熱數(shù)據(jù)。”

作者 ：聯(lián)合創(chuàng)始人兼首席運(yùn)營(yíng)官 Hasan Gadjali 和 Meridian Innovation LimitedLtd 的科學(xué)家 Markov Stanislav Nikolaev 博士。