蘋果：一種在低光條件下的AR/VR手部交互追蹤操作方案

在低光條件下操作電子設(shè)備

低光條件會(huì)對(duì)XR設(shè)備造成影響，例如手勢(shì)識(shí)別和追蹤。所以在名為“Electronic device with a display for low light conditions”的專利申請(qǐng)中，蘋果就介紹了一種針對(duì)低光條件的應(yīng)對(duì)方法。

圖5顯示了在低光條件下操作電子設(shè)備的示例過程。在510，與亮度標(biāo)準(zhǔn)相關(guān)聯(lián)的媒體項(xiàng)可選地顯示在朝內(nèi)顯示器。例如，可以在朝內(nèi)顯示器顯示電影，并且電影與代表暗閾值亮度的亮度標(biāo)準(zhǔn)相關(guān)聯(lián)。

在520，朝外照明模塊接收指示顯示設(shè)備的環(huán)境照明條件的信息。指示環(huán)境照明條件530的信息包括指示環(huán)境照明條件亮度的亮度信息535和指示環(huán)境照明條件顏色的顏色信息540。例如，亮度信息535可包括亮度等級(jí)，顏色信息540可包括色溫。

在550，朝外照明模塊確定環(huán)境照明條件是否滿足與在510中顯示的媒體項(xiàng)目相關(guān)聯(lián)的亮度標(biāo)準(zhǔn)。朝外照明模塊可將亮度信息535與亮度判據(jù)進(jìn)行比較，以確定是否滿足亮度判據(jù)。

確定560中的像素集可以任選地包括塊565和/或570。在565，朝外照明模塊可以基于來自注視點(diǎn)追蹤用戶界面的指示器來確定感興趣的區(qū)域。

在570，朝外照明模塊可以基于基于手勢(shì)的用戶界面的輸入?yún)^(qū)域確定感興趣區(qū)域。例如，基于手勢(shì)的用戶界面可以提供輸入?yún)^(qū)域的指示器。

在580，朝外照明模塊可以以亮度585和顏色540驅(qū)動(dòng)在560中確定的一組像素，以改善環(huán)境感興趣區(qū)域的照明。驅(qū)動(dòng)580中的像素集可以任選地包括590，其中，朝外照明模塊可以以亮度585驅(qū)動(dòng)在560中確定的像素集，使得滿足與在510中顯示的媒體項(xiàng)目相關(guān)聯(lián)的亮度標(biāo)準(zhǔn)。

由于環(huán)境照明信息530包含顏色信息540，所以朝外照明模塊165可以以匹配的顏色540驅(qū)動(dòng)顯示器中的像素集，從而使得用戶體驗(yàn)到環(huán)境更舒服的照明。另外，朝外照明模塊可以確定最小亮度585，以使得環(huán)境照明的亮度535和顯示設(shè)備的亮度585的組合滿足亮度標(biāo)準(zhǔn)，而不會(huì)導(dǎo)致環(huán)境中的顏色感知為“褪色”。

圖6顯示了執(zhí)行圖5示例過程500的電子設(shè)備。顯示設(shè)備210包括朝外顯示設(shè)備210A和朝內(nèi)顯示設(shè)備210B，以及光學(xué)傳感器220。

所述朝內(nèi)顯示設(shè)備210B和所述朝外顯示設(shè)備210A的定位使得來自所述朝內(nèi)顯示設(shè)備210B的投影和來自所述朝外顯示設(shè)備210A的投影不相交。即朝內(nèi)顯示設(shè)備210B和朝外顯示設(shè)備210A在環(huán)境中面向不同的方向。

在示例性操作環(huán)境600中，朝內(nèi)顯示設(shè)備210B朝向用戶250，朝外顯示設(shè)備210A遠(yuǎn)離用戶250朝向環(huán)境。朝內(nèi)顯示設(shè)備210B可以顯示與特定亮度標(biāo)準(zhǔn)相關(guān)聯(lián)的媒體項(xiàng)目，例如用于黑暗電影院環(huán)境的電影媒體項(xiàng)目和相關(guān)亮度標(biāo)準(zhǔn)。

盡管與電影媒體項(xiàng)目相關(guān)聯(lián)的亮度標(biāo)準(zhǔn)可以對(duì)應(yīng)于黑暗的電影院，但基于手勢(shì)的用戶界面可以具有代表閾值亮度的相關(guān)亮度標(biāo)準(zhǔn)，低于所述閾值亮度則無法識(shí)別手勢(shì)。

朝外照明模塊可沿朝外顯示設(shè)備210A的底部驅(qū)動(dòng)一組像素，以照亮基于手勢(shì)的用戶界面的輸入?yún)^(qū)域660和用戶250的手260。作為另一個(gè)示例，注視追蹤界面可以確定用戶250的注視650指向表桌子10之上的感興趣對(duì)象620。

然后，朝外照明模塊165可以驅(qū)動(dòng)朝外顯示設(shè)備210A的一組像素來照亮感興趣對(duì)象620。作為進(jìn)一步的示例，顯示設(shè)備210可以包括在頭顯中。

朝內(nèi)顯示設(shè)備210B可用于向用戶250顯示內(nèi)容，朝外顯示設(shè)備210A可用于向用戶250附近的人顯示信息。

頭顯同時(shí)可以包括眼動(dòng)追蹤系統(tǒng)，以追蹤用戶250的注視650和位于朝外顯示設(shè)備210A相同表面的外部攝像頭或其他傳感器220，以確定朝外顯示設(shè)備210A的環(huán)境照明條件。

朝外照明模塊165可根據(jù)來自頭顯內(nèi)眼動(dòng)追蹤系統(tǒng)的信息確定注視650指向桌子610的感興趣對(duì)象620，并驅(qū)動(dòng)朝外顯示設(shè)備210A的一組像素照亮感興趣對(duì)象620。

圖7示出了在低光條件下操作電子設(shè)備中的進(jìn)一步示例過程。流程圖從710開始，其中朝外照明模塊接收指示朝外顯示設(shè)備的環(huán)境照明條件的信息。

在710，指示環(huán)境照明條件的接收信息可任選地包括715和/720。在715，包含朝外攝像頭的光學(xué)傳感器220捕獲環(huán)境圖像，并且朝外照明模塊165可以基于從光學(xué)傳感器220捕獲的圖像確定環(huán)境照明條件。

或者，環(huán)境照明模塊170可以根據(jù)從光學(xué)傳感器220捕獲的圖像確定環(huán)境照明條件，并向朝外照明模塊165提供指示環(huán)境照明條件的信息。

在720，朝外照明模塊165接收指示環(huán)境的多個(gè)區(qū)域的環(huán)境照明條件的信息。例如，朝外照明模塊165可以接收指示環(huán)境中四個(gè)象限中的每個(gè)象限的環(huán)境照明條件的信息。

在730，朝外照明模塊確定環(huán)境照明條件是否滿足亮度標(biāo)準(zhǔn)。在包括720的實(shí)施例中，步驟730包括確定每個(gè)區(qū)域是否滿足亮度標(biāo)準(zhǔn)。例如，房間一角的一盞燈照亮了環(huán)境中四個(gè)象限中的三個(gè)。四個(gè)象限中的三個(gè)象限的環(huán)境照明條件滿足亮度標(biāo)準(zhǔn)，但第四象限不滿足。根據(jù)一個(gè)或多個(gè)區(qū)域不滿足亮度標(biāo)準(zhǔn)的確定，朝外照明模塊165可以確定與環(huán)境中感興趣區(qū)域相對(duì)應(yīng)的朝外顯示設(shè)備210中的一組像素。

確定在740的像素集可以任選地包括745和/750-755。在745，朝外照明模塊165基于不滿足亮度標(biāo)準(zhǔn)的環(huán)境的一個(gè)或多個(gè)特定區(qū)域確定感興趣的區(qū)域。例如，當(dāng)感興趣的區(qū)域不包括在特定區(qū)域中時(shí)，朝外照明模塊165可以確定感興趣的區(qū)域需要更少的額外照明并且在像素集中包括更少的像素。

在750，朝外照明模塊165確定顯示設(shè)備210的位置變化，并根據(jù)755中的位置變化確定像素集。例如，包含在傳感器145中的加速度計(jì)可以確定用戶250持有顯示設(shè)備210已從坐姿移動(dòng)到站立位置。

然后，朝外照明模塊165可以確定感興趣的區(qū)域是地面和預(yù)期用戶250將沿著的路徑。朝外照明模塊165確定與感興趣的區(qū)域相對(duì)應(yīng)的像素集，并照亮用戶250腳前的地面。

在760，朝外照明模塊165驅(qū)動(dòng)一組像素在一個(gè)特定的亮度，以提高在感興趣的區(qū)域照明。770，在顯示設(shè)備210進(jìn)一步包括向內(nèi)顯示設(shè)備的實(shí)施例中，媒體項(xiàng)可以基于像素集和確定的位置變化任選地顯示在朝內(nèi)顯示設(shè)備。

圖9顯示了確定環(huán)境照明條件的示例過程900。在910，朝外照明模塊165以顏色序列中的特定顏色驅(qū)動(dòng)朝外顯示設(shè)備210。

在920，朝外照明模塊165使諸如光學(xué)傳感器220的朝外攝像頭捕獲與在910驅(qū)動(dòng)的顏色序列中所述顏色相對(duì)應(yīng)的環(huán)境圖像。在930時(shí)，朝外照明模塊165確定顏色序列中是否有剩余的顏色。如果顏色序列中有剩余顏色，則朝外照明模塊165返回到910，并以顏色序列中的另一種顏色驅(qū)動(dòng)朝外顯示設(shè)備210。

當(dāng)捕獲到與顏色序列中的每一種顏色相對(duì)應(yīng)的圖像時(shí)，朝外照明模塊165可以根據(jù)940中的圖像集選擇確定感興趣的環(huán)境顏色。例如，朝外照明模塊165可確定所述環(huán)境中環(huán)境照明的色溫、所述環(huán)境中對(duì)象的顏色范圍等。

在950，朝外照明模塊165確定環(huán)境照明條件是否滿足亮度標(biāo)準(zhǔn)。根據(jù)環(huán)境照明條件不滿足亮度標(biāo)準(zhǔn)的確定，朝外照明模塊165可以確定對(duì)應(yīng)于感興趣區(qū)域的一組像素。然后，朝外照明模塊165以特定亮度驅(qū)動(dòng)所述像素集，以改善在感興趣區(qū)域中的照明。

審核編輯：劉清