HarmonyOS應(yīng)用框架如何解決多設(shè)備交互問題？

隨著全場景多設(shè)備生活方式的不斷深入，用戶擁有的設(shè)備越來越多，除了我們每天帶在身上的手機(jī)、手腕上的智能手表、口袋里面的無線耳機(jī)、背包里面的PC和Pad、另外家里還有智能電視、智能冰箱等設(shè)備，這些年，汽車也在逐步地變成一臺(tái)跑在道路上的電子設(shè)備，如果這些設(shè)備都是彼此孤立的，那體驗(yàn)一定是很差的。

因此，要想讓萬物互聯(lián)，就需要新的交互模式，而新的交互模式在開發(fā)時(shí)，需要應(yīng)用框架加持，HarmonyOS應(yīng)用框架就解決了新時(shí)代的交互問題。接下來我們以用戶交互為起點(diǎn)，來介紹HarmonyOS應(yīng)用框架是如何解決多設(shè)備交互問題的。

一、萬物互聯(lián)時(shí)代的基本交互模型

如圖1所示，縱觀人機(jī)交互歷史，有以下幾個(gè)關(guān)鍵時(shí)間點(diǎn)：

1868年，打字機(jī)的出現(xiàn)解決了人機(jī)交互中文字輸入的問題

1964年，鼠標(biāo)的出現(xiàn)解決了人機(jī)交互中圖形界面交互的問題

2007年，多指手勢的出現(xiàn)解決了觸摸屏的交互問題

圖1 人機(jī)交互模式圖

這三個(gè)歷史時(shí)間點(diǎn)可以說是人機(jī)交互史上的分水嶺，它們提供了新的交互方式解決了新類型設(shè)備的交互問題。但是，這三種交互方式解決的都是單機(jī)交互的問題，而萬物互聯(lián)時(shí)代面臨的是多設(shè)備交互的復(fù)雜問題。

基于人機(jī)交互多年的研究分析，我們發(fā)現(xiàn)，在多設(shè)備的交互場景上，用戶使用設(shè)備的場景可以分為兩大類，一類是用戶同時(shí)使用多個(gè)設(shè)備，另一類是相繼使用多個(gè)設(shè)備（如圖2所示）。

圖2 多設(shè)備交互模型圖

1.同時(shí)使用（Simultaneous）

當(dāng)我們?cè)谕瑫r(shí)使用多個(gè)設(shè)備時(shí)，除了并發(fā)性之外，交互模型還有兩個(gè)重要的特點(diǎn)就是：協(xié)作性和互補(bǔ)性。協(xié)作性是指多個(gè)設(shè)備彼此交互協(xié)調(diào)完成一項(xiàng)任務(wù)?；パa(bǔ)性是指利用設(shè)備的本身形態(tài)差異，設(shè)備之間互相取長補(bǔ)短，完成一項(xiàng)任務(wù)。

例如，當(dāng)我們?cè)诩依镎也坏诫娨曔b控的時(shí)候，手機(jī)可以變身成遙控器，這就是一種設(shè)備能力的互補(bǔ)。

2.相繼使用（Sequential）

而當(dāng)我們相繼使用多個(gè)設(shè)備時(shí)，連續(xù)性和一致性就非常重要了。連續(xù)性是指，當(dāng)我從一個(gè)設(shè)備轉(zhuǎn)向另外一個(gè)設(shè)備的時(shí)候，我剛剛操作的狀態(tài)應(yīng)當(dāng)是繼續(xù)保留沒有被中斷的。例如：將手機(jī)上播放的視頻轉(zhuǎn)到PAD上后能夠繼續(xù)播放。而一致性是指，當(dāng)我們?cè)谑褂檬直?、手機(jī)、大屏等不同設(shè)備時(shí)，它們操作方式和基礎(chǔ)視覺元素應(yīng)當(dāng)是一致的。例如：多指手勢、控件的樣式。當(dāng)然，一致不代表一樣，每種設(shè)備由于其屏幕尺寸和形態(tài)不一樣，視覺元素還需要有針對(duì)性地進(jìn)行一些自適應(yīng)。

為了滿足上述兩種交互模型，HarmonyOS構(gòu)建的分布式應(yīng)用框架中提供了兩種基礎(chǔ)功能，分別是：多端協(xié)同與跨端遷移。

接下來我們將介紹HarmonyOS的上述兩個(gè)能力是如何解決多設(shè)備交互問題的。

二、HarmonyOS如何解決多設(shè)備交互問題？

首先我們來介紹HarmonyOS分布式應(yīng)用框架，該框架可以分為5層（如圖3所示）。

圖3 分布式應(yīng)用框架整體架構(gòu)視圖

Layer1是底層軟件，包括內(nèi)核、驅(qū)動(dòng)和還有軟總線，這一層與開發(fā)者距離相對(duì)較遠(yuǎn)。

Layer2是基礎(chǔ)能力平臺(tái)，它包含了很多分布式環(huán)境下的基礎(chǔ)服務(wù)，例如：分布式任務(wù)調(diào)度、分布式數(shù)據(jù)管理、分布式硬件管理以及分布式文件管理等。

Layer3是應(yīng)用框架的核心服務(wù)，大體可以分為兩塊：一塊是全局包管理，一塊是分布式運(yùn)行管理。與傳統(tǒng)的操作系統(tǒng)不同，HarmonyOS上的包管理，需要處理整個(gè)超級(jí)終端上所有設(shè)備的包信息，因此我們稱之為全局包管理。而對(duì)于分布式運(yùn)行管理，將在下文重點(diǎn)介紹，其中包含了協(xié)同和遷移框架。

Layer4是開發(fā)者所使用的編程接口層。盡管系統(tǒng)底層的實(shí)現(xiàn)非常復(fù)雜，但是我們?cè)诘谒膶訛殚_發(fā)者提供了簡潔的接口。

Layer5是開發(fā)應(yīng)用的用戶程序?qū)?，這一層與開發(fā)者聯(lián)系密切。

接下來我們將重點(diǎn)為大家介紹Layer3中實(shí)現(xiàn)多設(shè)備交互模型的兩個(gè)框架，分別是多端協(xié)同框架和跨端遷移框架。

1.多端協(xié)同框架

多端協(xié)同框架就是為用戶同時(shí)使用多個(gè)設(shè)備的場景而準(zhǔn)備的。例如：手機(jī)側(cè)應(yīng)用做游戲手柄，智慧屏側(cè)應(yīng)用做游戲顯示，為用戶組成一個(gè)全新的游戲體驗(yàn)；又如：平板側(cè)應(yīng)用做答題板，智慧屏側(cè)應(yīng)用做直播，為用戶組成一個(gè)全新的上網(wǎng)課體驗(yàn)。

要實(shí)現(xiàn)這樣的業(yè)務(wù)，就要借助多端協(xié)同框架（如圖4所示）。

圖4 多端協(xié)同

多端協(xié)同是一種實(shí)現(xiàn)用戶應(yīng)用程序流轉(zhuǎn)的技術(shù)方案，指多端上的不同F(xiàn)A/PA同時(shí)運(yùn)行、或者交替運(yùn)行實(shí)現(xiàn)完整的業(yè)務(wù)；或者多端上的相同F(xiàn)A/PA同時(shí)運(yùn)行實(shí)現(xiàn)完整的業(yè)務(wù)。多個(gè)設(shè)備作為一個(gè)整體為用戶提供比單設(shè)備更加高效、沉浸的體驗(yàn)。

說明：FA：Feature Ability，有UI界面， PA：Particle Ability，無UI界面。

當(dāng)我們的業(yè)務(wù)需要跨越多個(gè)設(shè)備時(shí)，有兩個(gè)基本的能力需要保證：

一是能夠建立跨設(shè)備的連接通路，并且實(shí)時(shí)感知連接狀態(tài)的變化。這一點(diǎn)通過IAbilityConnection來完成，它依賴分布式管理服務(wù)和軟總線來進(jìn)行底層連接的管理。

二是能夠在連接通道上傳遞狀態(tài)和數(shù)據(jù)，以進(jìn)行業(yè)務(wù)的協(xié)同。這一點(diǎn)可以通過HarmonyOS的IDL實(shí)現(xiàn)。這些傳遞的數(shù)據(jù)既包含了系統(tǒng)需要傳遞的數(shù)據(jù)，也包含了應(yīng)用程序進(jìn)行需要傳遞的數(shù)據(jù)。

有了這兩個(gè)能力，開發(fā)者便可以完成不同設(shè)備之間業(yè)務(wù)邏輯的協(xié)同，以及設(shè)備之間硬件能力互補(bǔ)的功能。

2.跨端遷移框架

跨端遷移是用來為用戶相繼使用多個(gè)設(shè)備而準(zhǔn)備的，它是我們常用的一個(gè)場景。例如，當(dāng)你通過手機(jī)觀看視頻時(shí)，覺得體驗(yàn)不夠好，你想切換到屏幕更大、音效更好的PAD上繼續(xù)觀看，在HarmonyOS之外的系統(tǒng)上，你只能先解鎖PAD，找到那個(gè)應(yīng)用，然后再找到播放歷史，如果運(yùn)氣好，你的播放進(jìn)度已經(jīng)被同步過去了，但很可能，由于網(wǎng)絡(luò)同步的延遲，你還得先找到剛剛觀看的位置，然后再繼續(xù)觀看。

而關(guān)注HarmonyOS系統(tǒng)的朋友們一定會(huì)知道，在今年HarmonyOS 2發(fā)布會(huì)上，我們發(fā)布了全新的服務(wù)中心。在這個(gè)服務(wù)中心當(dāng)中，你可以跨設(shè)備的管理整個(gè)超級(jí)終端上的任務(wù)列表，這使得你可以直接在手機(jī)上的任務(wù)中心，一步將任務(wù)拖動(dòng)到PAD上就可以了。

要完成這一點(diǎn)，就要借助跨端遷移框架（如圖5所示）

圖5 跨端遷移

跨端遷移是一種實(shí)現(xiàn)用戶應(yīng)用程序流轉(zhuǎn)的技術(shù)方案，是將設(shè)備1端運(yùn)行的FA遷移到設(shè)備2端上，通過IAbilityContinuation實(shí)現(xiàn)業(yè)務(wù)遷移。完成遷移后， 設(shè)備2端的FA繼續(xù)任務(wù)，而設(shè)備1端應(yīng)用退出。當(dāng)用戶將任務(wù)從一臺(tái)設(shè)備拖動(dòng)到另外一臺(tái)設(shè)備上時(shí)，應(yīng)用程序會(huì)收到來自系統(tǒng)的調(diào)用，此時(shí)應(yīng)用程序可以將自己需要保存的狀態(tài)告知系統(tǒng)，系統(tǒng)會(huì)借助于分布式任務(wù)管理將數(shù)據(jù)傳遞到目標(biāo)端，然后拆包數(shù)據(jù)并恢復(fù)應(yīng)用狀態(tài)。在這種情況下，用戶感受到的就是將任務(wù)從一個(gè)設(shè)備遷移到了另外一個(gè)設(shè)備。

遷移和協(xié)同需要開發(fā)者的支持，但這類新的特性往往并不能在短時(shí)間內(nèi)獲得完全地普及， 當(dāng)應(yīng)用沒有適配遷移框架時(shí)，系統(tǒng)要如何完成跨段遷移任務(wù)？

①跨端遷移與窗口管理

為了保證用戶體驗(yàn)的一致性，當(dāng)應(yīng)用沒有適配遷移框架的時(shí)候，系統(tǒng)會(huì)通過分布式窗口管理的能力完成跨端遷移任務(wù)。如圖6所示，當(dāng)用戶跨設(shè)備拖動(dòng)任務(wù)時(shí)，HarmonyOS系統(tǒng)會(huì)將任務(wù)窗口遷移到一個(gè)Virtual Window（虛擬窗口）上渲染，然后將渲染的結(jié)果通過軟總線傳遞到ProxyWindow（遠(yuǎn)端的代理窗口）上，由此達(dá)到跨設(shè)備顯示的效果。

圖6 分布式窗口管理圖

②分布式硬件平臺(tái)與自動(dòng)跟隨

我們知道，應(yīng)用在運(yùn)行過程中，很多時(shí)候都會(huì)利用一些硬件設(shè)備。例如：Camera、麥克風(fēng)或傳感器。而當(dāng)我們將一個(gè)應(yīng)用從一個(gè)設(shè)備遷移到另外一個(gè)設(shè)備之后，不只是把用戶界面和應(yīng)用狀態(tài)轉(zhuǎn)移過去就可以了，如果轉(zhuǎn)移之后聲音還留在原來的設(shè)備上播放，那就比較奇怪了。因此，在HarmonyOS中，這些硬件是如何管理的呢？

為了使得應(yīng)用遷移的流程更加具有一致性，我們?cè)谟布用嫦到y(tǒng)中做了兩件事情（如圖7所示）：

圖7 分布式硬件平臺(tái)與自動(dòng)跟隨

第一件事是“硬件資源池化”。即：HarmonyOS系統(tǒng)會(huì)將超級(jí)終端上所有設(shè)備的硬件進(jìn)行全局的編號(hào)和虛擬化，這使得任何一個(gè)設(shè)備上的軟件都可以使用所有超級(jí)終端設(shè)備內(nèi)的硬件。

第二件事是“自動(dòng)跟隨”。應(yīng)用程序使用的其實(shí)是一個(gè)虛擬的句柄，它并非與某個(gè)特性硬件相綁定，當(dāng)我們?cè)趯⒛硞€(gè)軟件實(shí)體從一個(gè)設(shè)備遷移到另外一個(gè)設(shè)備時(shí)，系統(tǒng)中的遷移決策模塊會(huì)自動(dòng)將硬件也一起切換到目標(biāo)設(shè)備上，使得整個(gè)用戶體驗(yàn)是一致的。

經(jīng)過上述介紹，我相信大家已經(jīng)理解HarmonyOS應(yīng)用框架是如何解決多設(shè)備交互問題的。

作為新一代的智能終端操作系統(tǒng)，HarmonyOS非常歡迎廣大開發(fā)者加入我們，成為整個(gè)鴻蒙生態(tài)的一員，讓我們一起，為全球幾十億用戶共筑全新的商業(yè)生態(tài)以及無限可能。

fqj