衡量移動(dòng)設(shè)備中的AI性能

如今，人工智能已成為普遍的流行語(yǔ)，但大多數(shù)消費(fèi)者可能不知道它如何與日常生活息息相關(guān)。分析人員和技術(shù)新聞界中的某些人可能還會(huì)嘲笑該術(shù)語(yǔ)用于某些幾乎不像真正的人工智能的技術(shù)的頻率。也就是說(shuō)，除了強(qiáng)大的數(shù)據(jù)中心外，還有一些平臺(tái)對(duì)于AI處理和驅(qū)動(dòng)它們的NN（神經(jīng)網(wǎng)絡(luò)）來(lái)說(shuō)是很自然的。其中之一是AI推理（使用AI推理信息，而不是訓(xùn)練NN）在邊緣和口袋中，使用智能手機(jī)。

就像您想象的那樣，從Android到Apple的智能手機(jī)平臺(tái)差別很大，但是語(yǔ)音-文本翻譯和推薦器引擎（例如Google Assistant和Siri）等常見(jiàn)工作負(fù)載大量使用了常見(jiàn)的AI NN模型，在設(shè)備上執(zhí)行此操作可提高速度和延遲。

衡量移動(dòng)設(shè)備中的AI性能

隨著任何新設(shè)備的推出以及熱門新應(yīng)用的出現(xiàn)，精通技術(shù)的消費(fèi)者和技術(shù)媒體成員希望能夠衡量和收集各種移動(dòng)生態(tài)系統(tǒng)中設(shè)備的相對(duì)性能。此外，目前智能手機(jī)測(cè)試和評(píng)論中的AI處理性能正在發(fā)展，因此，在主要的應(yīng)用商店中當(dāng)然會(huì)出現(xiàn)多種工具，這些工具聲稱能夠測(cè)量電話和其他移動(dòng)設(shè)備的AI性能。而且-您猜對(duì)了-這些應(yīng)用程序的創(chuàng)建肯定不盡相同。

為了解決這個(gè)問(wèn)題，Marco和我深入研究了HotHardware，分析了三種主流AI基準(zhǔn)測(cè)試中各種旗艦Android手機(jī)的性能，這些基準(zhǔn)在某些情況下會(huì)產(chǎn)生截然不同的結(jié)果。

關(guān)鍵是要更好地了解實(shí)際測(cè)試的特定基準(zhǔn)度量標(biāo)準(zhǔn)。測(cè)試是否代表盡可能接近實(shí)際的工作負(fù)載？理想的基準(zhǔn)測(cè)試使用的是消費(fèi)者可能會(huì)使用的實(shí)際應(yīng)用程序，但短短的基準(zhǔn)測(cè)試可以使用流行應(yīng)用程序的相同核心軟件組件來(lái)代表實(shí)際的性能期望。在這種情況下，這意味著我們需要了解這些基準(zhǔn)測(cè)試工具要針對(duì)哪些NN進(jìn)行測(cè)試，以及要使用哪些數(shù)學(xué)精度和AI算法來(lái)處理這些工作量。

什么是AI基準(zhǔn)測(cè)試的正確標(biāo)準(zhǔn)？

使移動(dòng)設(shè)備具有良好的AI基準(zhǔn)的原因是一個(gè)相對(duì)較深的細(xì)微差別，但總之是幾乎所有的移動(dòng)NPU（神經(jīng)處理單元或?qū)Ｓ肁I引擎）都采用INT8或量化數(shù)學(xué)精度或FP16浮點(diǎn)精度，例如利用ResNet-34或Google的DeepLab-v3等流行的NN在應(yīng)用中進(jìn)行圖像分類和分割。那是貓還是狗？該相機(jī)拍攝應(yīng)采用哪種顏色平衡？這些問(wèn)題是AI試圖從電話環(huán)境中推斷出答案的問(wèn)題，至少在成像工作負(fù)載示例中，盡管還有很多其他問(wèn)題。

當(dāng)前，INT8精度被認(rèn)為足以滿足大多數(shù)消費(fèi)類移動(dòng)應(yīng)用的需求，并且壓縮技術(shù)和高級(jí)量化技術(shù)的進(jìn)步繼續(xù)提高了移動(dòng)設(shè)備上的INT8精度，同時(shí)仍然獲得了與FP16相比更低的功耗。FP16提供更好的精度，但在關(guān)鍵的智能手機(jī)功耗預(yù)算上成本更高。

結(jié)果，大多數(shù)支持AI的移動(dòng)應(yīng)用都采用INT8來(lái)提高電源效率。但是，并非所有可用的基準(zhǔn)測(cè)試都以相同的方式權(quán)衡了移動(dòng)平臺(tái)的性能。一些應(yīng)用程序強(qiáng)調(diào)FP16的精度，即使實(shí)際上它的使用頻率不如INT8那樣高。此外，高通公司和其他公司的AI平臺(tái)SDK（軟件開(kāi)發(fā)套件）針對(duì)INT 8進(jìn)行了高度優(yōu)化。因此，問(wèn)題來(lái)了，就這些手機(jī)的真實(shí)AI性能而言，其中一些基準(zhǔn)測(cè)試應(yīng)用程序的各種測(cè)試結(jié)果到底意味著什么？和其他移動(dòng)設(shè)備？從HotHardware收集的分?jǐn)?shù)中可以看出，高通和華為在一些領(lǐng)先的移動(dòng)硅平臺(tái)上的排名大相徑庭。顯而易見(jiàn)，高通公司Snapdragon 865設(shè)備在INT8 NPU處理吞吐量方面以及在移動(dòng)應(yīng)用中可能更接近于當(dāng)前的實(shí)際AI性能方面似乎占據(jù)了領(lǐng)先地位。還值得指出的是，高通的Snapdragon移動(dòng)平臺(tái)目前還為美國(guó)絕大多數(shù)Android手機(jī)提供支持，因此該公司對(duì)生態(tài)系統(tǒng)的影響深遠(yuǎn)。

分析師從移動(dòng)AI的早期發(fā)展中汲取靈感

邊緣的人工智能和機(jī)器學(xué)習(xí)是一個(gè)瞬息萬(wàn)變的領(lǐng)域，它提供的功能越來(lái)越強(qiáng)大且前景廣闊，將在許多方面豐富我們的日常生活。結(jié)果，基準(zhǔn)指標(biāo)和用于衡量它們的應(yīng)用程序也將必須隨著時(shí)間的推移而發(fā)展和變化。此外，與傳統(tǒng)的PC基準(zhǔn)一樣，新聞，技術(shù)愛(ài)好者和精明的消費(fèi)者將在未來(lái)幾天內(nèi)更加關(guān)注AI基準(zhǔn)，因?yàn)锳I成為移動(dòng)體驗(yàn)和可用平臺(tái)解決方案中更為重要的組成部分市場(chǎng)。

因此，這些基準(zhǔn)應(yīng)用程序開(kāi)發(fā)人員和媒體將有責(zé)任對(duì)構(gòu)成優(yōu)質(zhì)移動(dòng)AI基準(zhǔn)的精要點(diǎn)以及對(duì)您自己的個(gè)人口袋AI助手的性能進(jìn)行更真實(shí)的衡量?，F(xiàn)在，如果基準(zhǔn)測(cè)試沒(méi)有采用常用的NN并切實(shí)代表INT8精度的重要性，您就不得不質(zhì)疑該測(cè)試對(duì)普通消費(fèi)者的價(jià)值。但是，這里沒(méi)有絕對(duì)值。當(dāng)前的格局正在以這種方式形成，但AI技術(shù)又以瘋狂的步伐發(fā)展，整個(gè)行業(yè)的其余部分將需要跟上發(fā)展。