谷歌I/O在音視頻領(lǐng)域中有哪些技術(shù)值得被關(guān)注？

時(shí)隔兩年Google I/O大會再次與大家見面。雖然去年的大會因新冠疫情被迫取消，但技術(shù)的迭代發(fā)展卻未被打斷，反而因疫情的影響促使了技術(shù)的創(chuàng)新變得愈加以人們的需求為首要考量，從而變得更具人性化也更具智能化。

“在重要的時(shí)刻提供幫助”——是此次谷歌 I/O 2021大會的主題。從充滿人情味的主題開場，并圍繞AI在視頻聊天、地圖、醫(yī)療診斷、數(shù)據(jù)安全等方面發(fā)布了一系列最新的技術(shù)進(jìn)展。而在音視頻領(lǐng)域中最值得關(guān)注的是：全息視頻聊天技術(shù)——Project Starline，谷歌AI芯片的最新版本——TPU v4，以及基于AI模型的皮膚病問診應(yīng)用程序。

Project Starline 3D視頻聊天新體驗(yàn)

Project Starline 3D視頻聊天互動 演示

該項(xiàng)技術(shù)可以說是本次大會的絕對黑科技了，使一些無法進(jìn)行線下見面的人們（如：疫情影響）能夠在同一空間中進(jìn)行實(shí)時(shí)的3D互動聊天。據(jù)悉，Project Starline利用全息影像技術(shù)打破人們身處不同空間的隔閡，并與傳統(tǒng)的視頻聊天的區(qū)別在于，讓你想見到的人就“坐”在你對面，感覺像是真的在你身邊一樣。

而為了實(shí)現(xiàn)這一技術(shù)，在硬件部分谷歌采用了65英寸的光場顯示器，并配備了定制高分辨率傳感器和數(shù)十個(gè)景深掃描傳感器，從多個(gè)角度捕捉用戶的外貌和動作，然后進(jìn)行融合，并在聯(lián)合驅(qū)動下生成流暢細(xì)致的實(shí)時(shí)3D模型。由于其所產(chǎn)生的數(shù)據(jù)每秒高達(dá)數(shù)千兆字節(jié)，因此，對于在現(xiàn)有網(wǎng)絡(luò)上發(fā)送如此之大的圖像，谷歌研發(fā)了新的壓縮和流算法，可將數(shù)據(jù)減少100倍以上。

而在軟件部分則是通過在計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)、空間音頻和數(shù)據(jù)壓縮技術(shù)等方面數(shù)年之久的開發(fā)，通過硬件與軟件的整合才得以實(shí)現(xiàn)今天的Project Starline。除此之外，突破性的光場系統(tǒng)也是支持這一技術(shù)的亮點(diǎn)，讓人們可以免去佩戴眼鏡、耳機(jī)就能體驗(yàn)到逼真的體積和深度感。

目前Project Starline僅在谷歌的幾個(gè)辦公室中被應(yīng)用，由于它依賴于定制的硬件和高度專業(yè)化的設(shè)備，還未在市場中進(jìn)行推廣。

新定制AI芯片TPU v4：性能提升10倍

在谷歌 I/O大會中還推出了谷歌最新定制的AI芯片——TPU v4。這類定制芯片對其所要處理的AI任務(wù)有著數(shù)量級的性能優(yōu)勢，如圖像識別、語音助手、視頻、視覺計(jì)算處理等。而TPU v4的動力來源于v4芯片，其速度是v3（上一個(gè)TPU版本）的兩倍以上。TPU v4：一個(gè)Pods里面有4069個(gè)v4芯片，可以提供每秒 10^18 次浮點(diǎn)運(yùn)算；并提供一個(gè)exaflop以上的容量，相當(dāng)于一千萬臺筆記本電腦的計(jì)算能力之和，性能比上一代提升了10倍。Sundar Pichai表示：“這是我們部署過的最快的系統(tǒng)，對我們來說是一個(gè)歷史性的里程碑”。而全球超算TOP 500排行榜第一名的日本富岳的最高性能也只有它的一半。

TPU v4芯片托盤

谷歌TPU之所以能夠做到效率提高是在于：它可將看似相互獨(dú)立的數(shù)百塊芯片轉(zhuǎn)為密切互聯(lián)的單個(gè)系統(tǒng)來使用。Sundar Pichai談到：“每塊芯片的互連帶寬是其他網(wǎng)絡(luò)技術(shù)的10倍”。并透露會在年底對開發(fā)者開放使用。

另外，TPU v4在提高效率的同時(shí)，其數(shù)據(jù)中心也將以90%（或接近）的無碳能源運(yùn)行。

AI“問診”：針對皮膚病的診斷新功能

本次谷歌 I/O大會的另一個(gè)亮點(diǎn)便是AI“問診”。這是一個(gè)由AI驅(qū)動的皮膚病學(xué)輔助工具的預(yù)覽，能夠幫助人們了解自身皮膚、頭發(fā)和指甲等有關(guān)的問題。并使用很多與CT掃描相同的技術(shù)來檢測一些眼部疾病或肺癌。可通過手機(jī)的攝像頭來識別皮膚病，如手臂上的皮疹。

其具體工作原理是基于Web應(yīng)用程序，通過上傳拍攝的圖片，利用AI模型來分析圖片中所出現(xiàn)的癥狀信息，從而為用戶提供與之匹配的條件列表。對于條件列表中的每個(gè)匹配條件，都源自于皮膚科醫(yī)生審核過的信息和常見問題的答案，以及來自網(wǎng)絡(luò)中的類似匹配圖像。

然而，值得注意的是該應(yīng)用程序所得出的匹配結(jié)果并不能作為診斷依據(jù)，也不能替代醫(yī)學(xué)建議，因?yàn)樵S多情況還是需要在醫(yī)院中進(jìn)行專業(yè)的檢查。因此，該應(yīng)用的意義在于希望用戶在此訪問到權(quán)威信息，為下一步做出更為明智的決定。

該款應(yīng)用工具已經(jīng)過3年的機(jī)器學(xué)習(xí)研究和產(chǎn)品開發(fā)，并發(fā)表了多篇同行評審的論文，以驗(yàn)證其AI模型。除此之外，谷歌的深度學(xué)習(xí)方法對皮膚病的評估還曾發(fā)表于《自然醫(yī)學(xué)》雜志中，并表明其AI系統(tǒng)可以達(dá)到與美國董事會認(rèn)證的皮膚科醫(yī)生相同的準(zhǔn)確性。目前，為該款應(yīng)用程序所提供的AI模型已成功通過了臨床認(rèn)證，其應(yīng)用程序在歐盟也獲得了CE標(biāo)記為I類醫(yī)療設(shè)備。

編輯：jq