基于5個(gè)問(wèn)題闡述GPU在增強(qiáng)AI和機(jī)器學(xué)習(xí)技術(shù)中的作用

基于5個(gè)問(wèn)題闡述GPU在增強(qiáng)AI和機(jī)器學(xué)習(xí)技術(shù)中的作用。

在21世紀(jì)初期，研究人員意識(shí)到，由于機(jī)器學(xué)習(xí)算法通常具有與圖形處理算法相同類(lèi)型的計(jì)算，因此GPU可以為機(jī)器學(xué)習(xí)提供基于CPU計(jì)算的更有效的替代方案。盡管近年來(lái)基于CPU的可用性和成本限制，但基于GPU的計(jì)算已經(jīng)成為機(jī)器學(xué)習(xí)或神經(jīng)網(wǎng)絡(luò)訓(xùn)練的事實(shí)標(biāo)準(zhǔn)?；?個(gè)問(wèn)題闡述GPU 在增強(qiáng) AI 和機(jī)器學(xué)習(xí)技術(shù)中的作用。

GPU是什么?

顧名思義，專(zhuān)業(yè)的圖形處理單元(GPU)最初是在幾十年前設(shè)計(jì)的，用于高效的執(zhí)行圖像和視頻處理等常見(jiàn)的操作。這些過(guò)程以基于矩陣的數(shù)學(xué)計(jì)算為特色。人們通常更熟悉中央處理器(CPU)，它存在于筆記本電腦、手機(jī)和智能設(shè)備中，可以執(zhí)行許多不同類(lèi)型的操作。

在21世紀(jì)初期，研究人員意識(shí)到，由于機(jī)器學(xué)習(xí)算法通常具有與圖形處理算法相同類(lèi)型的計(jì)算，因此GPU可以為機(jī)器學(xué)習(xí)提供基于CPU計(jì)算的更有效的替代方案。盡管近年來(lái)基于CPU的可用性和成本限制，但基于GPU的計(jì)算已經(jīng)成為機(jī)器學(xué)習(xí)或神經(jīng)網(wǎng)絡(luò)訓(xùn)練的事實(shí)標(biāo)準(zhǔn)。

使用GPU的好處是什么?

使用GPU最關(guān)鍵的好處就是效率高。GPU提供的計(jì)算效率不僅僅是簡(jiǎn)化了分析過(guò)程，它還促進(jìn)了更廣泛的模型訓(xùn)練以獲得更高的準(zhǔn)確性，擴(kuò)大了模型搜索過(guò)程的范圍以防止替代規(guī)范，使以前無(wú)法實(shí)現(xiàn)的某些模型變得可行，并允許對(duì)替代數(shù)據(jù)集增加額外的敏感性以確保其穩(wěn)健性。

GPU如何支持專(zhuān)家證詞?

基于人工智能的系統(tǒng)用數(shù)據(jù)驅(qū)動(dòng)的決策取代了人類(lèi)決策。這可以使得在處理大量復(fù)雜信息時(shí)減少主觀(guān)性和錯(cuò)誤。我們利用人工智能和機(jī)器學(xué)習(xí)來(lái)推動(dòng)越來(lái)越復(fù)雜的任務(wù)的自動(dòng)化，并解鎖新的分析方法，包括使用監(jiān)督和非監(jiān)督學(xué)習(xí)，這些技術(shù)都由我們內(nèi)部的GPU支持。

數(shù)據(jù)科學(xué)中心如何利用GPU進(jìn)行計(jì)算?

我們?cè)诎咐芷诘乃须A段（從發(fā)現(xiàn)到經(jīng)濟(jì)分析）以及從標(biāo)準(zhǔn)表格數(shù)據(jù)到文本和圖像的所有類(lèi)型的數(shù)據(jù)都使用GPU。其中一些應(yīng)用程序依賴(lài)于GPU計(jì)算已經(jīng)被廣泛使用的應(yīng)用程序，如神經(jīng)網(wǎng)絡(luò)，而另一些應(yīng)用程序則依賴(lài)于更定制的分析框架。下面是一些例子。

矩陣運(yùn)算

GPU使我們能夠快速地執(zhí)行自定義矩陣運(yùn)算。例如，在反壟斷問(wèn)題中，我們經(jīng)常需要計(jì)算所有供應(yīng)商和所有消費(fèi)者之間的距離(坐標(biāo)對(duì))。將計(jì)算從CPU遷移到GPU使我們能夠每秒計(jì)算近1億個(gè)坐標(biāo)對(duì)之間的距離。

深層神經(jīng)網(wǎng)絡(luò)

圍繞基于GPU計(jì)算的許多關(guān)注的重點(diǎn)都集中在神經(jīng)網(wǎng)絡(luò)上。雖然能夠處理常規(guī)的分類(lèi)和回歸問(wèn)題，但附加的特定于任務(wù)的神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)為文本、圖像和聲音的特定分析提供了一個(gè)框架?？紤]到這些模型的復(fù)雜性和生成可靠結(jié)果所需的數(shù)據(jù)量，如果沒(méi)有GPU計(jì)算資源，它們的使用實(shí)際上是無(wú)法實(shí)現(xiàn)的。當(dāng)在GPU上訓(xùn)練一個(gè)流行的多類(lèi)圖像模型時(shí)，與在單個(gè)CPU上運(yùn)行相同的進(jìn)程相比，我們體驗(yàn)到了25，000%的速度提高。我們?cè)卺槍?duì)消費(fèi)者欺詐問(wèn)題的內(nèi)容分析中利用了這種效率，我們?cè)O(shè)計(jì)文本和圖像分類(lèi)器來(lái)表征有問(wèn)題的營(yíng)銷(xiāo)材料的目標(biāo)受眾。

增強(qiáng)樹(shù)

隨著GPU計(jì)算變得越來(lái)越普遍，流行的機(jī)器學(xué)習(xí)軟件包越來(lái)越多地在其產(chǎn)品中包含基于GPU的計(jì)算選項(xiàng)。我們經(jīng)常在回歸和分類(lèi)問(wèn)題中使用增強(qiáng)樹(shù)。這些模型依次將多個(gè)簡(jiǎn)單的決策樹(shù)聚合為一個(gè)更大、更準(zhǔn)確的學(xué)習(xí)器。與可能具有數(shù)億個(gè)參數(shù)的深度神經(jīng)網(wǎng)絡(luò)相比，這些模型更小，因此需要更少的數(shù)據(jù)和訓(xùn)練時(shí)間來(lái)產(chǎn)生可概括的推理。這些優(yōu)勢(shì)使得它們?cè)谖覀兘?jīng)常遇到的許多類(lèi)型的分析中比深度神經(jīng)網(wǎng)絡(luò)更有用。切換到基于GPU的訓(xùn)練過(guò)程使我們能夠?yàn)檫@些任務(wù)訓(xùn)練模型，其速度比相應(yīng)的 CPU 規(guī)范快近 100 倍。

語(yǔ)言模型

語(yǔ)言模型通?；谝环N或多種深度學(xué)習(xí)技術(shù)，可以對(duì)文本進(jìn)行分類(lèi)、解析和生成。我們使用大型語(yǔ)言模型來(lái)提取特定的信息片段，解析實(shí)體之間的關(guān)系，識(shí)別語(yǔ)義關(guān)系，并在文本分類(lèi)問(wèn)題中補(bǔ)充傳統(tǒng)的基于術(shù)語(yǔ)的特征，例如在誹謗事件中量化圍繞公共實(shí)體的社交媒體情緒。

不出所料，考慮到這些模型可以做的所有事情，利用CPU通過(guò)這些模型處理文檔會(huì)給分析過(guò)程帶來(lái)顯著的延遲。僅僅使用一個(gè)GPU，我們就可以將文檔分割成獨(dú)立的組件，并且每秒可以完全處理幾百個(gè)句子。

未來(lái)我們可以期待這個(gè)領(lǐng)域的哪些發(fā)展？

GPU和與其相關(guān)的軟件將繼續(xù)發(fā)展。新的硬件可能具有更多的內(nèi)核、更快的內(nèi)核和更多的內(nèi)存，以適應(yīng)更大的模型和數(shù)據(jù)批。新的軟件可能會(huì)使跨多個(gè)GPU，共享模型和數(shù)據(jù)變得更加容易。

其他發(fā)展可能涉及完全不同的設(shè)備。為了解決GPU計(jì)算中仍然存在的一些效率低下的問(wèn)題，機(jī)器學(xué)習(xí)從業(yè)者越來(lái)越多地轉(zhuǎn)向應(yīng)用特定的集成電路(ASIC)和現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)。例如，谷歌的張量處理單元(TPU)是一個(gè)專(zhuān)門(mén)為其機(jī)器學(xué)習(xí)TensorFlow軟件包執(zhí)行計(jì)算而設(shè)計(jì)的ASIC。FPGA提供了更大的靈活性，通常用于在需要低延遲、高帶寬和最低能耗的生產(chǎn)環(huán)境中部署機(jī)器學(xué)習(xí)模型。

審核編輯 ：李倩