Graphcore宣布IPU在Azure上開放

致力于開發(fā)AI工作負載加速器的英國公司Graphcore今天上午宣布了一個里程碑： 其智能處理單元（IPU）已在Azure上啟動。 這標志著微軟等大型云供應商首次公開提供對Graphcore芯片的支持。

Graphcore說，Azure上的IPU向客戶開放，優(yōu)先授權那些“專注于［自然語言處理］的邊界”和“在機器智能方面取得新突破”的用戶。

資料顯示，Graphcore（由Simon Knowles和Nigel Toon于2016年創(chuàng)立）迄今已從Robert Bosch Venture Capital，三星，Amadeus Capital Partners，C4 Ventures，Draper Esprit，F(xiàn)oundation Capital，Pitango Capital和人工智能使ARM聯(lián)合創(chuàng)始人Hermann Hauser和DeepMind聯(lián)合創(chuàng)始人Demis Hassabis處獲得了投資，公司的估值也達到15億美元。 他們的第一個商業(yè)產(chǎn)品是16納米PCI Express卡（C2），該卡將于2018年面世，而該軟件包也同樣將在Azure上發(fā)布。

“微軟與Graphcore緊密合作了兩年多。 在此期間，由杰出工程師Marc Tremblay領導的Microsoft團隊一直在開發(fā)Azure的系統(tǒng)，并一直在IPU上增強高級機器視覺和自然語言處理模型，” Toon說。 “一段時間以來，我們一直在與許多領先的搶先體驗客戶和合作伙伴進行廣泛合作，以確保［這些產(chǎn)品］可以面向公眾發(fā)布。 ”

C2具有兩個互連的Colossus IPU，每個都包含16個內(nèi)核和236億個晶體管。 單個芯片的1，216個IPU可以與每個300核內(nèi)存配對，， 可達到每個內(nèi)核100 GFLOPS（其中一個GFLOP等于每秒十億個浮點運算）的運算能力，并可以運行多達10，000個程序。 其中，每芯片的內(nèi)存帶寬為45TB / s，這就使得使C2的全卡帶寬為90TB / s 。 Graphcore聲稱，理論上的最大數(shù)據(jù)量比HBM2圖形芯片的100倍。

C2旨在與Graphcore定制的Poplar（一種用于AI和機器學習的圖形工具鏈）配合使用。 它與Google的TensoRFlow框架和Open Neural Network Exchange（可互換AI模型的生態(tài)系統(tǒng)）集成在一起。 據(jù)預計，到2019年第四季，他們將實現(xiàn)與Facebook PyTorch的初步兼容性，而全部的功能支持將在2020年初到來。

為了證明IPU的效率，Graphcore說它和Microsoft開發(fā)人員通過Google的Transformers雙向編碼器表示（BERT）語言模型實現(xiàn)了最先進的性能和準確性，該語言模型通過預先訓練句子之間的關系來學習句子之間的關系。 他們用一臺裝有八張C2卡的IPU服務器在56小時內(nèi)訓練了一個BERT變種（BERT Base），他們聲稱客戶的推理吞吐量平均提高了3倍，延遲提高了20％以上。

微軟技術研究員道格·伯格（Doug Burger）說： “自然語言處理模型對Microsoft極為重要。 在Azure上運行我們內(nèi)部的AI工作負載和同時為AI客戶服務。 ” “我們對與Graphcore處理器上的新合作將為我們的客戶帶來的巨大潛力性感到非常興奮。 Graphcore產(chǎn)品擴展了Azure的功能，我們在此所做的努力是確保Azure仍然是AI最佳云的策略的一部分。 ”

在等式的圖像識別方面，Graphcore表示，歐洲搜索引擎Qwant設法在IPU上運行Facebook的模塊化ResNext架構而獲得了收益。 正如Graphcore解釋的那樣，ResNext包含重復的塊，這些塊匯總了IPU“有效”支持的轉換集。 Qwant和Graphcore報告說，對于組卷積（即信號和圖像處理中的互相關聯(lián)），圖像搜索的性能提高了3.5倍，吞吐速度提高了77倍。

“我們現(xiàn)在非常高興能夠將Graphcore技術商業(yè)化地提供給更多的客戶，” Toon補充說。 “我們期待支持創(chuàng)新者實現(xiàn)IPU機器智能的下一個重大突破。 ”

Graphcore芯片在Azure上的發(fā)布是在Untether AI成立一周后進行的。 UntetherAI是一家多倫多創(chuàng)業(yè)公司，該公司正在開發(fā)用于AI推理工作負載的高效芯片。 他們獲得了2000萬美元的風險投資。 而總部位于加利福尼亞州的Mythic亦籌集了8，520萬美元用于開發(fā)自定義內(nèi)存結構，他們預計到2025年將達到911.8億美元的市場中。 換而言之，Graphcore不乏毗鄰的競爭對手。

總部位于舊金山的初創(chuàng)公司AI Storm今年早些時候為其AI邊緣計算芯片系列完成了1320萬美元的融資，總部位于山景城的Flex Logix于4月推出了推理協(xié)處理器，該處理器聲稱其吞吐量可達到現(xiàn)有芯片的10倍。 另一個競爭對手Xnor.ai最近推出了一款始終在線的太陽能供電設備，該設備能夠加速最新的機器學習算法。 去年11月，世界語科技公司（Esperanto Technologies）為其7納米AI芯片技術籌集了5800萬美元。

Graphcore今天還宣布，其IPU已與Dell服務器機架技術集成在一起，這意味著企業(yè)客戶將能夠在自己的場所構建機器智能計算。 更多細節(jié)將在下周在丹佛舉行的超級計算會議上宣布。