人工智能搭配云存儲 深度學習訓練的完美組合

從1956年夏天在達特茅斯首次提出人工智能概念以來，人工智能技術的發(fā)展已經(jīng)走過了60余載。如今，隨著數(shù)據(jù)量的爆炸性增長、計算能力的大幅提升以及深度學習算法的成熟，人工智能在第三次浪潮中迎來了“奇點”，基于圖像識別、語音識別以及自然語言處理等技術的人工智能應用開始大量興起，并且在真實的商業(yè)世界中扮演著越來越重要的角色。

然而，不可忽視的是深度學習對于算力和存儲的渴求可謂是極其迫切，尤其是隨著模型規(guī)模不斷增大，數(shù)據(jù)量的不斷增加，深度學習用于訓練的神經(jīng)網(wǎng)絡深度也不斷增加，傳統(tǒng)計算平臺的算力和存儲性能的瓶頸逐漸顯現(xiàn)。對于大部分人工智能公司而言，計算和存儲性能的不足已經(jīng)成為其人工智能之路上的重要挑戰(zhàn)。

地平線作為一家全球估值領先的人工智能芯片獨角獸，在其人工智能產(chǎn)品研發(fā)過程中也遇到了類似情況，自身數(shù)據(jù)中心的計算和存儲逐漸顯露出性能短板。不過，地平線公司與國內領先的公有云服務提供商、英特爾公司共同合作，構建基于高性能云物理主機（Elastic Physical Compute，簡稱EPC）集群的模型訓練計算平臺，并且充分發(fā)揮英特爾傲騰性能、低延遲以及穩(wěn)定性的優(yōu)勢，走出了一條云上構建高效深度學習平臺之路。

眾所周知，深度學習本質就是一種大規(guī)模的神經(jīng)網(wǎng)絡，其模型訓練通常需要規(guī)模龐大的高性能計算集群來完成，并且需要大量小文件數(shù)據(jù)樣本進行持續(xù)訓練。業(yè)界普遍認為，深度學習至少要從十萬個樣本起步。自動駕駛領域是深度學習一個重要的應用領域。在自動駕駛領域，深度學習對于數(shù)據(jù)樣本的要求則會更高，當前一輛自動駕駛汽車一天收集的樣本就是上百萬張高清圖像，并且需要不斷地對這些海量數(shù)據(jù)樣本進行持續(xù)學習。以地平線面向智能駕駛的算法為例，地平線預測未來一輛自動駕駛汽車每天在路上產(chǎn)生的數(shù)據(jù)就高達4TB。

尤其是，隨著深度學習訓練數(shù)據(jù)的不斷擴容，以及訓練過程中的高并發(fā)和高 IO 需求，地平線專家團隊意識到自身數(shù)據(jù)中心中存在的各種短板，尤其是在存儲系統(tǒng)的短板最為突出。首先，舊有存儲系統(tǒng)在低延遲數(shù)據(jù)訪問、海量小文件存取以及擴展性方面都有待提升，已無法彈性應對地平線深度學習所需的海量數(shù)據(jù)讀寫。其次，地平線由上一代固態(tài)盤、硬盤組成的存儲基礎設施，也無法提供與強大計算力相匹配的 IOPS能力，形成了明顯系統(tǒng)性能瓶頸。

在公有云上進行深度學習訓練可謂是目前人工智能應用中一個重要的趨勢。公有云擁有強大的算力，并且擁有彈性、可擴展的特點，能夠提供源源不斷的計算力，在云端通過深度學習不斷進行大規(guī)模訓練，并且不斷將訓練好的新模型部署到本地應用之中。為此，為了應對深度學習系統(tǒng)日益增長的計算力和存儲能力需求，除了自建數(shù)據(jù)中心以外，地平線也將目光投向日趨成熟的云服務。

地平線選擇了金山云EPC集群作為模型訓練計算平臺，并且借助英特爾領先產(chǎn)品和技術提供的強大計算、存儲和網(wǎng)絡性能，為這一深度學習平臺構建了基于 Ceph 的高性能分布式存儲系統(tǒng)。由英特爾傲騰固態(tài)盤DC P4800X與傳統(tǒng)機械硬盤組合構建的分層存儲能力，使得地平線深度學習平臺存儲系統(tǒng)在讀寫速度、存儲容量以及成本控制方面都獲得了可觀的收益。

金山云EPC 云服務是金山云基于裸金屬服務器理念構建的創(chuàng)新型云服務產(chǎn)品，其可為地平線提供性能卓越的獨享物理服務器，通過安全、穩(wěn)定、便捷的計算、存儲服務幫助地平線快速構建高性能的深度學習應用平臺。同時，金山云優(yōu)秀的云網(wǎng)絡架構，也能讓地平線可以在云環(huán)境中方便地配置和使用物理服務器，既享受獨享物理服務器帶來的高性能，也能方便地獲取負載均衡、彈性IP等各類網(wǎng)絡服務，并可進行便捷的網(wǎng)絡部署與管理。

除了向地平線深度學習應用提供強有力的計算力支撐，金山云 EPC另一個重要任務是為其提供高效、可擴展的存儲系統(tǒng)。為應對不斷擴展的海量訓練數(shù)據(jù)集，地平線利用金山云 EPC 提供的彈性、易擴展能力，構建了基于Ceph的高性能分布式存儲系統(tǒng)。Ceph 開源分布式存儲系統(tǒng)將文件分割后均勻隨機地分散在各個 OSD 節(jié)點上，并采用CRUSH 算法來確定文件的存儲位置。通過解析集群的拓撲結構，地平線深度學習應用可以直接計算出文件的存儲位置，直接跟OSD節(jié)點通信獲取文件，而無需通過詢問中心節(jié)點來獲取文件位置。

這一“去中心化”的設計，不僅大大地提升了數(shù)據(jù)訪問與處理性能，更有效降低了金山云 EPC 存儲集群的管理復雜性，并顯著提高了可用性及可擴展性。同時，其采用存儲節(jié)點與訪問節(jié)點分離的設計，也使得地平線深度學習應用的 IO 請求上升時，可為其單獨擴充訪問節(jié)點來提高讀寫性能，從而帶來良好的彈性擴展能力。另外，Ceph 還對固態(tài)盤，以及分級存儲有著良好支持，這也能夠有效地提升數(shù)據(jù)讀寫效率。

深度學習對于存儲的性能要求尤為苛刻。在深度學習的模型訓練中，算法通常需要隨機讀取訓練集中的訓練樣本來進行訓練，像自動駕駛這樣的深度學習典型應用場景中，通常都是對于海量小圖片進行讀取，當訓練規(guī)模不斷增大之后，對于存儲系統(tǒng)的IOPS提出了極高要求。因此，地平線在利用深度學習方法研發(fā) AI 芯片和算法過程中，對于海量數(shù)據(jù)的快速處理有著強烈的需求。

但是，傳統(tǒng)機械硬盤受制于其物理結構，其IOPS性能并不理想，在應對地平線深度學習應用所需的小文件高頻次讀寫需求時，難以勝任。如果采用全固態(tài)硬盤的方式，固然可以提高IOPS能力，但是昂貴的價格也會帶來巨大的成本壓力，并且會限制存儲系統(tǒng)容量的擴展需求。

為此，金山云 EPC存儲集群中采用分級存儲方案來實現(xiàn)性能與容量之間的平衡。非活動數(shù)據(jù)（冷數(shù)據(jù)）被存放在由12塊8TB 容量機械硬盤組成的存儲池中，而活動數(shù)據(jù)（熱數(shù)據(jù)）則被置放在由375GB版本的英特爾傲騰固態(tài)盤DC P4800X構成的緩存區(qū)中。當?shù)仄骄€深度學習應用對數(shù)據(jù)進行訪問和操作時，Ceph 分布式存儲系統(tǒng)的內部處理器將優(yōu)先讀寫緩存區(qū)中的數(shù)據(jù)，如果數(shù)據(jù)不在緩存區(qū)中，Ceph 會通過請求命中算法、緩存刷寫算法、緩存淘汰算法等方式將數(shù)據(jù)從存儲池中“提取”到緩存區(qū)中。通過這一方式，既可使熱數(shù)據(jù)被高效地訪問和操作，縮短數(shù)據(jù)的訪問時延，也能以更合理的成本承載地平線深度學習應用所需的海量數(shù)據(jù)。

英特爾的傲騰固態(tài)盤可謂是讓地平線深度學習訓練如虎添翼。傲騰固態(tài)盤是基于創(chuàng)新的英特爾3D XPoint技術，以及一系列先進系統(tǒng)控制器、接口軟硬件構建的全新存儲產(chǎn)品。根據(jù)測試數(shù)據(jù)顯示，英特爾傲騰固態(tài)盤DC P4800X 的 隨機寫IOPS 最高可達 500,000，同時讀取響應時間低于10微秒，并可承受最高2 GB/秒的隨機寫入壓力。與傳統(tǒng)NAND介質的固態(tài)盤相比，傲騰在IOPS、低延遲以及穩(wěn)定性方面有著突破性的提升，非常適合于大數(shù)據(jù)、高并發(fā)的應用場景。

此外，地平線還將傲騰固態(tài)盤來承載Ceph Journal。Journal 是Ceph 分布式存儲系統(tǒng)最重要的安全機制之一，一旦發(fā)生停電、宕機或其他意外事件時，Ceph 可利用Journal 進行系統(tǒng)重建。Ceph Journal中記錄著存儲系統(tǒng)事無巨細的數(shù)據(jù)，IO請求極為密集，采用傲騰固態(tài)盤來承載Journal，無疑讓Ceph讀寫性能獲得顯著提升。