Deeplearning4j框架中的庫,企業(yè)大數(shù)據(jù)應(yīng)用程序中的深度學(xué)習(xí)

Eclipse Deeplearning4J (DL4J) 是包含深度學(xué)習(xí)工具和庫的框架，專為充分利用 Java? 虛擬機 (JVM) 而編寫。它具有為 Java 和 Scala 語言編寫的分布式深度學(xué)習(xí)庫，并且內(nèi)置集成了 Apache Hadoop 和 Spark。Deeplearning4j有助于彌合使用 Python 語言的數(shù)據(jù)科學(xué)家和使用 Java 語言的企業(yè)開發(fā)人員之間的鴻溝，從而簡化了在企業(yè)大數(shù)據(jù)應(yīng)用程序中部署深度學(xué)習(xí)的過程。

DL4J 可在分布式 CPU 和圖形處理單元 (GPU) 上運行。社區(qū)版本和企業(yè)版本均已面市。

Eclipse Deeplearning4J 框架

Skymind

Skymind 是總部位于舊金山的人工智能 (AI) 初創(chuàng)企業(yè)，由 DL4J 首席開發(fā)人員 Adam Gibson 聯(lián)合他人一起創(chuàng)辦。Skymind 銷售面向 DL4J 生態(tài)系統(tǒng)的商業(yè)支持服務(wù)和培訓(xùn)服務(wù)。此外，該公司的 Skymind Intelligence Layer 平臺可填補 Python 應(yīng)用程序與企業(yè) JVM 之間的空白。

IBM? PowerAI 團隊已將 DL4J 移植到 PowerAI 上。隨后，該團隊與 Skymind 協(xié)作，將 DL4J 融入 IBM POWER8? 架構(gòu)，包括使用 NVLink 提供 NVIDIA? GPU 支持。

DL4J 是由來自舊金山和東京的一群開源貢獻者協(xié)作開發(fā)的。2014 年末，他們將其發(fā)布為 Apache 2.0 許可證下的開源框架。主要是作為一種平臺來使用，通過這種平臺來部署商用深度學(xué)習(xí)算法。創(chuàng)立于 2014 年的 Skymind 是 DL4J 的商業(yè)支持機構(gòu)。

2017 年 10 月，Skymind 加入了 Eclipse 基金會，并且將 DL4J 貢獻給開源 Java Enterprise Edition 庫生態(tài)系統(tǒng)。有了 Eclipse 基金會的支持，人們能夠更加肯定 DL4J 項目必將得到妥善監(jiān)管，同時也確保為商業(yè)開發(fā)提供合適的開源許可證。Java AI 開發(fā)人員已將 DL4J 視為成熟且安全的框架，因此，這些新建立的伙伴關(guān)系將吸引企業(yè)在商業(yè)領(lǐng)域使用 DL4J。

企業(yè)大數(shù)據(jù)應(yīng)用程序中的深度學(xué)習(xí)

數(shù)據(jù)科學(xué)家使用 Python 來開發(fā)深度學(xué)習(xí)算法。相比之下，企業(yè)大數(shù)據(jù)應(yīng)用程序傾向于使用 Java 平臺。因此，為填補缺口并在大數(shù)據(jù)應(yīng)用程序中部署深度學(xué)習(xí)，DL4J 的開發(fā)人員必須對若干解決方案進行創(chuàng)新。

Keras應(yīng)用程序編程接口 (API) 規(guī)范的采用，有助于從其他框架（例如，TensorFlow、Caffe、Microsoft? Cognitive Toolkit (CNTK) 和 Theano）導(dǎo)入深度學(xué)習(xí)模型。Keras API 可通過 JVM 語言（例如，Java、Scala、Clojure 乃至 Kotlin）來訪問，從而使深度學(xué)習(xí)模型可供 Java 開發(fā)人員使用。

不熟悉 Keras？閱讀教程：“Keras 入門”

在 JVM 上運行深度學(xué)習(xí)高性能計算負載時，將面臨著諸多挑戰(zhàn)。內(nèi)存管理和垃圾回收等 Java 功能可能會影響性能，使用較大內(nèi)存時尤為如此。DL4J 繞過了其中部分限制。

Deeplearning4j 框架中的庫

Deeplearing4j既指的是框架軟件分發(fā)版，又指的是框架中的特定庫。DL4J 框架包含以下庫：

DL4J 庫

ND4J 庫

Datavec 庫

Libnd4j 庫

RL4J 庫

Jumpy 庫

Arbiter 庫

Deeplearning4j 庫

Deeplearning4j 庫實際上是神經(jīng)網(wǎng)絡(luò)平臺。它包含各種工具，用于配置神經(jīng)網(wǎng)絡(luò)和構(gòu)建計算圖形。開發(fā)人員使用此庫來構(gòu)建由數(shù)據(jù)管道和 Spark 集成的神經(jīng)網(wǎng)絡(luò)模型。

除核心庫外，DL4J 庫還包含許多其他庫，用于實現(xiàn)特定功能：

deeplearning4j-core。deeplearning4j-core 庫包含了運行 DL4J 所需的全部功能，例如，用戶界面 (UI)。它還具有構(gòu)建神經(jīng)網(wǎng)絡(luò)所需的各種工具和實用程序。

deeplearning4j-cuda。deeplearning4j-cuda 庫支持 DL4J 在使用 NVIDIA CUDA? 深度神經(jīng)網(wǎng)絡(luò)庫 (CuDNN) 的 GPU 上運行。此庫支持標(biāo)準(zhǔn)化以及卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)。

deeplearning4j-graph。deeplearning4j-graph 庫執(zhí)行圖形處理來構(gòu)建 DeepWalk 中所使用的圖形矢量化模型，DeepWalk 是一個無監(jiān)督學(xué)習(xí)算法，用于學(xué)習(xí)圖形中每個頂點的矢量表示法。您可以使用這些學(xué)到的矢量表示法對圖形中的相似數(shù)據(jù)進行分類、分群或搜索。

deeplearning4j-modelimport。deeplearning4j-modelimport 庫從 Keras 導(dǎo)入模型，Keras 又可從 Theano、TensorFlow、Caffe 和 CNTK 導(dǎo)入模型。這是關(guān)鍵的 DL4J 庫，支持將模型從其他框架導(dǎo)入 DL4J。

deeplearning4j-nlp-parent。deeplearning4j-nlp-parent 庫支持將 DL4J 與外部自然語言處理 (NLP) 插件和工具相集成。此接口遵循非結(jié)構(gòu)化信息管理架構(gòu) (UIMA)，后者最初是由 IBM 開發(fā)的用于內(nèi)容分析的開放標(biāo)準(zhǔn)。此庫還包含適用于英語、中文、日語和韓語的文本分析。

deeplearning4j-nlp。deeplearning4j-nlp 庫是 NLP 工具（如 Word2Vec 和 Doc2Vec）的集合。Word2Vec 是一個用于處理文本的雙層神經(jīng)網(wǎng)絡(luò)。Word2Vec 對于在“矢量空間”中對相似詞語矢量進行分組十分有用。Doc2Vec 是 Word2Vec 的一個擴展，用于學(xué)習(xí)將標(biāo)簽與詞語相關(guān)聯(lián)，而不是將不同詞語關(guān)聯(lián)起來。

deeplearning4j-nn。deeplearning4j-nn 庫是核心庫的精簡版本，減少了依賴關(guān)系。它使用構(gòu)建器模式來設(shè)置超參數(shù)，同時配置多層網(wǎng)絡(luò)，支持使用設(shè)計模式在 Java 中構(gòu)造神經(jīng)網(wǎng)絡(luò)。

deeplearning4j-scaleout。deeplearning4j-scaleout 庫是各種庫的集合，適用于配備 Amazon Web Services 服務(wù)器以及封裝 Spark 并行代碼，以便在多達 96 核的常規(guī)服務(wù)器（而不是 Spark）上運行。此庫還有助于在 Spark 以及包含 Kafka 和其他視頻分析流選項的 Spark 上配置 NLP。

deeplearning4j-ui-parent。deeplearning4j-ui-parent 庫實際上是 DL4J UI，包含神經(jīng)網(wǎng)絡(luò)訓(xùn)練啟發(fā)式方法和可視化工具。

ND4J 庫

N-Dimensional Arrays for Java (ND4J) 是科學(xué)計算C++庫，類似于 Python 的 NumPy。它支持 JVM 上運行的多種語言，例如，Java、Scala、Clojure 和 Kotlin。您可以使用 ND4J 來執(zhí)行線性代數(shù)或操作矩陣。ND4J 可與 Hadoop 或 Spark 進行集成并由此實現(xiàn)擴展，同時可在分布式 CPU 和 GPU 上運行。

Java AI 開發(fā)人員可以使用 ND4J 在 Java 中定義N維數(shù)組，這使其能夠在 JVM 上執(zhí)行張量運算。ND4J 使用 JVM 外部的“堆外”內(nèi)存來存儲張量。JVM 僅保存指向此外部內(nèi)存的指針，Java 程序通過 Java 本機接口 (JNI) 將這些指針傳遞至 ND4JC++后端代碼。此結(jié)構(gòu)配合來自本機代碼（例如，基本線性代數(shù)子程序 (BLAS) 和 CUDA 庫）的張量使用時，可提供更佳的性能。ND4J 與 Spark 集成，并且可使用不同后端在 CPU 或 GPU 上運行。Scala API ND4S 有助于實現(xiàn)這種集成。在稍后部分中討論 DL4J 如何使用硬件加速時，將再次探討 ND4J 架構(gòu)。

Datavec 庫

DataVec 庫的主要功能是將數(shù)據(jù)格式化為張量。通過這種預(yù)處理，神經(jīng)網(wǎng)絡(luò)能夠訪問和使用數(shù)據(jù)。DataVec 執(zhí)行抽取、轉(zhuǎn)換和加載 (ETL) 操作，同時還支持通過一系列數(shù)據(jù)轉(zhuǎn)換連接到各種數(shù)據(jù)源和輸出張量。DL4J 支持眾多數(shù)據(jù)類型，包括圖像、逗號分隔值 (CSV)、屬性關(guān)聯(lián)文件格式 (ARFF) 和純文本。DL4J 還支持 Apache Camel 集成。

libnd4j 庫

Libnd4j 是一個純C++庫，支持 ND4J 訪問屬于 BLAS 和 Intel Math Kernel Library 的線性代數(shù)函數(shù)。它與 JavaCPP 開源庫緊密結(jié)合運行。JavaCPP 不屬于 DL4J 框架項目，但支持此代碼的開發(fā)人員是相同的。

Jumpy 庫

Jumpy 是一個 Python 庫，支持 NumPy 無需移動數(shù)據(jù)即可使用 ND4J 庫。此庫實現(xiàn)了針對 NumPy 和Pyjnius的包裝器。MLlib 或 PySpark 開發(fā)人員可以使用 Jumpy，以便在 JVM 上使用 NumPy 數(shù)組。

Arbiter 庫

DL4J 使用此工具來自動調(diào)優(yōu)神經(jīng)網(wǎng)絡(luò)。可使用諸如網(wǎng)格搜索、隨機搜索和貝葉斯方法之類的各種方法來優(yōu)化具有許多超參數(shù)的復(fù)雜模型，從而提高性能。

Deeplearning4J 的優(yōu)勢

DL4J 具有眾多優(yōu)勢。讓我們來了解一下其中的三大優(yōu)勢。

Python 可與 Java、Scala、Clojure 和 Kotlin 實現(xiàn)互操作性。

Python 為數(shù)據(jù)科學(xué)家所廣泛采用，而大數(shù)據(jù)編程人員則在 Hadoop 和 Spark 上使用 Java 或 Scala 來開展工作。DL4J 填補了之間的鴻溝，開發(fā)人員因而能夠在 Python 與 JVM 語言（例如，Java、Scala、Clojure 和 Kotlin）之間遷移。

通過使用Keras API，DL4J 支持從其他框架（例如，TensorFlow、Caffe、Theano 和 CNTK）遷移深度學(xué)習(xí)模型。甚至有人建議將 DL4J 作為 Keras 官方貢獻的后端之一。

分布式處理

DL4J 可在最新分布式計算平臺（例如，Hadoop 和 Spark）上運行，并且可使用分布式 CPU 或 GPU 實現(xiàn)加速。通過使用多個 GPU，DL4J 可以實現(xiàn)與 Caffe 相媲美的性能。DL4J 也可以在許多云計算平臺（包括 IBM Cloud）上運行。

并行處理

DL4J 包含單線程選項和分布式多線程選項。這種減少迭代次數(shù)的方法可在集群中并行訓(xùn)練多個神經(jīng)網(wǎng)絡(luò)。因此，DL4J 非常適合使用微服務(wù)架構(gòu)來設(shè)計應(yīng)用程序。

Eclipse DL4J 應(yīng)用程序

DL4J 具有各種應(yīng)用程序，從圖形處理到 NLP，皆涵蓋在內(nèi)。借助內(nèi)置數(shù)據(jù)預(yù)處理和矢量化工具，DL4J 能夠異常靈活地處理許多不同的數(shù)據(jù)格式。Keras API 還使其更便于使用來自其他框架的預(yù)先訓(xùn)練模型。

典型的 DL4J 應(yīng)用程序包括：

安全性應(yīng)用程序，例如欺詐檢測和網(wǎng)絡(luò)入侵檢測

在客戶關(guān)系管理、廣告推送和客戶忠誠度及維系方面使用的推薦系統(tǒng)

面向物聯(lián)網(wǎng)和其他流數(shù)據(jù)的回歸和預(yù)測分析

傳統(tǒng)面部識別和圖像識別應(yīng)用程序

語音搜索和語音轉(zhuǎn)錄應(yīng)用程序

針對硬件或工業(yè)應(yīng)用程序的預(yù)防性診斷和異常檢測

支持 DL4J 的平臺

理論上，任何支持 JVM 且運行 Java V1.7 或更高版本的 64 位平臺均可支持 DL4J。DL4J 使用 ND4J 來訪問受支持的 GPU。ND4J 則依賴于其他軟件，例如 CUDA 和 CuDNN。

實際上，商用 DL4J 需要生產(chǎn)級 Java 平臺。IBM Open Platform for Apache Hadoop and Apache Spark 已在 PowerAI 上完成了 DL4J 框架認(rèn)證。Cloudera 也已在其 Enterprise Data Hub CDH5 上完成了 DL4J 認(rèn)證，Hortonworks 同樣也在其 Data Platform\HDP2.4 上完成了認(rèn)證。

有關(guān)安裝 ND4J 和其他必備軟件的更多信息，請查看ND4J 入門文檔。

從源代碼構(gòu)建 DL4J

在其他框架中，使用預(yù)先構(gòu)建的二進制文件來安裝框架有時更為方便。但對于 DL4J，最好是從源代碼構(gòu)建和安裝 DL4J，以便確保正確處理多種依賴關(guān)系。安裝為多步驟的復(fù)雜過程，適合生產(chǎn)級安裝。Apache Maven V3.3.9 或更高版本可對構(gòu)建和依賴關(guān)系進行管理。對于集成開發(fā)環(huán)境，可以使用 IntelliJ IDEA 或 Eclipse。

專家建議使用“uber-jar”方法來構(gòu)建 DL4J 應(yīng)用程序。此方法支持使用 .rpm 或 .deb 包在“uber-jar”內(nèi)部分發(fā)依賴關(guān)系，并將部署與開發(fā)隔離開來。

有關(guān)使用 DL4J 構(gòu)建應(yīng)用程序的更多信息，請閱讀快速入門指南。

Power 架構(gòu)上的 DL4J

DL4J 團隊官方在 DL4J 存儲庫中為 IBM Power? 維護 DL4J。Maven 負責(zé)管理構(gòu)建和安裝過程。ND4J 具有兩個用于 Power 架構(gòu)的本機平臺后端：第一個在 POWER8 CPU 上運行，第二個則使用 NVLink 互連在 NVIDIA GPU 上運行。

ND4J CPU 后端nd4j-native-platform運行 OpenBLAS 庫的優(yōu)化版本。為實現(xiàn)加速，ND4J CPU 后端在 POWER8 處理器上使用矢量/標(biāo)量浮點單元。

ND4J GPU 后端nd4j-cuda-8.0-platform可在使用 NVLink 接口與 POWER8 處理器互連的 NVIDIA GPU 上運行 CUDA 或 cuDNN。

有關(guān)在 Power 架構(gòu)上安裝 DL4J 的更多信息，請訪問https://deeplearning4j.org/power。

注：在 POWER8 平臺上，首選的 Java 級別為 V8。為 POWER8 而調(diào)優(yōu)的唯一 Java 7 發(fā)行版為 Java 7.1 SR1 或更高版本。

DL4J 如何使用硬件加速？

DL4J 分別依靠 ND4J 和 ND4S 這兩種特定于平臺的后端來使用硬件加速。ND4J 和 ND4S Java 與 Scala API 用于封裝 BLAS 庫，例如，Jblas、Netlib-blas 和 Jcublas。

ND4J 具有兩種級別的運算。高級運算包括卷積、快速傅立葉變換、各種損失函數(shù)、變換（例如，sigmoid 變換或 tanh 變換）和約簡。通過 ND4J API 調(diào)用時，BLAS 會實施低級運算。BLAS 運算包括矢量加法、標(biāo)量乘法、點乘、線性組合和矩陣乘法。

ND4J 在特定于平臺架構(gòu)的后端上運行。CPU 后端帶有nd4j-native前綴，GPU 后端帶有nd4j-cuda-前綴，其中 CUDA 版本可能是 7.5 或 8.0 等。無論使用何種后端，ND4J API 都保持不變。

最后，ND4J 實現(xiàn)特定于 BLAS 的數(shù)據(jù)緩沖區(qū)，用于存儲 BLAS 處理的數(shù)組和原始數(shù)據(jù)字節(jié)。根據(jù)后端，此存儲抽象層具有不同的實現(xiàn)。JVM 與后端之間通過 JNI 進行通信。

結(jié)束語

Deeplearning4j 是深度學(xué)習(xí)工具和庫框架，專為充分利用 Java 虛擬機而編寫。DL4J 框架旨在用于在生產(chǎn)級服務(wù)器上部署商用深度學(xué)習(xí)算法。它具有為 Java 和 Scala 而編寫的分布式深度學(xué)習(xí)庫，并且內(nèi)置了與 Hadoop 和 Spark 的集成。DL4J 可在分布式 CPU 和 GPU 上運行，提供了社區(qū)版本和企業(yè)版本。Skymind 作為其商業(yè)支持機構(gòu)，為企業(yè)版本提供專業(yè)的服務(wù)和支持。