超高算力在人工智能領域如何應用？技術專家?guī)銓崙?zhàn)解讀

本文對整場分享進行了要點總結及PPT整理，以幫助大家提前清晰地了解本場分享重點。

1.ZILLIZ如何重新定義數(shù)據(jù)科學？

2.數(shù)據(jù)時代的今天與未來

3.傳統(tǒng)架構和異構計算有什么區(qū)別？

4. ZILLIZ對新一代數(shù)據(jù)科學提出了什么樣的解決方案？

5. ZILLIZ人才觀分享與人才招聘

以下為ZILLIZ解決方案副總裁魏一的部分分享內容，【AI研習社】在不改變原意的基礎上做了整理和精編：

大家好，我是ZILLIZ的魏一，從事數(shù)據(jù)科學領域已有十余年，今天和大家分享ZILLIZ在數(shù)據(jù)科學領域如何將GPU的算力應用在人工智能領域。

首先簡單介紹一下ZILLIZ，公司成立于2016年，專注于異構計算的數(shù)據(jù)科學領域。公司的使命是Reinvent Data Science，即通過使用異構加速這種新的計算模式，解決數(shù)據(jù)科學領域的難點和痛點。

關于重新定義數(shù)據(jù)科學，魏一表示：

重新定義數(shù)據(jù)科學其實是往兩個方向在努力，一個是數(shù)據(jù)化，傳統(tǒng)來說即結構化的數(shù)據(jù)處理，不過近幾年隨著神經網絡、人工智能算法地使用，可以對以前很難分析的非結構化數(shù)據(jù)進行分析，比如圖形圖像的處理、人臉識別、音頻、視頻、文本等。還有一個是數(shù)據(jù)如何呈現(xiàn)真實的世界，如何做到通過使用數(shù)據(jù)更好地加快決策的過程？在這方面我們有針對邊緣數(shù)據(jù)、快數(shù)據(jù)、時空數(shù)據(jù)的可視化分析引擎。

隨著時代的發(fā)展，全球數(shù)據(jù)規(guī)模呈現(xiàn)指數(shù)級增長，伴隨5G的到來，還會有更大更密的數(shù)據(jù)連接，在算力層面，GPU架構會超過CPU。

接下來是ZILLIZ對新一代數(shù)據(jù)科學提出的解決方案，我們的兩個產品分別是MegaWise和Milvus，這兩個產品分別是對應前面講到的兩部分——數(shù)據(jù)化和數(shù)據(jù)現(xiàn)實，通過這種數(shù)據(jù)科技的整合，可以把以前比較慢的工作、或者一些算法的訓練、以及數(shù)據(jù)計算的工作進行加速，然后能夠對實時數(shù)據(jù)進行處理，這就是我們公司主要的兩款產品。

那么傳統(tǒng)架構和異構計算有什么區(qū)別呢？對傳統(tǒng)架構來說，一般都是從外存加載到內存再加載到CPU的緩存進行就算，對異構計算來說，可以從磁盤直接把數(shù)據(jù)加載到GPU的顯存里，通過CPU和GPU的聯(lián)手，讓其更好地發(fā)揮算力，進而將之前在CPU上很難處理或無法處理的工作，進行有效的提升和加速。這就是我們產品設計的最核心的思想和架構。

現(xiàn)在來介紹一下Milvus這款產品，是針對非結構化數(shù)據(jù)處理而設計的檢索產品，可對到高維度、百億級向量數(shù)據(jù)的進行秒級檢索，能有效降低硬件成本（至少一個數(shù)量級）。通過異構計算的核心算法設計，能夠在所有人工智能相關領域中使用，比如，人臉識別，語音識別，視頻分析，文本分析等，能夠為深度學習領域的推理部署進行性能提升和有效的成本控制。

整個系統(tǒng)的架構圖如下：

Milvus提供了不同的向量檢索算法，能夠針對不同的業(yè)務場景只能選擇最合適的算法從而實現(xiàn)最高的性能比。

索引系統(tǒng)的性能檢測報告如下圖：

現(xiàn)在，Milvus在Github正式開源啦，歡迎各位開發(fā)者在Github關注我們https://github.com/milvus-io/milvus！

再讓我們來看一下在數(shù)據(jù)現(xiàn)實的核心產品——MegaWise，是結構化數(shù)據(jù)處理的核心引擎，深度整合了Nvidia Rapids的數(shù)據(jù)科學平臺。從圖中可以看出產品是建構在Nvidia Rapids異構數(shù)據(jù)科學平臺之上的，通過整合各種數(shù)據(jù)分析處理組件，實現(xiàn)了對時空數(shù)據(jù)的高性能分析，很好的支持了上層可視化交互平臺。同時，自主研發(fā)的Picasso 圖形渲染引擎，能夠對數(shù)億級別的時空信息進行秒級渲染并通過Inifi可視化分析平臺為數(shù)據(jù)科學家提供了超大規(guī)模數(shù)據(jù)現(xiàn)實分析能力。

接下來講一個在MegaWise數(shù)據(jù)分析引擎的應用場景，通過這種圖形化的展示，可以更直觀地解決地理信息數(shù)據(jù)中的難點。

以上是本次分享的部分技術內容，更多詳細講解請觀看視頻回放（http://www.mooc.ai/open/course/686）。

在本次公開課的最后，ZILLIZ的人力資源總監(jiān)對公司成長歷程、文化氛圍等做了介紹，同時ZILLIZ的秋招和社招也正在火熱進行中，歡迎感興趣的同學投遞簡歷，和ZILLIZ一起開拓智能數(shù)據(jù)處理新疆界。

今天的分享就到這里，謝謝大家。