淺析2018年人工智能大數(shù)據(jù)發(fā)展趨勢(shì)

風(fēng)險(xiǎn)資本家馬特·圖爾克（Matt Turck）最近發(fā)布文章，能力越大，責(zé)任越大，介紹了大數(shù)據(jù)與人工智能在2018年發(fā)展的趨勢(shì)，并發(fā)布了全景圖，涵蓋基礎(chǔ)架構(gòu)、開源框架、公司等，一圖囊括AI和大數(shù)據(jù)的發(fā)展趨勢(shì)。

馬特·圖爾克（Matt Turck），美國(guó)知名早期投資機(jī)構(gòu)FirstMark的董事總經(jīng)理，此前以早期成功投資Pinterest、Shopify、Airbnb、Riot Games、InVision和Tapad等超級(jí)獨(dú)角獸而著稱。

馬特還是紐約乃至美國(guó)知名的技術(shù)趨勢(shì)“布道者”，他發(fā)起組織了2大新趨勢(shì)分享社區(qū)，一個(gè)圍繞大數(shù)據(jù)和人工智能，名為Data Driven NYC；另一個(gè)圍繞前沿技術(shù)和新興計(jì)算平臺(tái)，叫Hardwired NYC。

2018人工智能&大數(shù)據(jù)全景圖

全景圖涵蓋了大數(shù)據(jù)人工智能行業(yè)的基礎(chǔ)架構(gòu)、開源框架、數(shù)據(jù)API、數(shù)據(jù)資源、跨基礎(chǔ)結(jié)構(gòu)分析、工業(yè)應(yīng)用、企業(yè)應(yīng)用、分析工具等，涵蓋有1095家大數(shù)據(jù)公司被納入全景圖。

出現(xiàn)在全景圖的一些關(guān)鍵公司上市了，尤其是Cloudera、MongoDB Pivotal和Zuora。在撰寫本文時(shí)，其他的正在準(zhǔn)備上市，比如Elastic。

2018年人工智能大數(shù)據(jù)發(fā)展趨勢(shì)

2018 年，是數(shù)據(jù)世界中激動(dòng)人心但又復(fù)雜多變的一年。一方面，數(shù)據(jù)技術(shù)（大數(shù)據(jù)、數(shù)據(jù)科學(xué)、機(jī)器學(xué)習(xí)、人工智能）繼續(xù)發(fā)展，變得越來(lái)越高效，在世界各地企業(yè)也得到了廣泛的應(yīng)用。到目前為止，2018 年企業(yè)界的關(guān)鍵主題之一是“數(shù)字化轉(zhuǎn)型”，這絕非偶然。這個(gè)詞語(yǔ)對(duì)有些人來(lái)說(shuō)可能有點(diǎn)奇怪，他們會(huì)嘀咕：這難道不是過(guò)去 25 年來(lái)一直發(fā)生的事兒?jiǎn)幔康∏》从吵鲆粋€(gè)事實(shí)：許多傳統(tǒng)的行業(yè)和企業(yè)現(xiàn)在正全力投入到真正的數(shù)據(jù)驅(qū)動(dòng)之旅。另一方面，更廣泛的公眾群體已經(jīng)意識(shí)到數(shù)據(jù)的缺陷。無(wú)論是通過(guò)關(guān)于人工智能風(fēng)險(xiǎn)的公開辯論、劍橋分析公司(Cambridge Analytica)丑聞、大規(guī)模的Equifax數(shù)據(jù)泄露、與gdp相關(guān)的隱私討論，還是有關(guān)中國(guó)政府監(jiān)控活動(dòng)日益增多的報(bào)道，數(shù)據(jù)世界已開始暴露出一些更陰暗、更可怕的隱患。

1）基礎(chǔ)設(shè)施和分析工具

從行業(yè)的角度來(lái)看，數(shù)據(jù)生態(tài)系統(tǒng)仍然像以往一樣令人興奮和充滿活力，擁有豐富的創(chuàng)新初創(chuàng)企業(yè)、成熟的“規(guī)模擴(kuò)展”，以及許多積極的公共技術(shù)供應(yīng)商。最重要的是，許多大大小小的客戶都在大規(guī)模地應(yīng)用這些技術(shù)，并從他們的努力中獲得不可否認(rèn)的價(jià)值。

隨著用更現(xiàn)代的數(shù)據(jù)產(chǎn)品替代舊的IT技術(shù)的循環(huán)繼續(xù)，大數(shù)據(jù)市場(chǎng)(基礎(chǔ)設(shè)施、分析)似乎正在快速地在早期的大多數(shù)買家中循環(huán)，并逐漸過(guò)渡到傳統(tǒng)采用曲線的晚期。

此外，數(shù)據(jù)世界繼續(xù)朝著云的方向發(fā)展。考慮到大型公共云服務(wù)提供商(AWS、Azure、谷歌云平臺(tái)、IBM)的增長(zhǎng)速度，每個(gè)季度都能產(chǎn)生數(shù)十億美元的收入，這真是令人震驚。這一趨勢(shì)引發(fā)了對(duì)供應(yīng)商鎖定的持續(xù)關(guān)注，這可能為提供多云解決方案的初創(chuàng)公司提供機(jī)會(huì)。然而，到目前為止，采用多云策略的公司仍然傾向于依賴一個(gè)供應(yīng)商作為他們的主要提供者。

隨著他們的業(yè)務(wù)不斷發(fā)展，大型云提供商通過(guò)其平臺(tái)（如 Amazon Neptune、Google AutoML 等）提供一系列廣泛的大數(shù)據(jù)、數(shù)據(jù)工程和機(jī)器學(xué)習(xí)工具，通常都制定了激進(jìn)的定價(jià)策略，因而相互競(jìng)爭(zhēng)越來(lái)越激烈，這一切都是為了吸引更多的開發(fā)者，因?yàn)樗麄冋嬲纳虡I(yè)模式是數(shù)據(jù)存儲(chǔ)。隨著此類工具的范圍和成熟度不斷提高，這對(duì)數(shù)據(jù)技術(shù)領(lǐng)域產(chǎn)生了重大影響，可以說(shuō)，初創(chuàng)企業(yè)更難與之競(jìng)爭(zhēng)，至少在廣闊的、橫向的機(jī)遇面前就是如此。每年在大型云供應(yīng)商會(huì)議上發(fā)布的產(chǎn)品公告列表（如 AWS re:Invent）會(huì)給初創(chuàng)企業(yè)帶來(lái)巨大的沖擊波，因?yàn)樗麄儗⒃乒?yīng)商與數(shù)十家風(fēng)投支持的初創(chuàng)企業(yè)直接競(jìng)爭(zhēng)?？纯垂娛袌?chǎng)如何應(yīng)對(duì)即將到來(lái)的 Elastic（一家開源軟件企業(yè)）IPO 將是一件有趣的事。

然而，只要初創(chuàng)企業(yè)有足夠的差異化，他們還是有很多機(jī)會(huì)的。在這個(gè)領(lǐng)域中，很多企業(yè)都在快速擴(kuò)展，在生態(tài)系統(tǒng)的基礎(chǔ)設(shè)施和分析部分中有許多特別有趣、快速增長(zhǎng)的部分，包括流 / 實(shí)時(shí)、數(shù)據(jù)管控和數(shù)據(jù)結(jié)構(gòu) / 虛擬化。人們對(duì)人工智能的興趣激增，也帶來(lái)了在人工智能芯片、GPU 數(shù)據(jù)庫(kù)、人工智能 DevOps 工具以及能夠在企業(yè)中部署數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)的平臺(tái)上的巨大機(jī)遇，以及大量資金。

2）機(jī)器學(xué)習(xí)和人工智能

在人工智能研究領(lǐng)域，這無(wú)疑是瘋狂的一年，從 AlphaZero 的威力到新技術(shù)發(fā)布的驚人速度——生成對(duì)抗網(wǎng)絡(luò)的新形式，替代型的遞歸神經(jīng)網(wǎng)絡(luò)，Geoff Hinton 的新膠囊網(wǎng)絡(luò)。像 NIPS 這樣的人工智能會(huì)議已經(jīng)吸引了 8000 人，每天都有成千上萬(wàn)的學(xué)術(shù)論文提交。

與此同時(shí)，對(duì) AGI 的追求仍然難以捉摸，這也許是值得謝天謝地的事兒。目前人們對(duì)人工智能的興奮和恐懼，大部分源于 2012 年以來(lái)令人印象深刻的深度學(xué)習(xí)表現(xiàn)，但在人工智能研究領(lǐng)域中，有一種情緒在人們中日益彌漫開來(lái)：“接下來(lái)怎么辦？”因?yàn)橛行┤速|(zhì)疑深度學(xué)習(xí)的基礎(chǔ)（反向傳播），而其他一些人希望能夠超越他們所認(rèn)為的“蠻力”方法（大量數(shù)據(jù)、大量算力），或許更傾向于采用更多基于神經(jīng)科學(xué)的方法。

在人工智能研究領(lǐng)域，許多人非但不擔(dān)心機(jī)器人主宰世界，反而擔(dān)心，該領(lǐng)域持續(xù)的過(guò)度炒作可能最終會(huì)讓人失望，并導(dǎo)致另一個(gè)人工智能核冬天的到來(lái)。

然而，在人工智能研究之外，我們正處于一波深度學(xué)習(xí)在現(xiàn)實(shí)世界中的部署和應(yīng)用浪潮的開端，涉及不同行業(yè)的語(yǔ)音識(shí)別、圖像分類、對(duì)象識(shí)別和語(yǔ)言等各種問(wèn)題。如果說(shuō)生態(tài)系統(tǒng)的基礎(chǔ)設(shè)施和分析部分已經(jīng)發(fā)展到后期的大多數(shù)，那么對(duì)于企業(yè)和垂直人工智能應(yīng)用來(lái)說(shuō)，我們?nèi)匀皇欠浅Ｔ缙诘南闰?qū)者。

盡管人工智能初創(chuàng)市場(chǎng)可以說(shuō)已經(jīng)顯示出最終降溫的跡象，但以深度學(xué)習(xí)為基礎(chǔ)的初創(chuàng)企業(yè)在一兩年前開始暴增的情況依然在繼續(xù)。整體規(guī)模和估值的期望仍然很高，但 我們肯定已經(jīng)經(jīng)過(guò)了這樣一個(gè)階段：大型互聯(lián)網(wǎng)企業(yè)會(huì)為了人才而高價(jià)收購(gòu)早期人工智能初創(chuàng)企業(yè)。 與其他一些利用這種炒作的企業(yè)相比，市場(chǎng)中也出現(xiàn)了一些“真正”的人工智能初創(chuàng)企業(yè)。在 2014~2016 年期間成立的一些人工智能初創(chuàng)企業(yè)正開始初具規(guī)模，許多企業(yè)在醫(yī)療、金融、“工業(yè) 4.0”和后臺(tái)辦公自動(dòng)化等跨行業(yè)和垂直領(lǐng)域提供越來(lái)越有趣的產(chǎn)品。在未來(lái)的幾年里，深度學(xué)習(xí)將繼續(xù)為現(xiàn)實(shí)世界的應(yīng)用帶來(lái)巨大的價(jià)值，而專注于垂直方向的人工智能初創(chuàng)企業(yè)將面臨許多巨大的機(jī)遇。

這種持續(xù)的爆炸在很大程度上是一個(gè)全球現(xiàn)象，加拿大、法國(guó)、德國(guó)、英國(guó)和以色列都特別活躍。然而，中國(guó)在人工智能方面似乎處在一個(gè)完全不同的水平，有報(bào)道稱，政府主導(dǎo)的數(shù)據(jù)匯集規(guī)模令人難以置信（跨越了互聯(lián)網(wǎng)企業(yè)和市政當(dāng)局），面部識(shí)別和人工智能芯片等領(lǐng)域的迅速發(fā)展，以及為初創(chuàng)企業(yè)提供數(shù)輪巨額融資：根據(jù) CB Insights 的數(shù)據(jù)，中國(guó)僅占全球人工智能交易份額的 9%，但 2017 年在全球人工智能資金的比例接近 48%，高于 2016 年的 11%（見下面的一些例子）。

同樣，數(shù)據(jù)隱私（以及所有權(quán)和安全性）問(wèn)題也正成為全球關(guān)注的主要問(wèn)題。在互聯(lián)網(wǎng)發(fā)展的早期，數(shù)據(jù)隱私是為了保護(hù)我們?cè)诰W(wǎng)上所做的事情，這是我們活動(dòng)中相對(duì)較小的一部分。相應(yīng)地，只有一小部分人真正在乎數(shù)據(jù)隱私的問(wèn)題。隨著我們個(gè)人和職業(yè)生活的方方面面都通過(guò)越來(lái)越多的聯(lián)網(wǎng)設(shè)備連接到互聯(lián)網(wǎng)上，利害關(guān)系正在發(fā)生變化。人工智能能夠在大量數(shù)據(jù)集中發(fā)現(xiàn)異常、預(yù)測(cè)結(jié)果和識(shí)別人臉，這使數(shù)據(jù)隱私問(wèn)題變得更加復(fù)雜。

另一個(gè)獨(dú)立但相關(guān)的問(wèn)題是，這些數(shù)據(jù)中有很多都屬于大型互聯(lián)網(wǎng)企業(yè) (GAFA) 所有。有些企業(yè)，比如 Facebook，已經(jīng)被證明不是完美的管理者。盡管如此，這些數(shù)據(jù)為他們?cè)谏a(chǎn)更強(qiáng)大人工智能的競(jìng)爭(zhēng)中提供了不公平的優(yōu)勢(shì)。

針對(duì)這些問(wèn)題，一個(gè)新興的主題是把區(qū)塊鏈看作是對(duì)抗人工智能風(fēng)險(xiǎn)的一種可能的方式，同時(shí)也是在 GAFA 之外的企業(yè)生產(chǎn)更為出色的人工智能的另一種方式。加密經(jīng)濟(jì)被視為一種激勵(lì)個(gè)人提供個(gè)人數(shù)據(jù)的方式，也是機(jī)器學(xué)習(xí)工程師通過(guò)匿名處理這些數(shù)據(jù)建立模型的一種方式。這一切仍處于試驗(yàn)階段，但一些早期的市場(chǎng)和網(wǎng)絡(luò)正在出現(xiàn)。