量子計算潛在的革命性業(yè)務(wù)影響和通過量子計算獲得業(yè)務(wù)優(yōu)勢的五步路線圖

量子計算已接近商業(yè)化階段，有很大的潛力改變我們的世界。利用量子計算的獨特能力來解決特定類型問題的早期采用者，有可能在建立新型業(yè)務(wù)模式方面實現(xiàn)突破。富有遠(yuǎn)見卓識的企業(yè)已經(jīng)開始調(diào)整戰(zhàn)略方向，為新興的量子計算生態(tài)系統(tǒng)做好準(zhǔn)備，成為“量子就緒型企業(yè)”。這些具有前瞻性思維的企業(yè)正在探索用于解決復(fù)雜業(yè)務(wù)問題的用例和相關(guān)算法。

何為量子計算？

量子計算利用了自然科學(xué)中發(fā)現(xiàn)的量子力學(xué)定律，有潛力從根本上改變傳統(tǒng)的信息處理方式。量子行為的兩個特性，也就是疊加和糾纏，使量子計算機有能力解決目前的常規(guī)或傳統(tǒng)機器無能為力的問題：

1、疊加。傳統(tǒng)計算機使用的是只包含“1”或“0”的二進制位。而量子計算機則使用量子位，可以描述“1”、 “0”或者量子位的可能狀態(tài)的任意組合（稱為“疊加”）。因此，具有 n 個量子位的量子計算機通過這些量子位彼此疊加，形成了 2n 種可能性。這使量子計算機具有指數(shù)級數(shù)量的狀態(tài)，因此能夠比傳統(tǒng)計算機更有效地解決一些特定類型的問題。

2、糾纏。在量子世界，甚至相距光年的兩個量子位仍能以強相關(guān)的方式發(fā)揮作用。量子計算正是借助這種糾纏特性，利用量子位之間的相互依賴性破解問題。

量子的疊加和糾纏特性使量子計算機能夠快速研究一系列可能性，以確定有助于推動業(yè)務(wù)價值的最佳答案。由于未來的量子計算機在計算某些問題時，速度要比傳統(tǒng)計算機快上幾個指數(shù)級（見下圖），因此有望解決極為復(fù)雜的業(yè)務(wù)難題。盡管傳統(tǒng)計算機存在局限性，但在可以預(yù)見的未來，量子計算機并不會完全取代它們的作用。相反，結(jié)合了量子與傳統(tǒng)架構(gòu)的混合型計算機有望浮出水面，將一部分難題“外包”給量子計算機。

比如說，要使傳統(tǒng)計算機的理論計算能力翻一番， 需要將晶體管數(shù)量增加一倍。要使量子計算機的理論計算能力翻倍，只需為某些應(yīng)用額外添加一個量子位即可。未來的量子處理器可模擬咖啡因分子 — 傳統(tǒng)計算機要想做到這一點，個頭要比地球大上 10% 才行。近期內(nèi)，量子計算機也許可以幫助設(shè)計一些新材料， 用于在將來創(chuàng)建更強大的量子計算機。

▲ 量子計算為運算加速的潛力遠(yuǎn)遠(yuǎn)超過傳統(tǒng)計算機

量子計算有潛力徹底轉(zhuǎn)變某些行業(yè)。例如，鑒于傳統(tǒng)計算機無法精確求解方程，導(dǎo)致當(dāng)前的計算化學(xué)方法嚴(yán)重依賴于近似值。而量子算法有望在更長的時間范圍內(nèi)進行準(zhǔn)確的分子模擬，從而實現(xiàn)目前無法做到的精確建模。這有助于更快發(fā)現(xiàn)能夠挽救生命的藥物，并顯著縮短藥物開發(fā)周期。

此外，量子計算還有望解決當(dāng)前令人束手無策的復(fù)雜的物流優(yōu)化問題，從而實現(xiàn)可觀的成本節(jié)省，顯著減少碳排放。我們以量子計算幫助價值數(shù)萬億美元的航運業(yè)改善全球航線為例。即使量子計算只能將集裝箱利用率和運輸量提高哪怕一點點，也能為運輸企業(yè)節(jié)省數(shù)億美元的成本。為了利用量子計算的優(yōu)勢獲得更多利潤，領(lǐng)先競爭對手，前瞻性的企業(yè)已開始培養(yǎng)專業(yè)能力，探索能給自己的行業(yè)帶來好處的用例。

量子優(yōu)勢迎來曙光

量子計算機能夠解決傳統(tǒng)計算機無能為力的一些業(yè)務(wù)問題 — 我們通常將這種能力稱之為“量子優(yōu)勢”，而實現(xiàn)這一優(yōu)勢的時刻離我們越來越近了。例如， “恒定深度”的量子電路已展現(xiàn)出遠(yuǎn)超傳統(tǒng)電路的優(yōu)勢。下圖說明了面向特定業(yè)務(wù)用例的量子優(yōu)勢。確切地說，由于面向特定用例的量子優(yōu)勢尚不明確，因此，有關(guān)未來五年內(nèi)量子計算市場價值的預(yù)測也天差地別 — 從大約 5 億美元到 290 億美元不等。

▲量子用例的商業(yè)化

由于人們對這項新技術(shù)所能創(chuàng)造的商機充滿期待，導(dǎo)致量子計算生態(tài)系統(tǒng)呈現(xiàn)出加速發(fā)展態(tài)勢。初創(chuàng)企業(yè)不斷涌現(xiàn)，研究機構(gòu)與技術(shù)提供商之間的合作層出不窮，大家都在希望將量子研究成果轉(zhuǎn)化為商用能力。開發(fā)量子計算機的科技公司已經(jīng)開始與企業(yè)合作，以確定潛在用例，開發(fā)量子算法，并在真正的量子計算機上測試解決方案。隨著量子技術(shù)的商業(yè)合作如雨后春筍般不斷涌現(xiàn)，第一批量子商業(yè)應(yīng)用指日可待。

為企業(yè)選擇合適的量子計算機

量子計算機各不相同，解決的問題也各有偏重。從限制最多的類型到最通用的類型，量子計算機主要分為三類：量子退火、嘈雜中型量子(NISQ) 計算，以及容錯型通用量子計算。

科學(xué)界普遍認(rèn)為，相較于傳統(tǒng)計算，量子退火法的提速效果并沒有多么明顯。此外，量子退火計算機最終也無法發(fā)展成為容錯型通用量子計算機。 因此，量子退火計算機不能算作真正的量子計算機。

在短期內(nèi)， NISQ 計算機最有可能創(chuàng)造業(yè)務(wù)優(yōu)勢，并且業(yè)界已針對這種計算機調(diào)整了許多新的算法。此外，隨著 NISQ 計算機不斷擴展，它們正朝著量子計算的終極目標(biāo)邁進 — 成為容錯型通用量子計算機，能夠處理重要的商業(yè)和科學(xué)問題，而且計算速度通常比傳統(tǒng)計算機有指數(shù)級的提高。

為何需要立即開始為量子計算做準(zhǔn)備？在技術(shù)力量和競爭力量的雙重作用下，量子時代的到來要比你想象中早得多。若能立即開始關(guān)注量子計算，企業(yè)就能占得先機，拉開與同行之間的距離。以下是企業(yè)應(yīng)該立即開始備戰(zhàn)量子計算的三個理由：

1、量子計算機具有轉(zhuǎn)變行業(yè)價值鏈的潛力，特別是在化學(xué)、生物、醫(yī)療保健、材料科學(xué)、金融和人工智能 (AI) 等領(lǐng)域。

2、 由于量子計算的學(xué)習(xí)難度非常大，因此， “快速跟隨”的方法不僅花費巨大，而且只會被先行者越拉越遠(yuǎn)。

3、 建立內(nèi)部“量子能力中心”需要一定時間。

量子計算機具有轉(zhuǎn)變行業(yè)價值鏈的潛力。量子計算機有潛力解決傳統(tǒng)計算機無能為力的超級復(fù)雜的問題，因此有望轉(zhuǎn)變整個行業(yè)的面貌。未來的量子計算機有能力在化學(xué)、生物、醫(yī)療保健、金融、人工智能和材料科學(xué)等領(lǐng)域?qū)崿F(xiàn)產(chǎn)品突破，幫助富有戰(zhàn)略眼光、采用量子計算的企業(yè)快速搶占市場份額，提高盈利能力。因此，量子計算的問題解決能力能夠徹底重新定義競爭優(yōu)勢，轉(zhuǎn)變企業(yè)運營模式和價值鏈，最終徹底顛覆整個行業(yè)。

例如，物流系統(tǒng)的優(yōu)化通?；凇爸行妮椛洹毙?a href="http://www.ttokpm.com/v/tag/1722/" target="_blank">網(wǎng)絡(luò)模型。要在大規(guī)模物流網(wǎng)絡(luò)中，設(shè)計一條能夠滿足各種不同需求的點到點最優(yōu)路線，是非常復(fù)雜的問題，完全超出傳統(tǒng)超級計算機的能力范圍。即使對于只有幾百個集散地的物流網(wǎng)絡(luò)，要逐一探索所有的可能性，傳統(tǒng)計算機也要花上數(shù)十億年的時間。而量子計算有能力顯著縮短這種探索所需的時間。

再例如，為了優(yōu)化航空公司的調(diào)度工作，量子計算可以創(chuàng)建專為在特定日期飛往數(shù)百個目的地的數(shù)千名乘客而量身定制的每日航班時刻表，從而幫助旅客縮短旅行時間、避免空中交通擁堵并降低航空燃油成本。如果企業(yè)能為物流網(wǎng)絡(luò)設(shè)計優(yōu)化工作開發(fā)量子解決方案，那么，在物流作為關(guān)鍵成功因素的所有行業(yè)，這樣的企業(yè)都能夠迅速成為市場領(lǐng)導(dǎo)者。

“快速跟隨”的方法不僅花費巨大，而且只會被先行者越拉越遠(yuǎn)量子計算不同于線性或漸進式的技術(shù)進步， “快速跟隨”的方法不太可能奏效。原因有以下幾點：

1、量子計算的學(xué)習(xí)難度非常大。

2、與“追趕”領(lǐng)先者相關(guān)的成本過高。

可以考慮以下用例：通過量子計算機為電子或運輸行業(yè)設(shè)計比現(xiàn)有物質(zhì)更輕、更強韌的專用材料，而且與傳統(tǒng)計算機相比，解決問題的速度呈指數(shù)級提升（見上圖）。這種革命性材料的加速發(fā)展可以幫助制造商在短時間把競爭對手遠(yuǎn)遠(yuǎn)甩在身后。

借助量子技術(shù)成功上位的新晉市場領(lǐng)導(dǎo)者以既有知識為基礎(chǔ)，學(xué)習(xí)難度相對較低，因此能夠更上一層樓，進一步優(yōu)化其突破性的材料，以及發(fā)現(xiàn)專為其他應(yīng)用領(lǐng)域量身定制的新材料，不斷擴大與競爭對手的差距。雖然只是假設(shè)，但這個示例卻生動說明了由于存在巨大的學(xué)習(xí)難度，使得所謂的“快速追隨者”極難趕上先行企業(yè)，從而可能導(dǎo)致某些行業(yè)出現(xiàn)“贏者通吃”的情景。即便對于特定用例，快速追隨者有可能追上先行企業(yè)，也需為此付出高昂的代價，例如，培養(yǎng)內(nèi)部專業(yè)知識，采購最合適的基礎(chǔ)設(shè)施，投資與實力派企業(yè)建立合作關(guān)系和/或收購具有相關(guān)能力的企業(yè)等。

建立內(nèi)部“量子能力中心”需要一定時間。盡管大多數(shù)企業(yè)現(xiàn)在都聽說過量子計算，但他們中有許多都因缺乏相關(guān)人才和專業(yè)知識而無法充分利用即將到來的業(yè)務(wù)轉(zhuǎn)型的優(yōu)勢，而且獲得量子計算技術(shù)也并非易事。量子計算的人才供不應(yīng)求，高技能資源更是炙手可熱。

即使招聘到了合適的人才，也可能需要數(shù)年時間才能深入了解量子計算對特定業(yè)務(wù)的潛在影響。 最近發(fā)生的技術(shù)轉(zhuǎn)變，例如，為加速處理大數(shù)據(jù)工作負(fù)載而遷移到圖形處理器 (GPU) 的過程花了近十年時間，使得我們深深了解到，為采用新技術(shù)而培養(yǎng)專業(yè)能力是一個漫長的過程。鑒于量子計算有潛力徹底轉(zhuǎn)變行業(yè)， 能夠以指數(shù)級提升解決問題的速度，再加上量子領(lǐng)域的專業(yè)人才難以獲得，因此，領(lǐng)先的企業(yè)應(yīng)考慮立即采取行動。

把握量子優(yōu)勢，助推企業(yè)前進

量子計算的商業(yè)化對貴公司意味著什么？從中短期看，量子計算可在以下三個方面帶來商業(yè)利益：量子模擬、量子優(yōu)化和量子輔助機器學(xué)習(xí)。

▲NISQ量子計算的預(yù)期用途

量子優(yōu)化。解決優(yōu)化問題需要從可能存在的諸多答案中找到最佳或“最優(yōu)”的解決方案。我們以制定包裹投遞時間表為例。從數(shù)學(xué)上講，在相鄰時段安排10 次包裹投遞可能有超過 360 萬種選項。 9但是，根據(jù)收件人的時間要求、可能產(chǎn)生的延誤以及所運貨物的保質(zhì)期等變量，哪個時間表才是最佳解決方案呢？即使應(yīng)用近似值技術(shù)，可能的選項對傳統(tǒng)計算機而言仍然太多而無法處理。

因此，目前的傳統(tǒng)計算機采用大量的快捷方式來解決大規(guī)模的優(yōu)化問題。遺憾的是，這些解決方案往往并不理想?？墒芤嬗诹孔觾?yōu)化的企業(yè)包括：希望升級網(wǎng)絡(luò)基礎(chǔ)設(shè)施的電信公司；希望優(yōu)化患者治療效果的醫(yī)療服務(wù)提供方；希望改善空中交通管制的政府機構(gòu)；希望定制營銷推薦的消費品和零售企業(yè)；希望加強風(fēng)險優(yōu)化的金融服務(wù)公司；希望制定員工工作時間表的企業(yè)；希望安排課程的大學(xué)院校。

雖然還沒有數(shù)學(xué)方法可以證明量子計算能夠以指數(shù)級提升優(yōu)化問題的解決速度，但研究人員正努力通過啟發(fā)式方式來證明這一點。富有遠(yuǎn)見的企業(yè)已開始探索如何利用量子計算來解決優(yōu)化問題，以期超越競爭對手。一旦量子優(yōu)勢在解決優(yōu)化問題方面的能力得到確認(rèn)，這些企業(yè)的遠(yuǎn)見卓識便會給他們帶來切實的回報。

量子增強型人工智能。量子計算可以探索傳統(tǒng)計算機無法處理的海量可能性，因此有助于提升人工智能的熟練度。事實上，人工智能與量子計算之間的共生關(guān)系已開始在這兩個領(lǐng)域?qū)崿F(xiàn)良性循環(huán)。例如，量子算法可增強機器學(xué)習(xí)在數(shù)據(jù)聚類領(lǐng)域的能力，而機器學(xué)習(xí)則可用于更好地理解量子系統(tǒng)。

基于量子的認(rèn)知計算機最終能夠滲透到幾乎所有行業(yè)，主動為專業(yè)人士提供高級決策支持；為員工提供針對性的響應(yīng)式培訓(xùn)；為客戶提供專門定制的自適應(yīng)式供應(yīng)商關(guān)系。

通過五項戰(zhàn)略迎接量子的未來

▲ 通往量子未來之路

1.選擇量子精英團隊

貴公司可能需要進一步了解量子計算的預(yù)期收益。以下是入門方法：1、將企業(yè)內(nèi)的一些領(lǐng)軍專業(yè)人才指定為“量子精英”。2、為這些“量子精英”充電，幫助他們了解何為量子計算、對行業(yè)的潛在影響、競爭對手的應(yīng)對方式以及貴公司的業(yè)務(wù)如何從中受益。3、要求“量子精英”定期向高層領(lǐng)導(dǎo)匯報工作，以便在整個企業(yè)中開展量子計算教育，確保該計劃始終與戰(zhàn)略目標(biāo)保持一致。

2. 開始確定量子計算用例和相關(guān)價值主張

待量子精英團隊了解了量子計算的原理及其如何助您應(yīng)對業(yè)務(wù)挑戰(zhàn)和把握機遇之后，讓他們開始確定貴公司可在哪些領(lǐng)域借助量子計算領(lǐng)先競爭對手。

根據(jù)量子系統(tǒng)的獨特能力及其加速解決問題的優(yōu)勢來評估機遇。要求量子精英團隊監(jiān)控量子應(yīng)用的進展，確定哪些用例可以更快地實現(xiàn)商業(yè)化。為確保量子探索與業(yè)務(wù)成果緊密聯(lián)系在一起，請選擇前景最光明的量子計算應(yīng)用，例如創(chuàng)建突破性產(chǎn)品和服務(wù)或者以全新方式優(yōu)化供應(yīng)鏈。

3.試用真正的量子系統(tǒng)

通過試用真正的量子計算機，揭開量子計算的神秘面紗。要求量子精英團隊了解量子計算如何解決業(yè)務(wù)問題，以及如何與現(xiàn)有工具互動。單一量子解決方案并不能“包治百病”。量子精英團隊?wèi)?yīng)專注于解決傳統(tǒng)計算機無法有效解決的最高優(yōu)先級用例。

4.繪制量子路線圖

繪制量子計算路線圖，包括可行的后續(xù)步驟，目的是解決可能會對企業(yè)參與競爭以及獲得可持續(xù)業(yè)務(wù)優(yōu)勢產(chǎn)生巨大阻礙的問題。為了加速備戰(zhàn)量子計算，應(yīng)考慮加入新出現(xiàn)的量子社區(qū)。這樣能夠幫助您更好地接觸了解技術(shù)基礎(chǔ)架構(gòu)、不斷發(fā)展的行業(yè)應(yīng)用，以及有助于增強特定量子應(yīng)用開發(fā)能力的研究人員。

5.靈活敏捷地應(yīng)對未來量子格局的變化

量子計算在迅速發(fā)展。應(yīng)尋找有望成為行業(yè)標(biāo)準(zhǔn)并且推動生態(tài)系統(tǒng)整合的技術(shù)和開發(fā)工具包。應(yīng)認(rèn)識到，新的技術(shù)突破可能會促使企業(yè)調(diào)整量子開發(fā)方法，包括更換生態(tài)系統(tǒng)合作伙伴。應(yīng)留意企業(yè)的量子計算需求如何與時俱進，特別是當(dāng)您進一步深入地了解哪些業(yè)務(wù)問題可從量子計算解決方案中獲得最大收益之后。

在信息時代，量子計算技術(shù)一旦突破，掌握這種能力的國家，會在經(jīng)濟、軍事、科研、安全等領(lǐng)域迅速建立全方位優(yōu)勢。所以，世界各國都在啟動巨資積極投入研發(fā)量子計算技術(shù)。隨著技術(shù)的快速發(fā)展，現(xiàn)在我們已經(jīng)處在了量子計算機即將商業(yè)化的時間節(jié)點，量子計算不僅是國家戰(zhàn)略，相關(guān)企業(yè)若能提早布局規(guī)劃量子計算技術(shù)，未來注定能在“量子霸權(quán)”時代贏得先機，脫穎而出。

看點：邊緣計算市場規(guī)模將超萬億，與云計算平分秋色。

隨著5G時代的日益臨近，實時、智能、安全、隱私這四大趨勢催生了邊緣計算與端智能的崛起。5G通信的超低時延與超高可靠要求，使得邊緣計算成為必然選擇。

據(jù)預(yù)測，全球物聯(lián)網(wǎng)終端設(shè)備安裝數(shù)量有望在2019年達(dá)到256億臺，2020年將有超過500億的終端與設(shè)備聯(lián)網(wǎng)，邊緣計算市場規(guī)模將超萬億，成為與云計算平分秋色的新興市場。

一、邊緣計算，5G時代的萬億市場

邊緣計算（Edge Computing）是在靠近物或數(shù)據(jù)源頭的網(wǎng)絡(luò)邊緣側(cè)，融合網(wǎng)絡(luò)、計算、存儲、應(yīng)用核心能力的分布式開放平臺，就近提供邊緣智能服務(wù)。

從邊緣計算聯(lián)盟（ECC）提出的模型架構(gòu)來看，邊緣計算主要由基礎(chǔ)計算能力與相應(yīng)的數(shù)據(jù)通信單元兩大部分所構(gòu)成。

隨著底層技術(shù)的進步以及應(yīng)用的不斷豐富，近年來全球物聯(lián)網(wǎng)產(chǎn)業(yè)實現(xiàn)爆發(fā)式的增長，這也為邊緣計算提供了更多的場景。

參考數(shù)據(jù)，全球物聯(lián)網(wǎng)終端設(shè)備安裝數(shù)量有望在2019年達(dá)到256億臺，年復(fù)合增速高達(dá)21%。

國內(nèi)物聯(lián)網(wǎng)市場的增速更高，據(jù)預(yù)測，2020年我國物聯(lián)網(wǎng)市場規(guī)模有望達(dá)到18300億元，年復(fù)合增速高達(dá)25%。

與此同時，5G通信的超低時延與超高可靠要求，使得邊緣計算成為必然選擇。在5G移動領(lǐng)域，移動邊緣計算是ICT融合的大勢所趨，是5G網(wǎng)絡(luò)重構(gòu)的重要一環(huán)。

據(jù)表示，到2020年，將有超過500億的終端與設(shè)備聯(lián)網(wǎng)，而有50%的物聯(lián)網(wǎng)網(wǎng)絡(luò)將面臨網(wǎng)絡(luò)帶寬的限制，40%的數(shù)據(jù)需要在網(wǎng)絡(luò)邊緣分析、處理與儲存。

因此，邊緣計算市場規(guī)模將超萬億，成為與云計算平分秋色的新興市場。

二、5G時代“邊云協(xié)同”，服務(wù)器市場迎來巨大增量

雖然云計算中心具有強大的處理性能，但是邊緣計算不僅能夠克服云計算網(wǎng)絡(luò)帶寬與計算吞吐量的性能瓶頸，還能夠更實時地處理終端設(shè)備的海量“小數(shù)據(jù)”，并在保證終端的數(shù)據(jù)安全。

因此，在有了云計算的同時，邊緣計算市場潛力依舊巨大。5G時代，將會是一個“邊+云”的“邊云協(xié)同”時代，邊緣計算與云計算各有所長、協(xié)調(diào)配合。

作為5G商用的元年，國內(nèi)的三大運營商無疑都在加緊部署5G基礎(chǔ)設(shè)施，這其中就包括大量的基站設(shè)備。

但由于5G基站的密度大于傳統(tǒng)的4G基站，這也就意味著更大量的基礎(chǔ)設(shè)施投入。

與此同時，相對于4G，5G定義了eMMB（更高數(shù)據(jù)速率）、URLLC（更低延遲和更可靠的鏈接）和mMTC（超大規(guī)模設(shè)備鏈接）等三大應(yīng)用場景。而這些場景化概念的引入無一不對基站的計算性能提出了更高的要求。

因此，5G基站背后的服務(wù)器市場不僅將迎來爆發(fā)性需求增長，其產(chǎn)品升級也是勢在必行的。

這一潛在的巨大市場需求也正是浪潮、曙光、華為等一系列設(shè)備制造商不遺余力推動OTII標(biāo)準(zhǔn)迅速落地。

OTII，Open Telecom IT Infrastructure，開放電信IT基礎(chǔ)設(shè)施，是ODCC組織下發(fā)展的一個針對通訊類企業(yè)的服務(wù)器規(guī)格。它不僅與交換機等設(shè)備規(guī)格相同，并且很容易部署在基站附近的設(shè)備機架上，而且具備更好的耐熱、耐腐蝕、抗潮濕特性。

與通用服務(wù)器相比，邊緣計算服務(wù)器面向5G和邊緣計算等場景進行針對性定制，能耗更低、溫度適應(yīng)性更寬、運維管理更加方便。

2017年6月，中國移動與中國電信、中國聯(lián)通、英特爾、浪潮等公司共同發(fā)布《OITT定制服務(wù)器參考設(shè)計和行動計劃書》，形成運營商行業(yè)面向電信應(yīng)用的深度定制、開放標(biāo)準(zhǔn)、統(tǒng)一規(guī)范的服務(wù)器技術(shù)方案及原型產(chǎn)品。

三、5G MEC近在咫尺，通信光模塊市場受益最大

1、吸取4G教訓(xùn)、全球統(tǒng)一標(biāo)準(zhǔn)

在4G網(wǎng)絡(luò)標(biāo)準(zhǔn)制定中，由于并沒有考慮把邊緣計算功能納入其中，導(dǎo)致出現(xiàn)大量“非標(biāo)”方案，運營商在實際部署時“異廠家設(shè)備不兼容”，網(wǎng)絡(luò)互相割裂等，常常需要進行定制化的、特定的解決方案設(shè)計，不僅提高了運營商成本，還造成網(wǎng)絡(luò)架構(gòu)不能滿足低時延、高帶寬、本地化等需求。

為了解決4G痛點，早在5G研究初期，MEC（多接入邊緣計算，Multi-Acess Edge Computing）與NFV和SDN一同被標(biāo)準(zhǔn)組織5G PPP認(rèn)同為5G系統(tǒng)網(wǎng)絡(luò)重構(gòu)的一部分。2014年ETSI（歐洲電信標(biāo)準(zhǔn)協(xié)會）就成立了MECISG（邊緣計算特別小組）。

在2018年，3GPP的第一個5G標(biāo)準(zhǔn)R-15已經(jīng)凍結(jié)。3GPP SA2在R15中定義了5G系統(tǒng)架構(gòu)和邊緣計算應(yīng)用，其中核心網(wǎng)部分功能下沉部署到網(wǎng)絡(luò)邊緣，RAN架構(gòu)也將發(fā)生較大改變。

預(yù)計2020年5G商用以后，MEC邊緣云的應(yīng)用將進入百花齊放、百家爭鳴的開放階段。

2、光模塊是5G物理層基礎(chǔ)單元，受益巨大

光模塊是5G網(wǎng)絡(luò)物理層的基礎(chǔ)構(gòu)成單元，廣泛應(yīng)用于無線及傳輸設(shè)備，其成本在系統(tǒng)設(shè)備中的占比不斷增高，部分設(shè)備中甚至超過50~70%，是5G低成本、廣覆蓋的關(guān)鍵要素。

從2G~4G，光模塊技術(shù)迅速迭代，逐步向高速率發(fā)展。

2000年初，2G、2.5G基站從銅纜向光纖光纜切換，光模塊從1.25GSFP向2.5GSFP模塊發(fā)展。2008~2009年3G基站光模塊速率躍升至6G。

標(biāo)準(zhǔn)組織3GPP提出新的5G接口標(biāo)準(zhǔn)eCPRI，如果采用eCPRI接口，前傳接口帶寬至少需要25G光模塊，但前傳25G和100G都會并存，以應(yīng)對5G三大應(yīng)用場景的需求。

另外，5G光芯片也將從6G/10G升級到25G的芯片模組，光模塊產(chǎn)業(yè)鏈?zhǔn)袌鲆?guī)模顯著變大。隨著速率的提高，光模塊制造工藝門口大幅提升，產(chǎn)品附加值將較4G有所提高，有利于具有深厚儲備的光模塊公司。

5G作為十年一遇的迭代升級，將是光通信行業(yè)下一個爆發(fā)機會。

3、三大運營商積極布局5G MEC

5G時代，運營商將會采用通用數(shù)據(jù)中心云化的組網(wǎng)方式，以區(qū)域、本地和邊緣三層的數(shù)據(jù)中心為基礎(chǔ)，來構(gòu)建整個云化網(wǎng)絡(luò)。同時，5G邊緣計算促進采集、控制類業(yè)務(wù)將會帶來運營新的2B業(yè)務(wù)增量，包括精密工控、遠(yuǎn)程醫(yī)療、車聯(lián)網(wǎng)等。

對于運營商，5G MEC的部署價值巨大。

目前，中國聯(lián)通是三大運營商中規(guī)劃最明確的，中國聯(lián)通提出MEC邊緣云演進路標(biāo)主要分四個階段，計劃在2025年實現(xiàn)100%云化部署。

而從2014年ETSI成立MECISG開始，中國移動就積極跟蹤并加入。2017年中國移動發(fā)布MEC白皮書。目前，中國移動已經(jīng)在10省20多個地市現(xiàn)網(wǎng)開展多種MEC應(yīng)用試點。同時中國移動要將MEC預(yù)制到5G中，為此將從標(biāo)準(zhǔn)、技術(shù)、產(chǎn)業(yè)等方面發(fā)力。

中國電信認(rèn)為工業(yè)互聯(lián)網(wǎng)是MEC的重要場景，5G MEC是運營商切入工業(yè)互聯(lián)網(wǎng)的重要技術(shù)手段。目前，中國電信進行了一些MEC的探索，例如打造邊緣計算開放平臺ECOP，構(gòu)建邊緣云網(wǎng)融合的網(wǎng)絡(luò)服務(wù)平臺及應(yīng)用使能環(huán)境，推進邊緣業(yè)務(wù)應(yīng)用創(chuàng)新發(fā)展。

4、云數(shù)據(jù)中心資本開支持續(xù)增長

為了應(yīng)對大工作負(fù)載和低延遲需求，云數(shù)據(jù)中心正在遷移到“葉脊”架構(gòu)。

傳統(tǒng)大型云數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)為三層網(wǎng)絡(luò)，主要采用縱向的傳輸方式。伴隨著虛擬化、云計算、超融合系統(tǒng)等應(yīng)用，使得東西向數(shù)據(jù)流成為主要流量。

原有的結(jié)構(gòu)難以應(yīng)對日益增長的需求，因而“葉脊”拓?fù)浣Y(jié)構(gòu)開始成為主流，這種結(jié)構(gòu)在傳統(tǒng)縱向傳輸?shù)幕A(chǔ)上增加對橫向傳輸?shù)闹巍?/p>

葉脊網(wǎng)絡(luò)結(jié)構(gòu)使得網(wǎng)絡(luò)規(guī)模變大、網(wǎng)絡(luò)扁平化、光纖覆蓋率提升，使得網(wǎng)絡(luò)需要更多的交換機、葉/脊交換機之間更快的傳輸速率，更需要更多橫向的流量接口實現(xiàn)（光模塊）。

葉脊架構(gòu)所需要的高端光模塊數(shù)量10倍于傳統(tǒng)三層架構(gòu)。帶來100G高速率光模塊市場容量大幅增加。

根據(jù)統(tǒng)計，云數(shù)據(jù)中心內(nèi)網(wǎng)絡(luò)設(shè)備投資占整個云數(shù)據(jù)中心ICT投資的32%，僅次于服務(wù)器投資，光模塊是網(wǎng)絡(luò)設(shè)備間通信重要組成部分。

2019年200G和400G模塊有望放量。40G~200G光模塊市場規(guī)模將從2017年的79億美元增長到2020年的139億美元。

同時，數(shù)通100G光模塊市場規(guī)模也將從2017年34億美元增長到2020年75億美元，復(fù)合增速達(dá)到30%。

四、邊緣計算典型應(yīng)用場景

5G時代將迎來一大批新興應(yīng)用場景，如自動駕駛、安防前端智能化、工業(yè)控制、遠(yuǎn)程操控（如醫(yī)療手術(shù)等）等。它們由于需要低于10ms的網(wǎng)絡(luò)時延，因此邊緣計算的發(fā)展最迫切，也最需要。

1、自動駕駛：車載平臺算力需求在20T以上

隨著汽車自動駕駛程度的提高，汽車自身所產(chǎn)生的數(shù)據(jù)將越來越龐大。

據(jù)測算，假設(shè)一輛自動駕駛汽車配臵了GPS、攝像頭、雷達(dá)和激光雷達(dá)等傳感器，則上述一輛自動駕駛汽車每天將產(chǎn)生約4000GB待處理的傳感器數(shù)據(jù)。不夸張的講，自動駕駛就是“四個輪子上的數(shù)據(jù)中心”。

高等級自動駕駛的本質(zhì)是AI計算問題，車載邊緣計算平臺的計算力需求至少在20T以上。

從最終實現(xiàn)功能來看，邊緣計算平臺在自動駕駛中主要負(fù)責(zé)解決兩個主要的問題。

1）處理輸入的信號（雷達(dá)、激光雷達(dá)、攝像頭等）；

2）做出決策判斷、給出控制信號。

2、安防：國內(nèi)智能前端市場有望突破1500億

安防產(chǎn)業(yè)智能化升級是行業(yè)發(fā)展的大趨勢，前段智能不僅能夠為后端提供高質(zhì)量、初步結(jié)構(gòu)化的圖像數(shù)據(jù)，還能極大地節(jié)省帶寬和后端計算資源。后端智能化產(chǎn)品的核心功能則是利用計算能力對視頻數(shù)據(jù)進行結(jié)構(gòu)化分析。

從產(chǎn)業(yè)調(diào)研結(jié)果來看，2018年以來，主流深度學(xué)習(xí)攝像頭芯片開始成熟量產(chǎn)，有效解決目前限制前端智能攝像頭放量的計算芯片瓶頸。

按照2021年智能攝像頭滲透率達(dá)到45%測算，預(yù)計國內(nèi)智能安防前端硬件產(chǎn)品空間在2021年預(yù)計將超過1500億元。

3、低時延工業(yè)級應(yīng)用：機器人、自動化、無人機

工業(yè)高精度控制對時延和可靠性的敏感度極高，無論是中國、韓國和日本的運營商，都非常關(guān)注5G新業(yè)務(wù)中工業(yè)級客戶（2B）的價值。

這些行業(yè)市場包括運輸、物流、能源/公共設(shè)施監(jiān)測、金融、醫(yī)療和農(nóng)業(yè)。實現(xiàn)工業(yè)國產(chǎn)自動化、無線化和智能化，典型場景包括視頻監(jiān)控、機器人控制、自動巡查安防等。

1）機器人控制：同步實時協(xié)作機器人要求小于1毫秒的網(wǎng)絡(luò)延遲。到2025年，預(yù)計全球狀態(tài)監(jiān)測連接將上升到8800萬，全球工業(yè)機器人的出貨量也將從36萬臺增加到105萬臺。

2）饋線自動化：當(dāng)通信網(wǎng)絡(luò)的延遲小于10ms時，饋線自動化系統(tǒng)可以在100ms內(nèi)隔離故障區(qū)域，這將大幅度降低發(fā)電廠的能源浪費。參考華為5G白皮書，從2022年到2026年，預(yù)計5GIIoT的平均年復(fù)合增長率（CAGR）將達(dá)到464%。

3）視頻監(jiān)控和無人機巡檢：配備無人機進行基礎(chǔ)設(shè)施、電力線和環(huán)境的密集巡檢是一項新興業(yè)務(wù)，LiDAR掃描所產(chǎn)生巨大的實時數(shù)據(jù)量將需要>200Mbps的傳輸帶寬。ABI Research的估計，小型無人機市場將從2016年的53億美元迅速增長到2026年的339億美元，包括來自軟件、硬件、服務(wù)和應(yīng)用服務(wù)的收入。

4、VR/AR游戲：實時反饋讓云VR/AR成為可能

現(xiàn)階段VR游戲體驗不佳，本地重度游戲為主，設(shè)備典型盤根錯節(jié)，用戶容易絆倒；聯(lián)網(wǎng)游戲時延至容易高達(dá)50ms，導(dǎo)致用戶眩暈問題。

未來5G設(shè)備實現(xiàn)直接邊緣云端訪問，VR/AR時延問題解決：實時CG類云渲染VR/AR需要低于5ms的網(wǎng)絡(luò)時延和高達(dá)100Mbps至9.4Gbps的大帶寬。同時，5G可以支持多用戶近距離連線。

云VR/AR將大大降低設(shè)備成本，從而提供人人都能負(fù)擔(dān)得起的價格。5G將顯著改善這些云服務(wù)的訪問速度云市場以18%的速度快速增長。

5、視頻云：遠(yuǎn)程醫(yī)療、4K/8K高清視頻

遠(yuǎn)程醫(yī)療依賴5G網(wǎng)絡(luò)的低延遲和高QoS保障特性，例如無線內(nèi)窺鏡和超聲波這樣的遠(yuǎn)程診斷依賴于設(shè)備終端和患者之間的交互。力反饋的敏感性決定低延遲網(wǎng)絡(luò)才能滿足要求。

其它應(yīng)用場景包括醫(yī)療機器人和醫(yī)療認(rèn)知計算，這些應(yīng)用對連接提出了不間斷保障的要求（如生物遙測，基于VR的醫(yī)療培訓(xùn)，救護車無人機，生物信息的實時數(shù)據(jù)傳輸?shù)龋?/p>

ABI Research預(yù)測，智慧醫(yī)療市場的投資預(yù)計將在2025年將超過2300億美元，智慧醫(yī)療市場將在2025年超過2300億美元。

同時，5G的高速率特性將是用戶不僅能觀看當(dāng)下各類視頻內(nèi)容，還將隨時隨地體驗4K以上的超高清視頻。

參考英特爾的《5G娛樂經(jīng)濟報告》，預(yù)計未來10年內(nèi)5G用戶的月平均流量將有望增長7倍，而其中90%將被視頻消耗，預(yù)計到2028年，僅憑消費者在視頻、音樂和游戲上的支出就會增加近一倍，全球總體量將達(dá)到近1500億美元。

由于數(shù)據(jù)量大、實時性需求高、數(shù)據(jù)隱私保護等問題，海量的物聯(lián)網(wǎng)設(shè)備對邊緣計算有著大量需求。隨著5G與AI芯片的崛起，邊緣計算已經(jīng)越來越成為當(dāng)下最熱門的話題之一，受到創(chuàng)投、設(shè)備、芯片等廠商的追捧。

如今線上的流量入口日益減少，并且價格高昂。未來人工智能的流量入口將分布在大大小小的比邊緣設(shè)備上，包括手機、攝像頭、傳感器、機器人等。端智能將會涵蓋我們生活中的方方面面，而這其中的很多領(lǐng)域巨頭都沒有完全覆蓋，是無數(shù)中小創(chuàng)企的絕佳機會。

看點：AI時代，不懂點數(shù)據(jù)挖掘怎么掘金？

數(shù)據(jù)挖掘（Data Mining）是一門跨學(xué)科的計算機科學(xué)分支，它用人工智能、機器學(xué)習(xí)、統(tǒng)計學(xué)和數(shù)據(jù)庫的交叉方法，在大規(guī)模數(shù)據(jù)中發(fā)現(xiàn)隱含模式，在零售、物流、旅游等行業(yè)有著廣泛應(yīng)用場景。

在數(shù)據(jù)爆炸的時代里，如何利用手中數(shù)據(jù)資源提高行業(yè)效率、提高行業(yè)質(zhì)量，成為了眾多企業(yè)決策者所關(guān)注的問題，數(shù)據(jù)挖掘也逐漸成為當(dāng)下的熱門研究領(lǐng)域之一，受到了谷歌、亞馬遜、阿里、百度等科技巨頭的追捧。

一、數(shù)據(jù)挖掘與KDD

數(shù)據(jù)挖掘（Data Mining），是指從大量的數(shù)據(jù)中自動搜索隱藏于其中的有著特殊關(guān)系性的數(shù)據(jù)和信息，并將其轉(zhuǎn)化為計算機可處理的結(jié)構(gòu)化表示。

目前數(shù)據(jù)挖掘的主要功能包括概念描述、關(guān)聯(lián)分析、分類、聚類和偏差檢測等，用于描述對象內(nèi)涵、概括對象特征、發(fā)現(xiàn)數(shù)據(jù)規(guī)律、檢測異常數(shù)據(jù)等。

一般來說，數(shù)據(jù)挖掘過程有五個步驟：確定挖掘目的、數(shù)據(jù)準(zhǔn)備、進行數(shù)據(jù)挖掘、結(jié)果分析、知識的同化。

▲數(shù)據(jù)挖掘過程基本步驟

1、確定挖掘目的

認(rèn)清數(shù)據(jù)挖掘的目的是數(shù)據(jù)挖掘的重要一步。挖掘的最后結(jié)果是不可預(yù)測的，但要探索的問題應(yīng)是有預(yù)見的。

2、數(shù)據(jù)準(zhǔn)備

數(shù)據(jù)準(zhǔn)備又分為三個階段：

1）數(shù)據(jù)的選擇：搜索所有與目標(biāo)對象有關(guān)的內(nèi)部和外部數(shù)據(jù)信息，并從中選擇出適用于數(shù)據(jù)挖掘應(yīng)用的數(shù)據(jù)；

2）數(shù)據(jù)的預(yù)處理：研究數(shù)據(jù)的質(zhì)量，為進一步的分析做準(zhǔn)備，并確定將要進行的挖掘操作的類型；

3）數(shù)據(jù)的轉(zhuǎn)換：將數(shù)據(jù)轉(zhuǎn)換成一個分析模型。這個分析模型是針對挖掘算法建立的。建立一個真正適合挖掘算法的分析模型是數(shù)據(jù)挖掘成功的關(guān)鍵。

3、進行數(shù)據(jù)挖掘

對得到的經(jīng)過轉(zhuǎn)換的數(shù)據(jù)進行挖掘。

4、結(jié)果分析

解釋并評估結(jié)果，其使用的分析方法一般應(yīng)視數(shù)據(jù)挖掘操作而定，通常會用到可視化技術(shù)。

5、知識的同化

將分析所得到的知識集成到所要應(yīng)用的地方去。

▲數(shù)據(jù)挖掘的分類表

如上圖所示，數(shù)據(jù)挖掘有多種分類方式，可以按照挖掘的數(shù)據(jù)庫類型、挖掘的知識類型、挖掘所用的技術(shù)類型進行分類。

同時，數(shù)據(jù)挖掘也可以按照行業(yè)應(yīng)用來進行分類，比如生物醫(yī)學(xué)、交通、金融等行業(yè)都有其獨特的數(shù)據(jù)挖掘方法，不能做到用同一個數(shù)據(jù)挖掘技術(shù)應(yīng)用到各個行業(yè)領(lǐng)域。

數(shù)據(jù)挖掘是知識發(fā)現(xiàn)（KDD）的一個關(guān)鍵步驟。1989年8月，Gregory I. Piatetsky- Shapiro等人在美國底特律的國際人工智能聯(lián)合會議（IJCAI）上召開了一個專題討論會（workshop），首次提出了知識發(fā)現(xiàn)（Knowledge Discovery in Database，KDD）這一概念。

▲數(shù)據(jù)挖掘是知識發(fā)現(xiàn)的過程之一

KDD涉及數(shù)據(jù)庫、機器學(xué)習(xí)、統(tǒng)計學(xué)、模式識別、數(shù)據(jù)可視化、高性能計算、知識獲取、神經(jīng)網(wǎng)絡(luò)、信息檢索等眾多學(xué)科和技術(shù)的集成，再后來的30年間KDD逐漸形成了一個獨立、蓬勃發(fā)展的交叉研究領(lǐng)域。

早期比較有影響力的發(fā)現(xiàn)算法有：IBM的Rakesh Agrawal的關(guān)聯(lián)算法、UIUC大學(xué)韓家煒（Jiawei Han）教授等人的FP Tree算法、澳大利亞的John Ross Quinlan教授的分類算法、密西根州立大學(xué)Erick Goodman的遺傳算法等等。

目前，數(shù)據(jù)挖掘已經(jīng)引起國際、國內(nèi)工業(yè)界的廣泛關(guān)注，IBM、谷歌、亞馬遜、微軟、Facebook、阿里巴巴、騰訊、百度等都在數(shù)據(jù)挖掘研究方面進行了應(yīng)用與理論研究。

國際知識發(fā)現(xiàn)與數(shù)據(jù)挖掘大會（ACM SIGKDD Conference on Knowledge Discovery and Data Mining，簡稱SIGKDD）是數(shù)據(jù)挖掘領(lǐng)域的頂級國際會議，由ACM的數(shù)據(jù)挖掘及知識發(fā)現(xiàn)專委會負(fù)責(zé)協(xié)調(diào)籌辦，會議內(nèi)容涵蓋數(shù)據(jù)挖掘的基礎(chǔ)理論、算法和實際應(yīng)用。

二、數(shù)據(jù)挖掘源于商業(yè)的直接需求

數(shù)據(jù)挖掘技術(shù)從一開始就是面向應(yīng)用的，源于商業(yè)的直接需求。目前數(shù)據(jù)挖掘在零售、旅游、物流、醫(yī)學(xué)等領(lǐng)域都有所應(yīng)用，可以大大提高行業(yè)效率和行業(yè)質(zhì)量。

舉個例子，零售是數(shù)據(jù)挖掘的主要應(yīng)用領(lǐng)域之一。這是因為由于條形碼技術(shù)的發(fā)展使得前端收款機系統(tǒng)可以收集大量售貨、顧客購買歷史記錄、貨物進出狀況、消費與服務(wù)記錄等數(shù)據(jù)。

數(shù)據(jù)挖掘技術(shù)有助于識別顧客購買行為，發(fā)現(xiàn)顧客購買模式和趨勢，改進服務(wù)質(zhì)量，取得更高的顧客保持力和滿意程度，減少零售業(yè)成本。

同時，同一顧客在不同時期購買的商品數(shù)據(jù)可以分組為序列，序列模式挖掘可用于分析顧客的消費或忠誠度的變化，據(jù)此對價格和商品的花樣加以調(diào)整和更新，以便留住老客戶，吸引新客戶。

與此同時，社交網(wǎng)絡(luò)也是數(shù)據(jù)挖掘研究中的熱門領(lǐng)域，比如新浪微博就是擁有海量數(shù)據(jù)的資訊平臺。

截止到2017年12月，新郎微博已擁有接近4億活躍用戶，內(nèi)容存量超千億，“大V”的一舉一動和社會熱點話題都會引起大量的評論與轉(zhuǎn)發(fā)，掀起一股“數(shù)據(jù)風(fēng)暴”。

▲柯潔烏鎮(zhèn)大戰(zhàn)AlphaGo撼負(fù)后的微博熱議

微博上每個用戶的言論、轉(zhuǎn)發(fā)內(nèi)容等都蘊藏著用戶個人的興趣、話題等信息，文字內(nèi)容本身的智能分析理解也是數(shù)據(jù)分析領(lǐng)域長久以來孜孜不倦追求的目標(biāo)。

社會網(wǎng)絡(luò)中的聚類被稱為社區(qū)發(fā)現(xiàn)，許多精心設(shè)計的高效算法可以很好地處理上億用戶的大規(guī)模網(wǎng)絡(luò)。

針對微博用戶的海量數(shù)據(jù)，對其進行數(shù)據(jù)描述性可以分析群體的年齡、性別比例、職業(yè)等；對于平均數(shù)、中位數(shù)、分位數(shù)、方差等統(tǒng)計指標(biāo)可以幫助我們粗略了解數(shù)據(jù)分布；回歸分析、方差分析等方法則可以解釋年齡、職業(yè)等因素是否會影響用戶對某熱門話題的關(guān)注程度。

此外，數(shù)據(jù)挖掘在旅游、物流、醫(yī)學(xué)等領(lǐng)域都有著廣泛的應(yīng)用場景。比如數(shù)據(jù)挖掘可以對旅游客流的趨向有著準(zhǔn)確的預(yù)知性，同時對于游客的喜好也有著直接性的掌握；從醫(yī)學(xué)數(shù)據(jù)中尋找潛在的關(guān)系或規(guī)律，可以獲得對病人進行診斷、治療的有效知識，增加對疾病預(yù)測的準(zhǔn)確性等。

三、人工智能與數(shù)據(jù)挖掘

數(shù)據(jù)挖掘從一個新的視角將數(shù)據(jù)庫技術(shù)、統(tǒng)計學(xué)、機器學(xué)習(xí)、信息檢索技術(shù)、數(shù)據(jù)可視化和模式識別與人工智能等領(lǐng)域有機結(jié)合起來，它組合了各個領(lǐng)域的優(yōu)點，因而能從數(shù)據(jù)中挖掘到運用其他傳統(tǒng)方法不能發(fā)現(xiàn)的有用知識。

一般來說，統(tǒng)計特征只能反映數(shù)據(jù)的極少量信息。簡單的統(tǒng)計分析可以幫助我們了解數(shù)據(jù)，如果希望對大數(shù)據(jù)進行逐個地、更深層次地探索，總結(jié)出規(guī)律和模型，則需要更加智能的基于機器學(xué)習(xí)的數(shù)據(jù)分析方法。

所謂“機器學(xué)習(xí)”，是基于數(shù)據(jù)本身的，自動構(gòu)建解決問題的規(guī)則與方法。數(shù)據(jù)挖掘中既可以用到非監(jiān)督學(xué)習(xí)方法，也可以用到監(jiān)督學(xué)習(xí)方法。

1、非監(jiān)督學(xué)習(xí)

非監(jiān)督學(xué)習(xí)是建立在所有數(shù)據(jù)的標(biāo)簽，即所屬的類別都是未知的情況下使用的分類方法。對于特定的一組數(shù)據(jù)，不知道這些數(shù)據(jù)應(yīng)該分為哪幾類，也不知道這些類別本來應(yīng)該有怎樣的特征，只知道每個數(shù)據(jù)的特征向量。若按它們的相關(guān)程度分成很多類，最先想到的想法就是認(rèn)為特征空間中距離較近的向量之間也較為相關(guān)，倘若一個元素只和其中某些元素比較接近，和另一些元素則相距較遠(yuǎn)。

這時候，我們就希望每一個類有一個“中心”，“中心”也是特征向量空間中的向量，是所有那一類的元素在向量空間上的重心，即他的每一維為所有包含在這一類中的元素的那一維的平均值。如果每一類都有這么一個“中心”，那么我們在分類數(shù)據(jù)時，只需要看他離哪個“中心”的距離最近，就將他分到該類即可，這也就是K-means算法的思路。

K-means算法，在1957年由Stuart Lloyd在貝爾實驗室提出，最初用于解決連續(xù)的圖區(qū)域劃分問題，1982年正式發(fā)表。1965年，E.W.Forgy發(fā)明了Lloyd-Forgy or。James MacQueen在1967年將其命名為K-means算法。

上圖是以隨機生成的數(shù)據(jù)點為例，k=3的K-means算法的迭代過程，其中五角星為聚類中心，點的顏色是其類別。在實際應(yīng)用中，為了獲得一個比較好的特征空間，使得“數(shù)據(jù)之間的相似性與他們在特征空間上的距離有關(guān)，距離越近越相似”這句話盡可能成立，我們往往會構(gòu)建模型來把原數(shù)據(jù)變換到這么一個特征空間，然后使用K-means算法來進行分類。

2、監(jiān)督學(xué)習(xí)

不同于非監(jiān)督學(xué)習(xí)，若已知一些數(shù)據(jù)上的真實分類情況，現(xiàn)在要對新的未知的數(shù)據(jù)進行分類。這時候利用已知的分類信息，可以得到一些更精確的分類方法，這些就是監(jiān)督學(xué)習(xí)方法。

1）決策樹模型

所謂決策樹，即是一種根據(jù)條件來進行判斷的邏輯框架。其中，判斷的條件，即提出有區(qū)分性的問題，以及對于不同的回答下一步的反映，以及最終的決策給出標(biāo)簽。

決策樹算法：

1.選取包含所有數(shù)據(jù)的全集為算法的初始集合A0：

2.對于當(dāng)前的集合A，計算所有可能的“問題”在訓(xùn)練集上的F（A,D）：

3.選擇F（A,D）最大的“問題”，對數(shù)據(jù)進行提問，將當(dāng)前的集合由“問題”的不同回答，劃分為數(shù)個子集；

4.對每個子集，重復(fù)b、c，直到所有子集內(nèi)所有元素的類別相同；

5.在實際應(yīng)用中，數(shù)據(jù)往往有很多特征，因此，“問題”往往是選取數(shù)據(jù)的某一特征，而“回答”則是此特征對應(yīng)的值。

在決策樹中，效度函數(shù)F（A,D）的選擇非常重要。決策樹的發(fā)展歷史，也基本是圍繞著F（A,D）的優(yōu)化而展開。

2）kNN算法

只知道每個數(shù)據(jù)在特征空間下的特征向量情況下，可以對數(shù)據(jù)采用無監(jiān)督分類方法K-means。如果我們擁有了其中一部分?jǐn)?shù)據(jù)的標(biāo)簽，我們就可以利用這些標(biāo)簽進行kNN分類。

數(shù)據(jù)之間的相似性與他們在特征空間上的距離有關(guān)。距離越近越相似，越可能擁有相同的標(biāo)簽。

假設(shè)我們已經(jīng)有了很多既知道特征向量也知道具體標(biāo)簽的數(shù)據(jù)對于新的只知道特征向量卻不知道具體標(biāo)簽的數(shù)據(jù)，我們可以選取離這個特征向量最近的k個已經(jīng)知道標(biāo)簽的數(shù)據(jù)，然后選取他們中間最多的元素所屬于的那個標(biāo)簽，作為新數(shù)據(jù)的預(yù)測標(biāo)簽。也可以根據(jù)他們與新數(shù)據(jù)的特征向量之間的距離加權(quán)（如最近得5分，第二近得4分等），取權(quán)重總和最大的標(biāo)簽作為預(yù)測標(biāo)簽。

kNN算法不需要構(gòu)建模型或者訓(xùn)練，和K-means算法一樣，往往是和某個構(gòu)建特征空間的模型一起使用。

此外，還有回歸分類、神經(jīng)網(wǎng)絡(luò)、樸素貝葉斯分類等等。

四、巨頭們的數(shù)據(jù)挖掘之路

在當(dāng)下，數(shù)據(jù)挖掘也逐漸成為當(dāng)下的熱門研究領(lǐng)域之一，受到了谷歌、亞馬遜、微軟、百度、阿里、騰訊等科技巨頭的追捧。

1、谷歌

谷歌幾乎每年都會發(fā)表一些讓人驚艷的研究工作，包括之前的MapReduce、Word2Vec、BigTable，近期的BERT。數(shù)據(jù)挖掘是谷歌研究的一個重點領(lǐng)域。

2018年谷歌全球不同研究中心在數(shù)據(jù)挖掘頂級國際會議KDD上一共發(fā)表了7篇文章。

2、亞馬遜

亞馬遜公司近幾年發(fā)展勢頭超級猛，前幾年華麗的轉(zhuǎn)身：從一個網(wǎng)上商店公司變?yōu)樵破脚_公司再轉(zhuǎn)變到目前的人工智能公司，亞馬遜也在數(shù)據(jù)挖掘領(lǐng)域開始占有一席，尤其是在人才網(wǎng)羅、開源、核心技術(shù)研發(fā)。

2018年亞馬遜在數(shù)據(jù)挖掘頂級國際會議KDD的Applied Data Science Track（應(yīng)用數(shù)據(jù)科學(xué)Track）上一共發(fā)表了2篇文章，另外還有兩個應(yīng)用科學(xué)的邀請報告。

3、微軟

微軟是老牌論文王國，一直以來都在學(xué)術(shù)界特別活躍，因此在KDD上每年和微軟有關(guān)的論文非常多，因此這里只統(tǒng)計了微軟作為第一作者的文章。

2018年在數(shù)據(jù)挖掘頂級國際會議KDD上一共發(fā)表了6篇文章，另外還有一個應(yīng)用科學(xué)的邀請報告，這些文章和報告都更多的從大數(shù)據(jù)的角度在思考如何更有效，更快速的分析。

4、阿里巴巴

阿里巴巴在電子商務(wù)方面做了大量的數(shù)據(jù)挖掘研究。尤其是在表示學(xué)習(xí)和增強學(xué)習(xí)做了幾個很有意思的工作。

2018年阿里巴巴在數(shù)據(jù)挖掘頂級國際會議KDD上作為第一作者單位一共發(fā)表了8篇文章。

5、騰訊

2018年騰訊在數(shù)據(jù)挖掘頂級國際會議KDD上作為第一作者單位一共發(fā)表了2篇文章。

6、百度

2018年百度在數(shù)據(jù)挖掘頂級國際會議KDD上作為第一作者單位一共發(fā)表了2篇文章。

五、大數(shù)據(jù)與數(shù)據(jù)挖掘

大數(shù)據(jù)是近年隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、通信網(wǎng)絡(luò)以及人類社交網(wǎng)絡(luò)快速發(fā)展的結(jié)果，成為一個交叉研究學(xué)科，和數(shù)據(jù)挖掘緊密相連。

大數(shù)據(jù)的迅速發(fā)展也使得數(shù)據(jù)挖掘?qū)ο笞兊酶鼮閺?fù)雜，不僅包括人類社會與物理世界的復(fù)雜聯(lián)系，還包括呈現(xiàn)出的高度動態(tài)化。這使得很多傳統(tǒng)數(shù)據(jù)挖掘算法不再適用，傳統(tǒng)數(shù)據(jù)挖掘算法必須滿足對真實數(shù)據(jù)和實時數(shù)據(jù)的處理能力，才能從大量無序數(shù)據(jù)中獲取真正價值。

一方面大數(shù)據(jù)包含數(shù)據(jù)挖掘的各個階段，即數(shù)據(jù)收集、預(yù)處理、特征選擇、模式挖掘、表示等；另一方面大數(shù)據(jù)的基礎(chǔ)架構(gòu)又為數(shù)據(jù)挖掘提供上層數(shù)據(jù)處理的硬件設(shè)施。

▲大數(shù)據(jù)處理平臺技術(shù)架構(gòu)圖

從技術(shù)架構(gòu)角度，大數(shù)據(jù)處理平臺可劃分為4個層次：數(shù)據(jù)采集層、數(shù)據(jù)存儲層、數(shù)據(jù)處理層和服務(wù)封裝層。

除此之外，大數(shù)據(jù)處理平臺一般還包括數(shù)據(jù)安全和隱式保護模塊，這一模塊貫穿大數(shù)據(jù)處理平臺的各個層次。

隨著大數(shù)據(jù)時代的來臨，各行各業(yè)所積累的數(shù)據(jù)呈爆炸式增長，數(shù)據(jù)挖掘在各個領(lǐng)域的需求將會越來越強烈，與各個專業(yè)領(lǐng)域的結(jié)合也將會越來越廣泛。無論是在科學(xué)領(lǐng)域還是工程領(lǐng)域、理論研究還是現(xiàn)實生活中，數(shù)據(jù)挖掘都將有著極為廣闊的發(fā)展前景。