京東舉辦首屆大數(shù)據(jù)峰會，零售大數(shù)據(jù)“操作系統(tǒng)”全面亮相

近日，京東舉辦首屆大數(shù)據(jù)峰會，此次峰會亮點頗多，京東打造的智能零售大數(shù)據(jù)“操作系統(tǒng)”全面亮相，并發(fā)布《京東大數(shù)據(jù)技術(shù)白皮書》，宣布與英特爾合作建立數(shù)字化零售聯(lián)合實驗室、推出針對線下零售、區(qū)塊鏈等領(lǐng)域的多款產(chǎn)品。

值得注意的是，不同以往以戰(zhàn)略和產(chǎn)品為主的發(fā)布會，此次，京東大數(shù)據(jù)團隊各技術(shù)部門負(fù)責(zé)人悉數(shù)登臺，詳細(xì)介紹了京東大數(shù)據(jù)平臺的底層架構(gòu)和技術(shù)細(xì)節(jié)。

發(fā)布大數(shù)據(jù)白皮書，打造一站式全流程大數(shù)據(jù)解決方案

京東集團CTO張晨在開場演講中指出，如今的京東已經(jīng)不僅僅是一家零售公司，而是數(shù)字經(jīng)濟與實體經(jīng)濟深度融合的創(chuàng)新企業(yè)，完整的產(chǎn)業(yè)鏈條帶來了海量大數(shù)據(jù)和豐富的業(yè)務(wù)場景。

據(jù)介紹，2010年京東就啟動了在大數(shù)據(jù)領(lǐng)域的研發(fā)和應(yīng)用探索，正式組建京東大數(shù)據(jù)部，并確立了數(shù)據(jù)集中式的數(shù)據(jù)服務(wù)模式。

此次發(fā)布會，《京東大數(shù)據(jù)技術(shù)白皮書》正式對外發(fā)布，至于為什么選擇在這個節(jié)點發(fā)布，京東集團副總裁、大數(shù)據(jù)平臺負(fù)責(zé)人翁志在接受包括雷鋒網(wǎng)在內(nèi)的媒體采訪時表示，首先，京東大數(shù)據(jù)經(jīng)過十幾年的發(fā)展，在技術(shù)上已經(jīng)積累到一定程度，是時候向外界展示其成果；其次，京東非?？春脭?shù)據(jù)科學(xué)對整個經(jīng)濟發(fā)展的驅(qū)動，通過這個節(jié)點發(fā)布白皮書，可以展示京東的技術(shù)能力，也希望通過大數(shù)據(jù)和數(shù)據(jù)產(chǎn)品的對外開放，賦能行業(yè)，產(chǎn)生更大價值。

此外，翁志表示，通過發(fā)布大數(shù)據(jù)技術(shù)白皮書，可以讓行業(yè)伙伴和相關(guān)從業(yè)者對京東大數(shù)據(jù)整個發(fā)展概貌有比較系統(tǒng)的了解，“研發(fā)人員也可以通過這本書來了解京東是怎樣進(jìn)行數(shù)據(jù)處理的，可以看到我們在哪方面非常重視，做了哪些工作；對于大數(shù)據(jù)分析的從業(yè)人員，他們可以從中來了解京東大概數(shù)據(jù)的面貌，這里包括底層的，包括我們產(chǎn)品的，也包括我們應(yīng)用方向的，所以對他們來說應(yīng)該也是非常有用；這本白皮書對普通的數(shù)據(jù)分析人員和新聞工作者也有參考價值。”

第一時間拿到了這本《京東大數(shù)據(jù)技術(shù)白皮書》，主體內(nèi)容共八個章節(jié)，涵蓋了京東大數(shù)據(jù)的發(fā)展歷程、技術(shù)體系、數(shù)據(jù)管理、數(shù)據(jù)產(chǎn)品、應(yīng)用場景、合作生態(tài)以及京東大數(shù)據(jù)的特點和展望。

白皮書中指出，京東大數(shù)據(jù)平臺的發(fā)展隨著京東業(yè)務(wù)同步發(fā)展，由原來的傳統(tǒng)數(shù)據(jù)倉庫模式逐步演變?yōu)榛贖adoop的分布式計算架構(gòu)。

技術(shù)領(lǐng)域覆蓋Hadoop、Kubernetes、Spark、Hive、Alluxio、Presto、Hbase、Storm、Flink、Kafka等大數(shù)據(jù)全生態(tài)體系。

目前已擁有集群規(guī)模40000+服務(wù)器、數(shù)據(jù)規(guī)模800PB+、日增數(shù)據(jù)1P+，每日的離線數(shù)據(jù)日處理30PB+，實時計算每天行數(shù)近萬億條。

建設(shè)了完整的技術(shù)體系，包括離線計算、實時計算和機器學(xué)習(xí)平臺，可以滿足多種復(fù)雜應(yīng)用場景的計算任務(wù)。

元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、任務(wù)調(diào)度、數(shù)據(jù)開發(fā)工具、流程中心等構(gòu)成了全面的數(shù)據(jù)運營工具。

分析師、指南針等數(shù)據(jù)應(yīng)用產(chǎn)品提供了便利的數(shù)據(jù)分析功能，以及敏感數(shù)據(jù)保護(hù)、數(shù)據(jù)權(quán)限控 制等策略方案，能夠最大程度地保護(hù)數(shù)據(jù)資產(chǎn)的安全。

利用大數(shù)據(jù)分析和挖掘，京東打造了個性化商城，自主研發(fā)了智能門店解決方案，打造了智能供應(yīng)鏈體系，京東大數(shù)據(jù)的應(yīng)用已滲透到了業(yè)務(wù)的各個環(huán)節(jié)。

京東大數(shù)據(jù)的特點包括：

高可用和高性能。采用自研 Yarn Federation 技術(shù)實現(xiàn)資源按需無限擴展；采用自研大數(shù)據(jù)虛擬化容器技術(shù)實現(xiàn)計算資源共享；采用自研 Vitual FileSystem 技術(shù)實現(xiàn)計算存儲分離。

一站式服務(wù)平臺。覆蓋了用戶、商品、采銷、倉儲、配送、 訂單、售后等電商全產(chǎn)業(yè)鏈數(shù)據(jù)；建立了完善的技術(shù)體系；提供全面的平臺產(chǎn)品和服務(wù)。

可靠的安全保障。數(shù)據(jù)分級保護(hù)；通過用戶權(quán)限系統(tǒng)保障用戶數(shù)據(jù)安全；對敏感數(shù)據(jù)傳輸通道進(jìn)行加密。

此外，京東大數(shù)據(jù)建設(shè)了全生態(tài)核心產(chǎn)品體系，是京東大數(shù)據(jù)業(yè)務(wù)的基礎(chǔ)服務(wù)平臺，為京東全業(yè)務(wù)生態(tài)提供一站式、自助式的大數(shù)據(jù)處理全流程解決方案。

涵蓋數(shù)據(jù)采集、存儲、加工、分析、可視化、機器學(xué)習(xí)等專業(yè)化產(chǎn)品和服務(wù)，在保障數(shù)據(jù)安全的前提下，提供更可靠、高性能的服務(wù)，降低大數(shù)據(jù)使用門檻，幫助京東大數(shù)據(jù)業(yè)務(wù)快速落地。

攜手英特爾，建立數(shù)字化零售聯(lián)合實驗室

在論壇上，京東攜手英特爾宣布建立數(shù)字化零售聯(lián)合實驗室，據(jù)介紹，雙方將探索IoT（物聯(lián)網(wǎng)）在線下智能零售解決方案中的應(yīng)用。

數(shù)字化零售聯(lián)合實驗室將憑借京東在零售行業(yè)的海量大數(shù)據(jù)積累，與英特爾邊緣計算優(yōu)勢相結(jié)合，旨在建立更加完善的零售產(chǎn)業(yè)基礎(chǔ)設(shè)施，孵化并推動新技術(shù)、新產(chǎn)品的商業(yè)落地與全球推廣。

翁志表示：“這個實驗室將結(jié)合雙方的優(yōu)勢，開發(fā)尖端的解決方案，將在線購物出色的精準(zhǔn)體驗帶給線下的消費者。我們期待著擴大與英特爾的合作，無論消費者在哪里購物，都能提供一流的個性化購物體驗?！?/p>

據(jù)了解，目前京東已與英特爾在門店科技、邊緣計算、新媒體領(lǐng)域展開合作并取得了一定成果：

在門店科技方面，借助京東機器視覺算法與英特爾RRI邊緣計算和OPENVINO計算機視覺加速技術(shù)，已經(jīng)可以利用普通安防攝像頭做門店客流分析與用戶行為識別。

在邊緣計算領(lǐng)域，結(jié)合英特爾的技術(shù)優(yōu)勢與京東門店IoT平臺結(jié)合，提升了設(shè)備接入能力與邊緣計算能力。

新媒體方面，雙方正在就基于深度學(xué)習(xí)的智能媒體推薦平臺展開合作，根據(jù)周邊客群特點提升廣告投放效果。

針對線下零售，推出全新智能零售解決方案“數(shù)鏈+”

在論壇上，京東公布了針對線下零售的全新智能零售解決方案——數(shù)鏈+。

據(jù)介紹，數(shù)鏈+大數(shù)據(jù)智能零售服務(wù)解決方案整合了此前京東在門店科技、智能供應(yīng)鏈等業(yè)務(wù)上的經(jīng)驗成果，由京東大數(shù)據(jù)團隊自研形成。

該解決方案是將大數(shù)據(jù)技術(shù)和人工智能技術(shù)進(jìn)行結(jié)合打造出的智能零售業(yè)態(tài)。

首先，以社交體系、內(nèi)容體系以及交易體系為依托，為品牌商打造的線上線下一體化、服務(wù)深度定制化、場景交易高融合的零售解決方案，旨在成為智能零售的大數(shù)據(jù)“操作系統(tǒng)”。

其次，以實現(xiàn)產(chǎn)業(yè)鏈成本、效率最優(yōu)化，打造極致用戶體驗為目的，針對現(xiàn)有的線下實體店進(jìn)行升級改造，為店鋪提供智能化數(shù)據(jù)支撐，實現(xiàn)“知人、知貨、知場”的精準(zhǔn)匹配，驅(qū)動企業(yè)業(yè)務(wù)增長、提升運營效率，為客戶提供個性化、高品質(zhì)產(chǎn)品及服務(wù)。

在該解決方案中，包含了前端的應(yīng)用到基礎(chǔ)的協(xié)議和數(shù)據(jù)支持，每一個功能都以組件化的模式對外輸出，并整合了祖沖之全鏈路數(shù)據(jù)平臺，提供更為完整的一體化解決方案。

此外，為了能夠更好地幫助商家使用這套解決方案，京東還推出了“燈塔”計劃，由組件、產(chǎn)品和服務(wù)三個部分組成，為商家提供業(yè)務(wù)對接、產(chǎn)品升級、技能培訓(xùn)等服務(wù)。

發(fā)布企業(yè)級區(qū)塊鏈應(yīng)用平臺

發(fā)布會最后環(huán)節(jié)，京東還發(fā)布了兩大企業(yè)級區(qū)塊鏈領(lǐng)域應(yīng)用平臺：

面向消費品和醫(yī)藥行業(yè)推出的區(qū)塊鏈防偽追溯平臺能幫助消費品行業(yè)建立全程的信息防偽追溯，并滿足企業(yè)多樣化的數(shù)字分析及營銷需求；推動醫(yī)藥領(lǐng)域建立透明、安全、高效的管理機制，實現(xiàn)疫苗、藥品、醫(yī)療器械等的追溯能力。

區(qū)塊鏈存證平臺可通過自動化取證、可信存證、一鍵舉證、侵權(quán)預(yù)警等能力，應(yīng)用于多種同信任關(guān)聯(lián)的場景中，助力構(gòu)建信任經(jīng)濟大環(huán)境。

此外，京東在論壇上還推出了具有自主知識產(chǎn)權(quán)的企業(yè)級區(qū)塊鏈框架系統(tǒng)——JD CHAIN。

據(jù)介紹，其交易處理達(dá)到萬級TPS，交易確認(rèn)縮短至秒級；基于可動態(tài)伸縮的賬本存儲設(shè)計支持海量賬戶和交易；支持多核并行的高性能密碼算法，并且，該框架系統(tǒng)將在2019年1季度開源。