IOTA架構(gòu)之下的數(shù)據(jù)采集

來(lái)源：ST社區(qū)

IOTA架構(gòu)是基于IOTA和AI時(shí)代背景下的大數(shù)據(jù)架構(gòu)模式，其整體技術(shù)結(jié)構(gòu)的核心是貫穿于整體業(yè)務(wù)始終的數(shù)據(jù)模型，具有提高整體的預(yù)算效率的作用。IOTA架構(gòu)這一概念由易觀首次提出，并將其應(yīng)用于最新研發(fā)的精細(xì)化運(yùn)營(yíng)工具中。

在之前文章中介紹過(guò)易觀提出的IOTA架構(gòu)，相信很多同學(xué)已經(jīng)對(duì)整體有了一個(gè)了解。本文將介紹IOTA架構(gòu)下的數(shù)據(jù)采集。

在IOTA架構(gòu)下，在當(dāng)下終端設(shè)備計(jì)算能力普通較強(qiáng)的情況下，SDK不僅承載著以往的基礎(chǔ)功能，并且被賦予了邊緣計(jì)算的角色。例如在設(shè)備端就開(kāi)始做數(shù)據(jù)完整性和有效性的校驗(yàn)、將用戶行為轉(zhuǎn)化成為統(tǒng)一的數(shù)據(jù)模型，然后傳送給服務(wù)端。

一個(gè)穩(wěn)定的數(shù)據(jù)采集端需要有如下功能，存儲(chǔ)、回?cái)?shù)、控制、保護(hù)。

存儲(chǔ)：數(shù)據(jù)存儲(chǔ)，校驗(yàn)當(dāng)前存儲(chǔ)數(shù)據(jù)合法性，及防止數(shù)據(jù)被第三方串改。

回?cái)?shù)：數(shù)據(jù)上報(bào)，加密上報(bào)數(shù)據(jù)，防止被第三方截取，保證不受HOOK等影響，防止DNS污染等。

控制：控制發(fā)送策略，可以指定3G/4G/wifi 環(huán)境上傳，可以調(diào)整上報(bào)時(shí)間頻次、本地?cái)?shù)據(jù)緩存規(guī)則全部可動(dòng)態(tài)調(diào)整。

保護(hù)：有自保護(hù)機(jī)制。不要影響用戶的正常使用，減少因逆向?qū)е碌臄?shù)據(jù)異常

顯而易見(jiàn)，普通的采集端都具有這些功能。作為IOTA架構(gòu)下的采集端進(jìn)行了哪些優(yōu)化呢？如下:

統(tǒng)一模型：在IOTA架構(gòu)下從數(shù)據(jù)采集到數(shù)據(jù)接收以及數(shù)據(jù)處理都是用一套數(shù)據(jù)模型。例如對(duì)于用戶行為分析時(shí)會(huì)用到的模型中，我們可以抽象出以下幾個(gè)基本要素： 發(fā)生行為主體 （who），行為發(fā)生的時(shí)間(when), 行為的發(fā)生地點(diǎn)(where)，發(fā)送的事件(what)。在IOTA架構(gòu)下也統(tǒng)稱為Common Data Model。

聚合：同樣的數(shù)據(jù)進(jìn)行邊緣聚合計(jì)算，如某些用戶訪問(wèn)路徑可以直接由采集端來(lái)完成，生成對(duì)應(yīng)類似漏斗的事件。一般這個(gè)計(jì)算是服務(wù)器下發(fā)策略來(lái)動(dòng)態(tài)控制的，當(dāng)然也可以隨時(shí)做出調(diào)整，值得注意的是這是不可以逆的運(yùn)算，并且這種模式只適用于適合間隔發(fā)送模式的數(shù)據(jù)。

校驗(yàn)：數(shù)據(jù)的完整和有效性可以放到采集端處理，確保SDK給server的數(shù)據(jù)不是被修改的，產(chǎn)生的數(shù)據(jù)是合理的，這就要求采集端加入防作弊的功能。 這是一個(gè)成熟產(chǎn)品長(zhǎng)期需要投入的項(xiàng)目，大部分公司的風(fēng)控做的也有一部分這樣的工作。典型的案例如防止Xposed攔截，防止反編譯，防止二次打包。

實(shí)時(shí)：數(shù)據(jù)實(shí)時(shí)上報(bào)給服務(wù)器，這樣才能讓用戶感覺(jué)到零延遲，實(shí)時(shí)計(jì)算。如12306購(gòu)票，要立即的進(jìn)行查看結(jié)果，不能等得到次日才看到結(jié)果。同樣的帶來(lái)另一個(gè)問(wèn)題，個(gè)人高頻上報(bào)、用戶高峰期大量用戶上報(bào)需要進(jìn)行區(qū)分，兩者對(duì)收數(shù)服務(wù)器而言是一樣的，那這個(gè)時(shí)候就需要收數(shù)服務(wù)器和采集端進(jìn)行通訊，動(dòng)態(tài)控制。

高可控：高可控是對(duì)數(shù)據(jù)采集最基礎(chǔ)，也是最重要的一個(gè)要求。不然面對(duì)攻擊，服務(wù)器無(wú)法實(shí)時(shí)監(jiān)控，動(dòng)態(tài)調(diào)整，立即處理，可能會(huì)導(dǎo)致服務(wù)器的短時(shí)間無(wú)法正常工作(如數(shù)據(jù)處理延遲，嚴(yán)重的乃至宕機(jī))。

當(dāng)然對(duì)于很多大數(shù)據(jù)架構(gòu)中，數(shù)據(jù)采集端各不相同，這也是我們?cè)谥С执罅坑脩艉蟮囊粋€(gè)分享。

總的來(lái)說(shuō)，IOTA架構(gòu)下的數(shù)據(jù)采集有如下特點(diǎn)：采用統(tǒng)一的數(shù)據(jù)模型，支持邊緣計(jì)算、支持與服務(wù)器端動(dòng)態(tài)交互的控制策略。這些已經(jīng)在易觀的數(shù)據(jù)產(chǎn)品中廣泛使用，也歡迎大家試用易觀方舟、易觀千帆。

審核編輯 黃昊宇