Apache Eagle Hadoop數(shù)據(jù)安全方案

Apache Eagle 是 eBay 公司推出的分布式實(shí)時(shí)安全監(jiān)控引方案，該項(xiàng)目已正式加入 Apache 成為孵化項(xiàng)目。Apache Eagle 提供一套高效分布式的流式策略引擎，具有高實(shí)時(shí)、可伸縮、易擴(kuò)展、交互友好等特點(diǎn)，同時(shí)集成機(jī)器學(xué)習(xí)對(duì)用戶行為建立 Profile 以實(shí)現(xiàn)實(shí)時(shí)智能實(shí)時(shí)地保護(hù) Hadoop 生態(tài)系統(tǒng)中大數(shù)據(jù)的安全。

Eagle 是開源分布式實(shí)時(shí) Hadoop 數(shù)據(jù)安全方案，支持?jǐn)?shù)據(jù)行為實(shí)時(shí)監(jiān)控，能立即監(jiān)測(cè)出對(duì)敏感數(shù)據(jù)的訪問或惡意的操作，并立即采取應(yīng)對(duì)的措施。

Eagle 的數(shù)據(jù)行為監(jiān)控方案可用于如下幾類典型場(chǎng)景：

• 監(jiān)控 Hadoop 中的數(shù)據(jù)訪問流量

• 檢測(cè)非法入侵和違反安全規(guī)則的行為

• 檢測(cè)并防止敏感數(shù)據(jù)丟失和訪問

• 實(shí)現(xiàn)基于策略的實(shí)時(shí)檢測(cè)和預(yù)警

• 實(shí)現(xiàn)基于用戶行為模式的異常數(shù)據(jù)行為檢測(cè)

Eagle 具有如下特點(diǎn)：

• 高實(shí)時(shí)： 我們充分理解安全監(jiān)控中高度實(shí)時(shí)和快速反應(yīng)的重要性，因此設(shè)計(jì)Eagle之初，我們竭盡可能地確保能在亞秒級(jí)別時(shí)間內(nèi)產(chǎn)生告警，一旦綜合多種因素確訂為危險(xiǎn)操作，立即采取措施阻止非法行為。

• 可伸縮：在eBay Eagle 被部署在多個(gè)大型Hadoop集群上，這些集群擁有數(shù)百PB的數(shù)據(jù)，每天有8億以上的數(shù)據(jù)訪問時(shí)間，因此Eagle必須具有處理海量實(shí)時(shí)數(shù)據(jù)的高度可伸縮能力。

• 簡(jiǎn)單易用：可用性也是Eagle產(chǎn)品的核心設(shè)計(jì)原則之一。通過Eagle的Sandbox，使用者僅需數(shù)分鐘便可以設(shè)置好環(huán)境并開始嘗試。為了使得用戶體驗(yàn)盡可能簡(jiǎn)單，我們內(nèi)置了許多很好的例子，只需簡(jiǎn)單地點(diǎn)擊幾步鼠標(biāo)，便可以輕松地完成策略地創(chuàng)建和添加。

• 用戶Profile：Eagle 內(nèi)置提供基于機(jī)器學(xué)習(xí)算法對(duì)Hadoop中用戶行為習(xí)慣建立用戶Profile的功能。我們提供多種默認(rèn)的機(jī)器學(xué)習(xí)算法供你選擇用于針對(duì)不同HDFS特征集進(jìn)行建模，通過歷史行為模型，Eagle可以實(shí)時(shí)地檢測(cè)異常用戶行為并產(chǎn)生預(yù)警。

• 開源：Eagle一直根據(jù)開源的標(biāo)準(zhǔn)開發(fā)，并構(gòu)建于諸多大數(shù)據(jù)領(lǐng)域的開源產(chǎn)品之上，因此我們決定以Apache許可證開源Eagle，以回饋社區(qū)，同時(shí)也期待獲得社區(qū)的反饋、協(xié)作與支持。