MIT開發(fā)數(shù)據(jù)分析師的“無界畫布”

還記得《復(fù)仇者聯(lián)盟2》里面鋼鐵俠和班納博士創(chuàng)造奧創(chuàng)的時候，使用全息投影將三維數(shù)據(jù)投射到空氣中，然后直接用雙手操控這些數(shù)據(jù)的畫面嗎？

遺憾的是，這樣的系統(tǒng)目前尚未成為現(xiàn)實。

是什么限制了我們像鋼鐵俠一樣操作數(shù)據(jù)呢？如果暫時還想不到答案，不如我們先來看一下要實現(xiàn)這個需要哪些技術(shù)吧。

首先肯定是全息投影，很多人可能認(rèn)為，限制這個技術(shù)的肯定是沒有這么好的全息投影，誠然，全息投影目前還尚未成熟，但是以目前的發(fā)展來看，并不是說現(xiàn)有的技術(shù)不能將數(shù)據(jù)表實時投影到三維空間中，還記得五月中旬被Magic Leap收購的Mimesys公司么？我們來看看這家公司已經(jīng)將全息投影做到什么地步了。

建筑模型和人都進行了全息投影，而且人還可以對模型進行交互操作，是不是有點賽博朋克？

也就是說，盡管在邊界的處理還存在一些瑕疵，但是將數(shù)據(jù)表投影到空氣中并進行操作，并不是遙不可及的。

那是究竟什么封印了Stark的出現(xiàn)？

答案是智能。因為就算我們將各種數(shù)據(jù)表投影到了空氣中，并且各種諸如手環(huán)、指環(huán)的傳感器也能夠?qū)⑽覀兊膭幼鞣从辰o計算機形成指令，但是如果沒有智能，我們實現(xiàn)的僅僅就是用了更加炫酷的姿勢來操作Excel而已。你將一個表格拖過來，也就實現(xiàn)了ctrl+c&ctrl+v。

兩家高校的研究員正在嘗試突破這個瓶頸。

不久之前，麻省理工學(xué)院和布朗大學(xué)的研究人員開發(fā)了一個在觸摸屏上運行的交互式智能數(shù)據(jù)分析系統(tǒng)，名為Northstar，該系統(tǒng)在云中運行，而且其界面支持任何觸摸屏設(shè)備，包括智能手機和大型交互式顯示屏。

更關(guān)鍵的是，它可以根據(jù)用戶操作實時生成機器學(xué)習(xí)模型，從而在其數(shù)據(jù)集上運行預(yù)測任務(wù)。

而這，得益于一項新的AutoML組件：VDS

迄今為止最快的交互式AutoML工具——VDS

VDS首先出現(xiàn)在ACM SIGMOD會議上發(fā)表的一篇論文中，利用的是現(xiàn)在比較火的人工智能技術(shù)——自動機器學(xué)習(xí)(AutoML)，它可以讓沒有數(shù)據(jù)科學(xué)知識的人根據(jù)他們的數(shù)據(jù)集訓(xùn)練AI模型進行預(yù)測。

例如，醫(yī)生可以使用該系統(tǒng)來幫助預(yù)測哪些患者更容易患某些疾病，而企業(yè)主也可以通過該系統(tǒng)預(yù)測銷售情況。用戶也可以通過使用交互式顯示屏進行實時協(xié)作。這個系統(tǒng)的目的是使用戶更容易進行復(fù)雜的數(shù)據(jù)分析，同時保證分析的速度和準(zhǔn)確度，在此基礎(chǔ)上實現(xiàn)數(shù)據(jù)科學(xué)的大眾化。

“即使是不了解數(shù)據(jù)科學(xué)的咖啡店老板也應(yīng)該能夠預(yù)測未來幾周內(nèi)他們的銷售情況，以確定要進多少貨”，論文的共同作者和長期擔(dān)任Northstar項目的負(fù)責(zé)人Tim Kraska說。他是麻省理工學(xué)院計算機科學(xué)和人工智能實驗室(CSAIL)的電氣工程和計算機科學(xué)副教授，也是新數(shù)據(jù)系統(tǒng)和人工智能實驗室(DSAIL)的創(chuàng)始人之一。

目前，自動機器學(xué)習(xí)技術(shù)的優(yōu)化基于DARPA D3M自動機器學(xué)習(xí)競賽，該競賽每六個月決出一次性能最佳的AutoML工具。

數(shù)據(jù)分析師的“無界畫布”

這一新成果建立在麻省理工學(xué)院和布朗研究員在Northstar的多年合作基礎(chǔ)之上。四年多來，研究人員發(fā)表了大量論文，詳細(xì)介紹Northstar組件，包括交互式界面，多平臺操作，加速運行結(jié)果以及用戶行為研究。

Northstar系統(tǒng)以空白白色界面開始。用戶將數(shù)據(jù)集上載到系統(tǒng)之后，該數(shù)據(jù)集會顯示在左側(cè)的“數(shù)據(jù)集”框中。任何數(shù)據(jù)標(biāo)簽都會自動填充進界面下方的“屬性”框。界面上還有一個“運算符”框，其中包含各種算法，以及新的AutoML工具。所有數(shù)據(jù)都在云中存儲和分析。

下面讓我們用一個例子詳細(xì)論述：

設(shè)想一群醫(yī)學(xué)研究人員，他們想要探究某年齡組中特定疾病并發(fā)可能性。

他們將模式檢查算法拖放到界面中間，該算法最初顯示為空白框。

作為輸入，他們將標(biāo)記好的疾病特征如“血液”、“傳染性”和“代謝”移動到算法框中。

隨后，算法框中就會顯示這些疾病的百分比。如果他們將“年齡”特征拖到界面中，該界面就會出現(xiàn)另外一個框，框內(nèi)會顯示患者年齡分布的條形圖。

最后，在兩個框之間畫一條線將它們連接在一起，算法就會立即自動計算圍繞不同年齡范圍的三種疾病的關(guān)聯(lián)和并發(fā)現(xiàn)象。

“這就像一個大而無界的畫布，你可以在這里展示你想要的一切”，Northstar互動界面的主要開發(fā)者的Zgraggen說，“你還可以將所有內(nèi)容鏈接在一起，以處理更復(fù)雜的問題”。

通過VDS，用戶現(xiàn)在還可以通過個性化模型，使其適合自己的分析任務(wù)，并在自己的數(shù)據(jù)集上進行預(yù)測分析，例如數(shù)據(jù)預(yù)測，圖像分類或分析復(fù)雜圖形結(jié)構(gòu)。

以上述的醫(yī)學(xué)探究為例，醫(yī)學(xué)研究人員希望根據(jù)數(shù)據(jù)集中的特征預(yù)測哪些患者可能患有血液疾病。他們從算法列表中將“AutoML”拖入數(shù)據(jù)集中。系統(tǒng)首先會產(chǎn)生一個帶有“目標(biāo)”標(biāo)簽的空白框。研究人員將“血液”這一標(biāo)簽拖到空白框。系統(tǒng)將自動找到性能最佳的機器學(xué)習(xí)算法，以不斷更新的精度百分比的選項卡顯示。用戶可以隨時停止該過程，優(yōu)化搜索，并檢查每個模型的錯誤率，結(jié)構(gòu)，計算和其他事項。

請看視頻演示：

實時智能交互，才是真正的交互

據(jù)研究人員的介紹，VDS是迄今為止最快的交互式AutoML工具，這部分歸功于他們定制的“估算引擎”。引擎位于界面和云存儲之間。引擎自動創(chuàng)建數(shù)據(jù)集的幾個代表性樣本進行逐步處理，從而在幾秒鐘內(nèi)生成高質(zhì)量的結(jié)果。

“我們花了兩年時間設(shè)計VDS，使之契合數(shù)據(jù)科學(xué)家的思維方式，”論文的另一位作者Shang說。VDS可以根據(jù)各種編譯規(guī)則，立即確定哪些模型和預(yù)處理步驟是不是應(yīng)該為用戶提前實現(xiàn)。

在機器學(xué)習(xí)模型的選擇上，它可以從那些大量的機器學(xué)習(xí)算法列表中選擇并在樣本集上運行模擬，同時記錄結(jié)果并優(yōu)化選擇。在提供快速近似結(jié)果后，系統(tǒng)還會在后端細(xì)化結(jié)果。

“至于預(yù)測，用戶不希望等待四個小時才能獲得第一個結(jié)果。用戶希望看到實時發(fā)生的事情，這樣如果發(fā)現(xiàn)了錯誤，用戶可以立即糾正它。但這在任何其他系統(tǒng)中通常是不可能的”，Kraska說。

研究人員在300個真實數(shù)據(jù)集上對工具進行評估。與其他最先進的AutoML系統(tǒng)相比，VDS預(yù)測的準(zhǔn)確度大致相同，但VDS的預(yù)測結(jié)果可以在幾秒鐘內(nèi)生成，這比其他工具快得多，后者往往需要在幾分鐘到幾小時內(nèi)才能運行出結(jié)果。

有了Northstar的VDS組件，我們得到了一個二維空間的交互式智能數(shù)據(jù)分析系統(tǒng)，也許離鋼鐵俠的實驗室還有點距離，但是如果有一天Northstar將全息投影加到下一代分析系統(tǒng)中，那么——也許我就可以坐在沙發(fā)上小手一揮：“Javis，把我這個表做好發(fā)給老板?！?/p>