SensiML開源了Analytics Studio AutoML引擎

我們很高興地宣布，我們的AutoML服務(wù)器應(yīng)用程序Analytics Studio將很快在開源許可下提供。我們還將推出一個新的開源項目網(wǎng)站，以聯(lián)合一個致力于為 tinyML 模型開發(fā)創(chuàng)建全面的、與硬件無關(guān)的解決方案的開發(fā)人員社區(qū)。此次發(fā)布計劃于初夏進(jìn)行，我們正準(zhǔn)備在您的支持下取得成功。

Analytics Studio作為專有應(yīng)用程序和云 SaaS服務(wù)經(jīng)過多年的發(fā)展，支持來自多個硬件供應(yīng)商的各種端側(cè)芯片。SensiML的Analytics Studio專注于時間序列傳感器，可以快速創(chuàng)建適用于各種應(yīng)用的獨立C代碼，例如：

1)聲學(xué)事件檢測

2)手勢和人類活動識別

3)異常檢測

4)關(guān)鍵字發(fā)現(xiàn)

5)振動分類

通過此次發(fā)布，我們將在開源許可選項下提供Analytics Studio的核心引擎，用戶可以自由下載并實施我們提供的核心技術(shù)的私人服務(wù)器實施，并將繼續(xù)提供在SensiML的托管和支持的SaaS云服務(wù)中服務(wù)。

為什么SensiML開源其核心軟件？

幾年前，當(dāng)SensiML首次推出我們的開源計劃時，我們主要專注于為我們的傳感器數(shù)據(jù)接口協(xié)議和由此產(chǎn)生的物聯(lián)網(wǎng)邊緣推理模型提供更高的透明度。在聽到客戶對維護(hù)和支持他們沒有完全掌握的算法產(chǎn)品表示擔(dān)憂后，我們得出結(jié)論，這是朝著更好的模型透明度和可解釋性邁出的必要一步。因此，解決AI/ML的“黑匣子”問題是我們開源的首要目標(biāo)，并導(dǎo)致我們的SensiML嵌入式SDK和數(shù)據(jù)協(xié)議以完整的源代碼形式發(fā)布并提供給任何人，同時將我們的開發(fā)工具本身作為專有軟件進(jìn)行維護(hù)。

今天，我們看到了更多的TinyML生態(tài)系統(tǒng)挑戰(zhàn)和相應(yīng)的開源機(jī)會，這激發(fā)了我們擴(kuò)展開源計劃，以包括我們的核心AutoML引擎 Analytics Studio。我們開始相信，一個充滿活力的開源軟件工具社區(qū)的存在對于推動TinyML生態(tài)系統(tǒng)向前發(fā)展至關(guān)重要，因此，提供SensiML久經(jīng)考驗的代碼庫，作為協(xié)作開源創(chuàng)新的第一個基礎(chǔ)，這一點我們處于領(lǐng)導(dǎo)地位。

根據(jù)Linux基金會進(jìn)行的2023年OSS調(diào)查，人工智能/機(jī)器學(xué)習(xí)被全球 IT 經(jīng)理列為對其行業(yè)未來最有價值的開源技術(shù)。

當(dāng)人們考察領(lǐng)先的開源 AI/ML 項目和技術(shù)時，大部分是框架、庫和模型定義格式（例如 TensorFlow、PyTorch、Scikit-learn、OpenCV 和 ONNX 等），但不是完整的端到端工具鏈，更不用說那些專注于 AI/ML 和嵌入式物聯(lián)網(wǎng)推理代碼優(yōu)化的交叉復(fù)雜性的工具鏈了。SensiML認(rèn)為，這是一個關(guān)鍵的差距，也是一個機(jī)會，可以幫助幫助那些沒有精通數(shù)據(jù)科學(xué)的開發(fā)人員- 采用簡化復(fù)雜步驟。

出于幾個常見原因，許多IT經(jīng)理選擇開源軟件而不是專有選項。這些原因也促使我們決定將 Analytics Studio 開源：

1)創(chuàng)新和敏捷性

2)避免供應(yīng)商鎖定

3)社區(qū)和支持識

4)質(zhì)量和安全性

5)人才吸引和留住

6)戰(zhàn)略優(yōu)勢

將開源優(yōu)勢與TinyML生態(tài)系統(tǒng)聯(lián)系起來

為了將這些好處與TinyML生態(tài)系統(tǒng)面臨的特定挑戰(zhàn)聯(lián)系起來，讓我們更深入地研究其中的幾個，并與當(dāng)前TinyML采用者面臨的問題聯(lián)系起來。

挑戰(zhàn)1 – TinyML傳感器應(yīng)用程序特有的數(shù)據(jù)集瓶頸：使用深度學(xué)習(xí)技術(shù)創(chuàng)建準(zhǔn)確的預(yù)測模型依賴于足夠的模型訓(xùn)練數(shù)據(jù)的可用性，以涵蓋實際使用中可以預(yù)期的來源和范圍。因此，這種訓(xùn)練數(shù)據(jù)集需求可能相當(dāng)大。眾所周知的極端情況是大語言模型 （LLM），它具有數(shù)萬億個模型參數(shù)、數(shù)十萬個 GPU 訓(xùn)練小時，以及接近 Internet 上可用的人類文本總數(shù)的訓(xùn)練數(shù)據(jù)集。

TinyML模型涉及的訓(xùn)練數(shù)據(jù)集要小得多，但傳感器衍生輸入數(shù)據(jù)的性質(zhì)使得數(shù)據(jù)集挑戰(zhàn)可以說是一個比LLM更棘手的問題。雖然 LLM 的規(guī)模非常大，但它們至少受益于人類語言文本的可擴(kuò)展數(shù)據(jù)源，這些數(shù)據(jù)源是通過從互聯(lián)網(wǎng)上自動抓取文本、文檔和 Wiki 頁面而獲得的。對于傳感器應(yīng)用，通常沒有這種等效的易于擴(kuò)展的數(shù)據(jù)源。

想象一下，根據(jù)實際用例要求，在網(wǎng)絡(luò)上抓取足夠的原始傳感器數(shù)據(jù)，以預(yù)測特定電機(jī)負(fù)載的大框架直流電機(jī)故障狀態(tài)，以及從與位置相關(guān)的振動傳感器輸入和麥克風(fēng)中獲取足夠的原始傳感器數(shù)據(jù)。幾乎可以肯定的是，如果不求助于設(shè)計自己的實驗，您將無法找到適合給定應(yīng)用程序需求的數(shù)據(jù)。

這個數(shù)據(jù)集瓶頸問題涵蓋了TinyML領(lǐng)域的大多數(shù)用例。它要求開發(fā)人員投入大量時間、精力和成本來收集特定于其所需用例的經(jīng)驗數(shù)據(jù)。他們必須以足夠的數(shù)量和足夠多樣化的條件進(jìn)行訓(xùn)練，以便針對實際使用中可能預(yù)期的所有條件有效地訓(xùn)練模型。在我們的電機(jī)示例中，大型跨國電機(jī)制造商可能擁有或有能力產(chǎn)生足夠的數(shù)據(jù)來開發(fā)穩(wěn)健的模型，但缺乏此類資源的小型公司和創(chuàng)業(yè)者僅限于更簡單的模型。其結(jié)果是限制了用戶對TinyML的采用，因為為許多此類應(yīng)用程序獲取訓(xùn)練/測試數(shù)據(jù)的采用門檻很高。

開源TinyML工具如何提供幫助：目前對減少訓(xùn)練數(shù)據(jù)集瓶頸的積極研究顯示出前景，包括遷移學(xué)習(xí)、數(shù)據(jù)增強(qiáng)、從模擬和 對抗生成網(wǎng)絡(luò)GAN 生成合成數(shù)據(jù)、半監(jiān)督學(xué)習(xí)和模型壓縮等技術(shù)。這些方法正在迅速發(fā)展，在TinyML中包含的許多用例中，有效的方法各不相同。例如，用于圖像識別的數(shù)據(jù)增強(qiáng)通常涉及旋轉(zhuǎn)、平移、縮放或色移，而音頻數(shù)據(jù)將涉及一組完全不同的音高、音色、節(jié)奏和噪聲疊加的轉(zhuǎn)換。面對快速變化的方法和途徑的步伐，這些方法和途徑因應(yīng)用而異，因此對基于開源社區(qū)的協(xié)作的需求至關(guān)重要。開源開發(fā)模型為問題帶來了規(guī)模和洞察力的多樣性，這是封閉的開發(fā)團(tuán)隊無法比擬的。通過為社區(qū)貢獻(xiàn)和改進(jìn)開放一個通用的TinyML開發(fā)平臺，SensiML相信生態(tài)系統(tǒng)可以從克服數(shù)據(jù)集瓶頸的集體努力中更快地受益。

挑戰(zhàn)2 – TinyML軟件工具碎片化和鎖定：在過去幾年中，我們目睹了許多AutoML開發(fā)工具競爭對手被硬件供應(yīng)商收購，這些供應(yīng)商試圖通過強(qiáng)制ML開發(fā)工具相關(guān)的高轉(zhuǎn)換成本來將用戶鎖定在他們的芯片產(chǎn)品中。雖然從芯片供應(yīng)商的角度來看，這種動機(jī)是可以理解的，但從物聯(lián)網(wǎng)開發(fā)人員的角度來看，由此產(chǎn)生的碎片化生態(tài)系統(tǒng)遠(yuǎn)非理想。想要工具包X，但出于其他設(shè)計或業(yè)務(wù)原因需要使用芯片Y？借助這些專屬解決方案，用戶面臨著在軟件工具功能和硬件選擇標(biāo)準(zhǔn)（如數(shù)據(jù)表規(guī)格、成本和第二來源替代方案）之間做出艱難選擇。當(dāng)這兩個目標(biāo)發(fā)生沖突時，常見的結(jié)果是，物聯(lián)網(wǎng)開發(fā)人員將簡單地推出計劃的ML功能，直到 ML 工具成熟并且存在針對特定所需硬件和應(yīng)用程序需求的功能支持。

開源TinyML工具如何提供幫助：SensiML認(rèn)為，為TinyML實施者提供選擇和靈活性可以更好地滿足用戶的需求，而不是與特定硬件供應(yīng)商的產(chǎn)品捆綁在一起。這種靈活性甚至可以被看作是一種戰(zhàn)略決策，它保留了在開發(fā)機(jī)器學(xué)習(xí)工具技能和數(shù)據(jù)集方面的投入價值，這些技能和數(shù)據(jù)集可以跨硬件和特定工具實現(xiàn)進(jìn)行移植。通過為開源貢獻(xiàn)一個基本 AutoML工具鏈，SensiML設(shè)想了一個事實上開放和靈活的平臺的潛力，就像 Eclipse 作為許多供應(yīng)商特定實現(xiàn)以及 Eclipse 基金會本身維護(hù)的通用 IDE 技術(shù)一樣。

開源對SensiML未來的商業(yè)計劃有何影響？

我們開源SensiML核心AutoML應(yīng)用程序的主要動機(jī)是受益于協(xié)作開源開發(fā)模式帶來的更快的創(chuàng)新步伐。除了代碼貢獻(xiàn)之外，還包括增強(qiáng)的代碼質(zhì)量、與新硬件的集成、額外的預(yù)訓(xùn)練模型模板、示例應(yīng)用程序、改進(jìn)的文檔、QA測試和錯誤提交。

與此同時，SensiML將繼續(xù)提供其現(xiàn)有的托管云SaaS服務(wù)計劃，并為希望獲得更高支持水平的客戶提供TinyML模型開發(fā)的用戶咨詢和定制工程服務(wù)。與RedHat的Linux商業(yè)模式類似，SensiML將繼續(xù)在雙重許可策略下提供傳統(tǒng)的企業(yè)許可證選項。我們相信，SensiML的支持、技術(shù)使用的全力支持、互補(bǔ)產(chǎn)品和云服務(wù)管理有足夠的價值，可以為很大一部分用戶群體提供服務(wù)，同時為那些傾向于自己實施工具的人提供免費的開源替代方案。

我分享了這個愿景，你們?nèi)绾螀⑴c其中？

在接下來的幾周內(nèi)，SensiML將提供有關(guān)我們的開源項目GitHub repo和OSS項目網(wǎng)站的最新信息，這些網(wǎng)站計劃于今年夏初推出。

有興趣參與的人（無論是作為用戶還是貢獻(xiàn)者）可以收到有關(guān)我們項目啟動進(jìn)度的更新，就他們認(rèn)為最重要的改進(jìn)提供反饋，并在我們的正式發(fā)布日期之前搶先訪問代碼庫。要注冊請掃描下面的二維碼并提交您的聯(lián)系信息。

我們希望您能像我們一樣發(fā)現(xiàn)這個消息令人興奮和潛在的影響力。只有通過開發(fā)人員和用戶社區(qū)的集體利益，TinyML工具的這樣一個開源項目才能發(fā)展壯大，使所有參與者受益！