0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

簡(jiǎn)化大型波形數(shù)據(jù)庫分析的新技術(shù)

莫聯(lián)雪 ? 來源:是德科技 ? 作者:Alan Wadsworth ? 2022-07-27 08:02 ? 次閱讀

許多電子設(shè)備和系統(tǒng)執(zhí)行必須在很長(zhǎng)一段時(shí)間內(nèi)完美執(zhí)行的基本功能。例如,電子電網(wǎng)、電信系統(tǒng)和植入式醫(yī)療設(shè)備無法承受數(shù)百萬事件中即使發(fā)生一次的錯(cuò)誤。出于顯而易見的原因,捕獲和隔離極其罕見的異常的能力是確保這種可靠性水平的關(guān)鍵挑戰(zhàn)。監(jiān)測(cè)電壓不能有效識(shí)別細(xì)微的設(shè)備或系統(tǒng)問題,因?yàn)樗ǔ1挥行У乜刂疲灾劣陔y以檢測(cè)到微小的變化。相比之下,電流波形包含與設(shè)備或系統(tǒng)操作相關(guān)的更豐富的信息。然而,由于電流波形可以在寬動(dòng)態(tài)范圍內(nèi)快速波動(dòng),以高采樣率對(duì)它們進(jìn)行采樣以捕獲它們的全部帶寬非常重要。這會(huì)生成巨大的數(shù)據(jù)文件,因?yàn)樵?24 小時(shí)內(nèi)以 10 兆樣本/秒的速度捕獲數(shù)據(jù)會(huì)創(chuàng)建大于 1 TB 的數(shù)據(jù)文件。篩選如此龐大的數(shù)據(jù)庫以定位異常事件顯然是一項(xiàng)艱巨的任務(wù)。

直到最近,還沒有解決方案能夠滿足剛剛描述的硬件要求。數(shù)據(jù)記錄器可以捕獲大量數(shù)據(jù),但它們的帶寬相對(duì)較低,并且很容易遺漏高頻信號(hào)分量。傳統(tǒng)示波器擅長(zhǎng)捕捉高帶寬信號(hào),但數(shù)據(jù)存儲(chǔ)能力有限。即使是具有大存儲(chǔ)深度的高性能示波器也無法在數(shù)小時(shí)或數(shù)天的時(shí)間段內(nèi)以高采樣率捕獲數(shù)據(jù)。示波器電流探頭也沒有足夠的動(dòng)態(tài)范圍來捕獲低電平和高電平電流。最后,這些硬件解決方案都不支持任何有效的方法來分析他們收集的數(shù)據(jù)并快速識(shí)別異常。這成為大數(shù)據(jù)分析的問題。

處理這類大數(shù)據(jù)挑戰(zhàn)的一種解決方案是機(jī)器學(xué)習(xí)。我們探索的一項(xiàng)初始技術(shù)是深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò) (DLNN),它在圖像和語音識(shí)別方面非常成功。不幸的是,DLNN 技術(shù)在應(yīng)用于波形數(shù)據(jù)庫分析時(shí),除了需要強(qiáng)大的計(jì)算能力外,還表現(xiàn)得非常好。為了分析大型波形數(shù)據(jù)庫,是德科技研究人員必須開發(fā)針對(duì)該目的優(yōu)化的新機(jī)器學(xué)習(xí)技術(shù)。這個(gè)新的解決方案是在五年內(nèi)開發(fā)出來的,它結(jié)合了集群、無監(jiān)督機(jī)器學(xué)習(xí)和專有的數(shù)據(jù)庫壓縮技術(shù)。在基于 PC 的臺(tái)式儀器上運(yùn)行時(shí),它可以比傳統(tǒng)技術(shù)快幾個(gè)數(shù)量級(jí)地分析 TB 大小的波形數(shù)據(jù)庫。

pYYBAGLeH0eAFMHnAACdJsOqACM995.png

圖 1:長(zhǎng)時(shí)間波形分析軟件的系統(tǒng)架構(gòu)。

圖 1 顯示了長(zhǎng)持續(xù)時(shí)間波形分析軟件的系統(tǒng)架構(gòu)。它由三個(gè)部分組成,我們將依次討論每一個(gè)部分。

采集子系統(tǒng)在采集過程中實(shí)時(shí)對(duì)輸入數(shù)據(jù)進(jìn)行預(yù)分類。實(shí)時(shí)標(biāo)記是采集子系統(tǒng)中最重要的模塊,因?yàn)樗鼘?duì)輸入的波形段進(jìn)行預(yù)分類。相似的波形段被組合在一起并注冊(cè)為標(biāo)簽的成員。需要注意的是,預(yù)分類不一定是完美的。它只需要包含足夠的信息來啟用后處理分析。

數(shù)據(jù)庫子系統(tǒng)由標(biāo)簽數(shù)據(jù)庫和無損數(shù)據(jù)庫組成。標(biāo)簽數(shù)據(jù)庫是預(yù)先排序的波形片段的簡(jiǎn)明摘要。它提供了長(zhǎng)時(shí)間錄制的快速概覽。無損數(shù)據(jù)庫是完整的長(zhǎng)時(shí)間波形記錄的完整存檔。它允許通過時(shí)序或波形相似性在海量數(shù)據(jù)庫的任何位置快速查詢波形。標(biāo)簽數(shù)據(jù)庫的大小在無損數(shù)據(jù)庫大小的百分之一到五分之一之間。這種配置在數(shù)據(jù)管理和分析方面具有很大的靈活性。

分析子系統(tǒng)有兩種操作模式:快速聚類和細(xì)節(jié)聚類??焖倬垲愒试S快速瀏覽整個(gè)數(shù)據(jù)庫。典型的計(jì)算時(shí)間少于一秒。然而,由于快速聚類使用預(yù)先排序的標(biāo)簽信息,其準(zhǔn)確性受到標(biāo)簽相似度閾值的限制。細(xì)節(jié)聚類提供了更精確的分析能力,因?yàn)樗褂昧藷o損的數(shù)據(jù)庫信息。傳統(tǒng)的分析軟件在許多情況下需要重新掃描無損數(shù)據(jù)庫,這需要花費(fèi)數(shù)小時(shí)。使用此解決方案,用戶無需重新掃描無損數(shù)據(jù)庫即可享受快速響應(yīng)的交互式分析。

值得指出的是,這項(xiàng)技術(shù)不僅對(duì)測(cè)試和測(cè)量行業(yè)來說是新的,對(duì)人工智能/機(jī)器學(xué)習(xí)社區(qū)也是如此。是德科技在 2019 年 IEEE 大數(shù)據(jù)會(huì)議 (*1) 上發(fā)表了一篇關(guān)于這一新解決方案的論文。在會(huì)議上,研究人員表示他們從未見過這種解決方案的性能和功能。該技術(shù)作為可用選項(xiàng)集成到 Keysight CX3300A 動(dòng)態(tài)電流波形分析儀中。它將高完整性電壓和電流測(cè)量與長(zhǎng)時(shí)間波形分析相結(jié)合。

以下示例顯示了以 1 MSa/s 的采樣率在四天內(nèi)監(jiān)測(cè)的商用電源線電壓。不同的波形類型按集群分組,其總體顯示在集群面板中。您可以選擇一個(gè)或多個(gè)集群并使用箭頭鍵跳轉(zhuǎn)到它們?cè)谥鞑シ糯翱谥谐霈F(xiàn)的位置。盡管數(shù)據(jù)庫包含超過 1800 萬個(gè)波形段,但數(shù)據(jù)標(biāo)記允許在幾秒鐘內(nèi)識(shí)別異常。例如,下面的屏幕截圖顯示,在數(shù)據(jù)記錄 2 天 21 小時(shí)后,發(fā)生了一些明顯的過電壓。雖然很有趣,但這個(gè)案例相當(dāng)簡(jiǎn)單,所以讓我們看一個(gè)更具挑戰(zhàn)性的例子。

poYBAGLeH1SADIo9AAFoezvXoL8548.png

圖 2:在商用電源線電壓上檢測(cè)到的過壓異常。

物聯(lián)網(wǎng)設(shè)備需要長(zhǎng)時(shí)間運(yùn)行,任何意外的電流尖峰都可能導(dǎo)致內(nèi)部 IR 下降并引發(fā)系統(tǒng)故障。為了驗(yàn)證設(shè)備完整性,我們以 10MSa/s 的采樣率測(cè)量了藍(lán)牙設(shè)備的供電電流 17 小時(shí)。這生成了一個(gè) 1 TB 的數(shù)據(jù)庫文件。雖然正常峰值電流約為 25 mA,但我們發(fā)現(xiàn)非常罕見的電流尖峰高達(dá) 50 mA。在記錄的超過 700 萬個(gè)波形片段中,這些僅發(fā)生了 17 次。進(jìn)一步分析表明,在該設(shè)備中,有兩種類型的異步事件。當(dāng)這兩個(gè)事件發(fā)生在一個(gè)狹窄的時(shí)序窗口內(nèi)時(shí),就會(huì)觀察到 50 mA 的尖峰,并且每 400,000 次只會(huì)發(fā)生一次。

poYBAGLeH1-AdByGAACk4-wwUxE951.png

圖 3:物聯(lián)網(wǎng)設(shè)備上 5 分鐘內(nèi)識(shí)別的超過 700 萬個(gè)波形段中出現(xiàn) 17 次大尖峰波形。

隨著現(xiàn)代設(shè)備和系統(tǒng)的復(fù)雜性不斷增加,用于評(píng)估它們的軟件工具需要改進(jìn)以跟上步伐。在任務(wù)關(guān)鍵型系統(tǒng)中使用設(shè)備的情況下,了解波形在很長(zhǎng)一段時(shí)間內(nèi)的行為非常重要。用于捕獲數(shù)據(jù)的軟件也需要能夠幫助分析數(shù)據(jù)。本文通過利用是德科技開發(fā)的新機(jī)器學(xué)習(xí)技術(shù)展示了這一點(diǎn)??梢杂行У胤治龃笮筒ㄐ螖?shù)據(jù)庫并快速查明這些數(shù)據(jù)庫中的異常。

審核編輯:郭婷

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    常見的數(shù)據(jù)庫管理

    大型數(shù)據(jù)庫(大型機(jī))Oracle(億級(jí)),中型數(shù)據(jù)庫(分布式超大型)mysql(百萬級(jí)),輕型數(shù)據(jù)庫
    的頭像 發(fā)表于 10-10 16:19 ?1960次閱讀

    采集到的波形數(shù)據(jù)如何保存到數(shù)據(jù)庫SQL中

    采集到的波形數(shù)據(jù)如何保存到數(shù)據(jù)庫SQL中,急急。。。。。。。。。。。。。。。。。
    發(fā)表于 10-04 14:49

    LabVIEW如何實(shí)現(xiàn)頻譜圖波形數(shù)據(jù)保存

    運(yùn)用LabVIEW本身自帶的波形測(cè)量-FFT頻譜(幅度-相位)得到頻譜圖如何實(shí)現(xiàn)頻譜圖波形數(shù)據(jù)保存并且將其保存至數(shù)據(jù)庫,求助大神
    發(fā)表于 02-25 10:06

    請(qǐng)問在labview8.5中怎么將采集到的波形數(shù)據(jù)實(shí)時(shí)存入數(shù)據(jù)庫?

    請(qǐng)問在labview8.5中怎么將采集到的波形數(shù)據(jù)實(shí)時(shí)存入數(shù)據(jù)庫?
    發(fā)表于 05-23 08:46

    大型無縫影像數(shù)據(jù)庫管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

    摘要:分析大型無縫影像數(shù)據(jù)庫數(shù)據(jù)管理需求和系統(tǒng)設(shè)計(jì)原則,提出了多比例尺、多數(shù)據(jù)源、分布式異構(gòu)的海量影像
    發(fā)表于 01-09 11:59 ?5次下載

    大型數(shù)據(jù)庫實(shí)驗(yàn)指導(dǎo)

    大型數(shù)據(jù)庫實(shí)驗(yàn)指導(dǎo)  一、實(shí)驗(yàn)?zāi)康??1、培養(yǎng)學(xué)生動(dòng)手編程解決實(shí)際問題的能力。??2、深入理解關(guān)系數(shù)據(jù)庫實(shí)現(xiàn)的基本原理。??3、鍛煉學(xué)生撰寫科技
    發(fā)表于 09-03 22:51 ?1548次閱讀

    Labview之波形數(shù)據(jù)顯示

    Labview之波形數(shù)據(jù)顯示,很好的Labview資料,快來下載學(xué)習(xí)吧。
    發(fā)表于 04-19 11:17 ?0次下載

    NoSQL數(shù)據(jù)庫類型

    有四大NoSQL類型:鍵值存儲(chǔ)(key-value store),文件存儲(chǔ)(document store),列導(dǎo)向的數(shù)據(jù)庫(Column-Oriented Database)和圖形數(shù)據(jù)庫(graph
    發(fā)表于 10-12 17:24 ?2次下載
    NoSQL<b class='flag-5'>數(shù)據(jù)庫</b>類型

    數(shù)據(jù)庫教程之如何進(jìn)行數(shù)據(jù)庫設(shè)計(jì)

    本文檔的主要內(nèi)容詳細(xì)介紹的是數(shù)據(jù)庫教程之如何進(jìn)行數(shù)據(jù)庫設(shè)計(jì)內(nèi)容包括了:1 數(shù)據(jù)庫設(shè)計(jì)概述 ,2 數(shù)據(jù)庫需求分析 ,3
    發(fā)表于 10-19 10:41 ?21次下載
    <b class='flag-5'>數(shù)據(jù)庫</b>教程之如何進(jìn)行<b class='flag-5'>數(shù)據(jù)庫</b>設(shè)計(jì)

    形數(shù)據(jù)庫是一種NoSQL數(shù)據(jù)庫

    TigerGraph Cloud的最大特色在于它的速度。該公司聲稱其服務(wù)比諸如Amazon Web Services Inc.的Neptune之類的競(jìng)爭(zhēng)圖形數(shù)據(jù)庫快數(shù)百倍,該數(shù)據(jù)庫能夠進(jìn)行擴(kuò)展以處理數(shù)十TB的數(shù)據(jù),并且每個(gè)
    的頭像 發(fā)表于 03-24 16:27 ?3811次閱讀

    數(shù)據(jù)庫設(shè)計(jì)的特點(diǎn)及基本步驟

    數(shù)據(jù)庫設(shè)計(jì)是涉及多學(xué)科的綜合技術(shù)大型數(shù)據(jù)庫設(shè)計(jì)和開發(fā)是一項(xiàng)龐大工程,是涉及多學(xué)科的綜合性技術(shù),對(duì)于從事數(shù)
    的頭像 發(fā)表于 11-15 10:20 ?1.1w次閱讀

    一文帶你了解波形數(shù)據(jù)庫文件(WDB)和波配置文件(WCFG)

    Vivado 仿真器 中的實(shí)時(shí)仿真包含以下內(nèi)容: 波形數(shù)據(jù)庫文件 (WDB),其中包含所有仿真數(shù)據(jù)波形配置文件 (WCFG),其中包含與波配置中的對(duì)象相關(guān)聯(lián)的順序和設(shè)置。 這兩種類型的文件之間有
    的頭像 發(fā)表于 10-28 16:28 ?6079次閱讀

    Vivado 仿真器 -了解波形數(shù)據(jù)庫文件 (WDB) 和波配置文件 (WCFG)

    波形數(shù)據(jù)庫文件 (WDB),其中包含所有仿真數(shù)據(jù)
    的頭像 發(fā)表于 08-01 09:11 ?4283次閱讀

    數(shù)據(jù)庫技術(shù)數(shù)據(jù)庫學(xué)習(xí)筆記

    數(shù)據(jù)庫技術(shù)是貫穿信息技術(shù)發(fā)展的核心技術(shù)。數(shù)據(jù)庫技術(shù)可為大數(shù)據(jù)
    的頭像 發(fā)表于 02-14 09:41 ?749次閱讀

    oracle是大型數(shù)據(jù)庫

    Oracle是一種大型數(shù)據(jù)庫管理系統(tǒng)(DBMS),在全球范圍內(nèi)廣泛應(yīng)用于企業(yè)級(jí)數(shù)據(jù)管理。它是由美國(guó)甲骨文公司(Oracle Corporation)開發(fā)的,在數(shù)據(jù)庫市場(chǎng)上具有重要地位。
    的頭像 發(fā)表于 12-06 10:47 ?647次閱讀