嵌入式開發(fā)的一元線性回歸算法介紹

? ?線性回歸是最經(jīng)典的最小二乘法、卡爾曼、維納濾波器的基礎(chǔ)，也是我在研究生階段接觸的第一個(gè)算法，第一次使用也是給導(dǎo)師做項(xiàng)目的時(shí)候用到的，工作之后發(fā)現(xiàn)這些算法在工程中無(wú)處不在，但是不幸的是很多朋友不會(huì)用這些數(shù)學(xué)算法，只會(huì)用滑動(dòng)均值濾波、平均值濾波、低通、高通、帶通、陷波這些簡(jiǎn)單的算法，這些算法雖然簡(jiǎn)單，但是它的作用確實(shí)沒(méi)有最小二乘、卡爾曼濾波這些算法的效果好。前提是要正確運(yùn)用這些算法，否則用了還不如不用。

其實(shí)回歸算法是相對(duì)分類算法而言的，與我們想要預(yù)測(cè)的目標(biāo)變量y的值類型有關(guān)。如果目標(biāo)變量y是分類型變量，如預(yù)測(cè)用戶的性別（男、女），預(yù)測(cè)月季花的顏色（紅、白、黃……），預(yù)測(cè)是否患有肺癌（是、否），那我們就需要用分類算法去擬合訓(xùn)練數(shù)據(jù)并做出預(yù)測(cè)，學(xué)術(shù)上一般用SVM(支持向量機(jī))、粒子群算法、神經(jīng)網(wǎng)絡(luò)算法等。但是在嵌入式開發(fā)尤其是單片機(jī)開發(fā)過(guò)程中，這些復(fù)雜算法因其復(fù)雜程度和運(yùn)算量的關(guān)系，無(wú)法得到工程化應(yīng)用，一般則用計(jì)算量較小更容易實(shí)現(xiàn)的卡爾曼或最小二乘法，然而一元線性回歸則是最簡(jiǎn)單、理解起來(lái)最容易接受，也是應(yīng)用最廣泛的算法，當(dāng)然也是現(xiàn)在比較火熱的機(jī)器學(xué)習(xí)行業(yè)的入門算法。

? ? ??一元線性回歸

一元線性回歸顧名思義就是一個(gè)自變量（可以是ADC采集到的電壓值、DS18B20采集到的溫度值、也可以是光敏傳感器采集的光照強(qiáng)度值）。下面我們以工作中最常見的電壓采集為例，用一元線性回歸的方法來(lái)預(yù)測(cè)我們的電壓采集的線性方程，以我們物聯(lián)網(wǎng)開發(fā)板的電壓采集系統(tǒng)為例：

圖1 輸入電壓12VADC電壓采集電路

因?yàn)?a target="_blank">單片機(jī)可以采集的電壓范圍是0-3.3V（基本上采集滿量程電壓百分之六十是最準(zhǔn)確的，往往硬件工程師在設(shè)計(jì)電路的時(shí)候也是這么考慮的），大家可以看到硬件電路采用分壓電阻，將12V的電壓分成1/11，將這個(gè)值送給單片機(jī)ADC，單片機(jī)采集到這個(gè)電壓值，乘以11就是我們采集的電壓值，這個(gè)我們很容易能夠理解，因?yàn)檩斎腚妷夯旧显?2V上位微笑波動(dòng)的數(shù)值，很容易我們能夠反向回推?，F(xiàn)實(shí)中我們也可以這么做，當(dāng)然前提是我們要求采集的精度不高。但是在工控領(lǐng)域或者要求精度較高的測(cè)控領(lǐng)域，我們就要用到線性回歸的的方法了。

假設(shè)電壓輸入范圍是4-12V，因?yàn)锳DC模塊采集會(huì)有各種各樣的誤差（積分誤差、微分誤差、零漂、電路中電阻的精度誤差）導(dǎo)致我們采集到的電壓值有一定的誤差，此時(shí)要很好地解決這個(gè)問(wèn)題，我們就可以用最小二乘法來(lái)預(yù)測(cè)線性方程（用到的就是一元線性回歸）。當(dāng)然假設(shè)我們的系統(tǒng)是線性系統(tǒng)，這個(gè)要我們硬件設(shè)計(jì)的小伙伴盡量從硬件角度多考慮（電路阻抗匹配的設(shè)計(jì)、PCB的走線、ADC參考電壓等方面去考慮），保證系統(tǒng)最大化接近線性就可以，系統(tǒng)不可能完全線性的。硬件偏差太大，軟件也是有心殺賊無(wú)力回天了，從這個(gè)角度可以說(shuō)軟件是輔助硬件，加上算法是最大化輔助硬件。

圖2輸入電壓6V-12VADC電壓采集電路

假設(shè)線性方程（1）所示：

y=β0+β1*x? ? ? ? （1）

這就是我們是我們平常所說(shuō)的正比例函數(shù)。x是ADC采集到的電壓值，Y是電源輸入的電壓值（6V-12V）β0、β1就是線性回歸系數(shù)，也是我們用數(shù)學(xué)方法要預(yù)測(cè)的系數(shù)。

當(dāng)我們只用一個(gè)x來(lái)預(yù)測(cè)y，就是一元線性回歸，也就是在找一個(gè)直線來(lái)擬合數(shù)據(jù)。比如，我采集到的一組數(shù)據(jù)畫出來(lái)的散點(diǎn)圖，y代表輸入電壓，x是單片機(jī)ADC模塊采集的值，線性回歸就是要找一條直線，并且讓這條直線盡可能地?cái)M合圖中的數(shù)據(jù)點(diǎn)。

圖3?線性回歸擬合圖

這里我們得到的擬合方程是：y =β^0+β^1*X。計(jì)算?圖3輸入電壓（黃色的離散點(diǎn)）與用擬合函數(shù)（綠色線）計(jì)算出來(lái)電壓之間的誤差ei（ei=yi-y^i）的值，再將其平方（為了消除負(fù)號(hào)），對(duì)于我們數(shù)據(jù)中的每個(gè)點(diǎn)如此計(jì)算一遍，再將所有的 e

相加，就能量化出擬合的直線和實(shí)際之間的誤差。

用公式表示就是：

（2）

這個(gè)公式是殘差平方和。也就是我們對(duì)“直線”的評(píng)價(jià)標(biāo)準(zhǔn)。這個(gè)函數(shù)的值越小，說(shuō)明直線越能擬合我們的數(shù)據(jù)。

最小二乘估計(jì)

我們知道了直線擬合的評(píng)價(jià)標(biāo)準(zhǔn)，接下來(lái)我們目的是怎么用這個(gè)標(biāo)準(zhǔn)來(lái)預(yù)測(cè)β^0和β^1這兩個(gè)系數(shù)的值。

公式（2）是一個(gè)二次方程，我們知道一元二次方程差不多長(zhǎng)下圖這樣：

上面公式中β^0?和?β^1?未知，有兩個(gè)未知參數(shù)的二次方程，這個(gè)方程開口向上，那么倒數(shù)為0就是圖的極點(diǎn)，就是所說(shuō)的殘差和最小，滿足了我們的評(píng)價(jià)標(biāo)準(zhǔn)。還記得微積分知識(shí)的話，就知道導(dǎo)數(shù)為0時(shí)，Q取最小值，因此我們分別對(duì)β^0和β^1求偏導(dǎo)并令其為0：

（3）

xi，yi（i=1,2,…n）都是已知的（xi單片機(jī)采集的，yi高精度萬(wàn)用表采集的），全部代入上面兩個(gè)式子，就可求得β^0和β^1的值啦。這就是最小二乘法，“二乘”是平方的意思。

上面（3）求解得到

（4）

飛魚上學(xué)那會(huì)用matlab采集的部分?jǐn)?shù)據(jù)做了個(gè)簡(jiǎn)單的擬合如下圖所示：

大家最關(guān)注的還是單片機(jī)如何編程，下面是該算法的核心實(shí)現(xiàn)。

代碼實(shí)現(xiàn)

該算法可以對(duì)多個(gè)ADC通道進(jìn)行最小二乘最優(yōu)估計(jì)，這個(gè)也是經(jīng)過(guò)飛魚反復(fù)驗(yàn)證的，因?yàn)榧依飾l件有限，就不給大家做實(shí)驗(yàn)現(xiàn)象的展示了，最小二乘用途廣泛，用法靈活，它還可以估計(jì)傳感器的量測(cè)誤差。

編輯：黃飛

?