? ?線性回歸是最經典的最小二乘法、卡爾曼、維納濾波器的基礎，也是我在研究生階段接觸的第一個算法，第一次使用也是給導師做項目的時候用到的，工作之后發(fā)現這些算法在工程中無處不在，但是不幸的是很多朋友不會用這些數學算法，只會用滑動均值濾波、平均值濾波、低通、高通、帶通、陷波這些簡單的算法，這些算法雖然簡單，但是它的作用確實沒有最小二乘、卡爾曼濾波這些算法的效果好。前提是要正確運用這些算法，否則用了還不如不用。

其實回歸算法是相對分類算法而言的，與我們想要預測的目標變量y的值類型有關。如果目標變量y是分類型變量，如預測用戶的性別（男、女），預測月季花的顏色（紅、白、黃……），預測是否患有肺癌（是、否），那我們就需要用分類算法去擬合訓練數據并做出預測，學術上一般用SVM(支持向量機)、粒子群算法、神經網絡算法等。但是在嵌入式開發(fā)尤其是單片機開發(fā)過程中，這些復雜算法因其復雜程度和運算量的關系，無法得到工程化應用，一般則用計算量較小更容易實現的卡爾曼或最小二乘法，然而一元線性回歸則是最簡單、理解起來最容易接受，也是應用最廣泛的算法，當然也是現在比較火熱的機器學習行業(yè)的入門算法。

? ? ??一元線性回歸

一元線性回歸顧名思義就是一個自變量（可以是ADC采集到的電壓值、DS18B20采集到的溫度值、也可以是光敏傳感器采集的光照強度值）。下面我們以工作中最常見的電壓采集為例，用一元線性回歸的方法來預測我們的電壓采集的線性方程，以我們物聯網開發(fā)板的電壓采集系統為例：

圖1 輸入電壓12VADC電壓采集電路

因為單片機可以采集的電壓范圍是0-3.3V（基本上采集滿量程電壓百分之六十是最準確的，往往硬件工程師在設計電路的時候也是這么考慮的），大家可以看到硬件電路采用分壓電阻，將12V的電壓分成1/11，將這個值送給單片機ADC，單片機采集到這個電壓值，乘以11就是我們采集的電壓值，這個我們很容易能夠理解，因為輸入電壓基本上在12V上位微笑波動的數值，很容易我們能夠反向回推?，F實中我們也可以這么做，當然前提是我們要求采集的精度不高。但是在工控領域或者要求精度較高的測控領域，我們就要用到線性回歸的的方法了。

假設電壓輸入范圍是4-12V，因為ADC模塊采集會有各種各樣的誤差（積分誤差、微分誤差、零漂、電路中電阻的精度誤差）導致我們采集到的電壓值有一定的誤差，此時要很好地解決這個問題，我們就可以用最小二乘法來預測線性方程（用到的就是一元線性回歸）。當然假設我們的系統是線性系統，這個要我們硬件設計的小伙伴盡量從硬件角度多考慮（電路阻抗匹配的設計、PCB的走線、ADC參考電壓等方面去考慮），保證系統最大化接近線性就可以，系統不可能完全線性的。硬件偏差太大，軟件也是有心殺賊無力回天了，從這個角度可以說軟件是輔助硬件，加上算法是最大化輔助硬件。

圖2輸入電壓6V-12VADC電壓采集電路

假設線性方程（1）所示：

y=β0+β1*x? ? ? ? （1）

這就是我們是我們平常所說的正比例函數。x是ADC采集到的電壓值，Y是電源輸入的電壓值（6V-12V）β0、β1就是線性回歸系數，也是我們用數學方法要預測的系數。

當我們只用一個x來預測y，就是一元線性回歸，也就是在找一個直線來擬合數據。比如，我采集到的一組數據畫出來的散點圖，y代表輸入電壓，x是單片機ADC模塊采集的值，線性回歸就是要找一條直線，并且讓這條直線盡可能地擬合圖中的數據點。

圖3?線性回歸擬合圖

這里我們得到的擬合方程是：y =β^0+β^1*X。計算?圖3輸入電壓（黃色的離散點）與用擬合函數（綠色線）計算出來電壓之間的誤差ei（ei=yi-y^i）的值，再將其平方（為了消除負號），對于我們數據中的每個點如此計算一遍，再將所有的 e

相加，就能量化出擬合的直線和實際之間的誤差。

用公式表示就是：

（2）

這個公式是殘差平方和。也就是我們對“直線”的評價標準。這個函數的值越小，說明直線越能擬合我們的數據。

最小二乘估計

我們知道了直線擬合的評價標準，接下來我們目的是怎么用這個標準來預測β^0和β^1這兩個系數的值。

公式（2）是一個二次方程，我們知道一元二次方程差不多長下圖這樣：

上面公式中β^0?和?β^1?未知，有兩個未知參數的二次方程，這個方程開口向上，那么倒數為0就是圖的極點，就是所說的殘差和最小，滿足了我們的評價標準。還記得微積分知識的話，就知道導數為0時，Q取最小值，因此我們分別對β^0和β^1求偏導并令其為0：

（3）

xi，yi（i=1,2,…n）都是已知的（xi單片機采集的，yi高精度萬用表采集的），全部代入上面兩個式子，就可求得β^0和β^1的值啦。這就是最小二乘法，“二乘”是平方的意思。

上面（3）求解得到

（4）

飛魚上學那會用matlab采集的部分數據做了個簡單的擬合如下圖所示：

大家最關注的還是單片機如何編程，下面是該算法的核心實現。

代碼實現

該算法可以對多個ADC通道進行最小二乘最優(yōu)估計，這個也是經過飛魚反復驗證的，因為家里條件有限，就不給大家做實驗現象的展示了，最小二乘用途廣泛，用法靈活，它還可以估計傳感器的量測誤差。

編輯：黃飛

?