最小二乘匹配LSM，最小二乘模板匹配LSTM

2、最小二乘模板匹配

《基于序列圖像》

《數(shù)字?jǐn)z影測(cè)量學(xué)》

1、定義

以給定的模式作為參考模板，是高精度匹配法之一。

最小二乘影像匹配LSM：

德國Ackermann提出，利用影像窗口內(nèi)的信息進(jìn)行平差計(jì)算，使得影像匹配達(dá)到0.1甚至0.01像素的精度。

不僅可以解決單點(diǎn)匹配single-point matching求視差，也可以直接解求其空間坐標(biāo)同時(shí)解求影像的方位元素；

還可以解決多點(diǎn)影像匹配multi-point matching和多片影像匹配問題multi-photo matching（胡翔云，2001）；

最小二乘模板匹配LSTM（least squares template matching）：

Gruen等（Gruen，1985；1992）對(duì)LSM進(jìn)行了擴(kuò)展，以給定的特征模式作為參考模板與實(shí)際影像做最小二乘影像匹配，從而以很高的精度提取目標(biāo)，稱為最小二乘模板匹配Least Squares Template Matching ,LSTM。LSTM可以擴(kuò)展到利用多張重疊影像直接提取特征的物方坐標(biāo)，如Gruen的LSB-Snake方法（Gruen，1997）和后續(xù)的空間圓重建等。

2、基本思想

生成一個(gè)理想的小塊邊緣模板；

將該模板與測(cè)量圖像進(jìn)行匹配，精確提取特征的邊緣位置；

 

給定模板灰度f(x,y)，對(duì)應(yīng)點(diǎn)為

測(cè)量圖像的匹配窗口灰度g(x,y)，對(duì)應(yīng)點(diǎn)為

 

模板與測(cè)量圖像存在仿射變換：

 

 

 

匹配的目的是：解算出變換參數(shù)，結(jié)合 邊緣點(diǎn)在給定模板上的精確坐標(biāo)，可以得到邊緣點(diǎn)的精確位置。

 

最小二乘是一個(gè)迭代過程，第一步的粗提取結(jié)果作為變換參數(shù)的迭代初值，代入矩陣方程求變形參數(shù)；

利用改正后的參數(shù)對(duì)測(cè)量圖像重采樣，計(jì)算模板與匹配子圖的相關(guān)系數(shù)。若大于預(yù)定閾值，迭代結(jié)束。

3、算法

• 一般的影像匹配只考慮影像灰度的偶然誤差v=g1(x,y)-g2(x,y)；而LSM在此基礎(chǔ)上，還引入了系統(tǒng)變形參數(shù)，同時(shí)按照最小二乘的原則，解求這些參數(shù)。
• 影像灰度的系統(tǒng)變形有兩類：輻射畸變、幾何畸變。
• 以灰度差平方和最小為判據(jù)（灰度差v），則影像匹配方程式為
• 利用一塊標(biāo)準(zhǔn)影像與待匹配影像進(jìn)行最小二乘影像匹配，以期獲得精確的邊緣位置。

4、基于模板匹配的直線段提取（僅考慮了輻射的線性畸變的最小二乘匹配——相關(guān)系數(shù)）

最小二乘匹配是目前常用的直線段提取的方法，該方法精度高，穩(wěn)定靈活。

• 匹配前利用直線段的初始端點(diǎn)將影像塊旋轉(zhuǎn)為水平影像，水平影像每個(gè)像素都由雙線性內(nèi)插得到，這樣可以只在斷面方向匹配；
• 利用相關(guān)系數(shù)獲得自適應(yīng)模板：

h0,h1是輻射畸變參數(shù)。下面用g1表示實(shí)際影像模板，g2表示標(biāo)準(zhǔn)模板。

即：g1=h0+h1*g2

這里認(rèn)為g1和g2是線性相關(guān)的！

 

誤差：v=h0+h1*g2-g1

 

相關(guān)系數(shù)h0和h1：其中n為模板的像素?cái)?shù)。

**************************************************************************************************************

一條直線段可用2個(gè)端點(diǎn)來表達(dá)，因此模板匹配的未知數(shù)就是端點(diǎn)坐標(biāo)的改正數(shù)。由于圖像已經(jīng)旋轉(zhuǎn)水平，那么起作用的只有y方向的改正數(shù)。（這里是不是只考慮平面上的平移和旋轉(zhuǎn)，若z方向改變了，怎么辦？）

• 即：誤差v=gy*dy -（g2-g1）,gy是旋轉(zhuǎn)到水平坐標(biāo)下，y軸方向的導(dǎo)數(shù)，一般用梯度代替，即gy=g(i+1,j)-g(i-1,j) (i為行號(hào)，j為列號(hào))
• 匹配時(shí)，影像窗口內(nèi)每一個(gè)像元都參與平差，設(shè)直線端點(diǎn)i和j的坐標(biāo)為（xi=0,yi=0）,(xj=Lij,yj=0),則線段上任意一點(diǎn)a的坐標(biāo)為（xa,ya=0）
• 端點(diǎn)坐標(biāo)的改正：
• 直線模板匹配的誤差方程式：
• 對(duì)于相互遮擋的直線，需要進(jìn)行消隱分析。

*************************************************************************************************************

接上面的h1和h0，《數(shù)字?jǐn)z影測(cè)量學(xué)》

注意：這里沒有引入幾何變形參數(shù)，因此，匹配算法采用目標(biāo)區(qū)相對(duì)于搜索區(qū)不斷移動(dòng)一個(gè)整體像素，在移動(dòng)的過程中計(jì)算相關(guān)系數(shù)，搜索最大相關(guān)系數(shù)的影像區(qū)作為同名像點(diǎn)。

搜索過程：

5、僅考慮影像相對(duì)移位的一維最小二乘匹配

灰度函數(shù)g1和g2，其中，g2相對(duì)于g1存在移位（視差值）

6、基于單點(diǎn)的最小二乘匹配

兩個(gè)2維圖像的幾何變形，不僅存在如5的相對(duì)移位，圖形也會(huì)變化。

考慮一次幾何畸變：

再加上線性灰度畸變：