提及機器人視覺，不免會想到計算機視覺和機器視覺，很多人會把這三者弄混。
計算機視覺是以圖片認知為基礎的科學，只通過圖片識別輸出結(jié)果，代表企業(yè)是谷歌。 機器視覺多用于生產(chǎn)線上的質(zhì)量檢測，普遍基于2D識別，被廣泛應用于3C電子行業(yè)，代表企業(yè)是康耐視。 機器人視覺是指不僅要把視覺信息作為輸入，而且還要對這些信息進行處理，進而提取出有用的信息提供給機器人。是為了讓機器人真正變成“機器人”，而不是機器臂。
（一） 傳統(tǒng)的機器臂只是自動化設備，是通過編程處理固定的動作，是不能處理具有變動性事物的能力。機器人視覺這要求機器人要擁有3D視覺，能處理三維空間里的三維物體問題，并且具有復雜算法，支撐機器人對位置、動作、軌跡等復雜信息的捕捉，這必須要依賴人工智能和深度學習來完成。 機器人視覺是為認知機器人服務，具備不斷學習的功能尤為關(guān)鍵，無論是做檢測還是定位引導，當機器人做的次數(shù)越多，伴隨著數(shù)據(jù)的增長變化，機器人的準確性也會越高，這跟人的學習成長能力是類似的。 機器人視覺是一種處理問題的研究手段。經(jīng)過長時間的發(fā)展，機器人視覺在定位，識別，檢測等多個方面發(fā)展出來各種方法。其以常見的相機作為工具，以圖像作為處理媒介，獲取環(huán)境信息。
相機是機器人視覺的主要武器，也是機器人視覺和環(huán)境進行通信的媒介。相機的數(shù)學模型為小孔模型，其核心在于相似三角形的求解。其中有三個值得關(guān)注的地方： 1.1 1/f = 1/a + 1/b 焦距等于物距加上像距。此為成像定理，滿足此條件時才能成清晰的像。 1.2 X = x * f/Z 如果連續(xù)改變焦距f ，并同時移動相機改變Z，則可以使得物體x在圖像上所占像素數(shù)目不變(X)。此為DollyZoom原理。如果某個物體在該物體后方(更大的Z)，可利用此原理任意調(diào)整兩個物體在相片上的比例。 1.3 焦距越長，則視場越小，可以將遠處的物體拍清晰。同時相片會有更大的景深。
此外，同一平面上各個方向的消失點，會在圖像中組成一條直線，稱為水平線。該原理可以用于測量站在地上的人的高度。值得注意的是只有相機水平時，horizen的高度才是camera Height. 
如果我們能獲得一幅圖中的2個消失點。且這2個消失點所對應的方向是相互垂直的（網(wǎng)格），那么我們就可以估計出相機相對于此圖像的姿態(tài)（靶標位姿估計）。 在獲得相機相對于靶標的旋轉(zhuǎn)向量后，如果相機內(nèi)部參數(shù)已知，且已知射影變換矩陣，則可計算相機相對于靶標的距離，那么可以估計機器人的位置。H = K^-1*(H射影矩陣) 
p1×p2 = L12 L12×L23 = p2
射影變換的核心在于H的求取。普通的求解方法見機器視覺教材。 假設平面相片的四個點分別是A(0,0,1),B(0,1,1),C(1,1,1),D(1,0,1)。顯然，這四個點需要投射到四個我們已知像素位坐標的圖像區(qū)域中。 此外，我們還可以依據(jù)像素位置計算兩個有趣的點，V1(x1, y1, z1)，V2(x2,y2,z2)，這兩個點都是圖像點。他們對應的實際坐標假設是(0,1,0),(1,0,0)。那么我們就有三個很有趣的實際點了。分別是(1,0,0),(0,1,0),(0,0,1)，恰好是一個Identity Matrix。這三個實際坐標經(jīng)過射影變換會得到像素坐標。像素坐標又是已知的。那么H的第一列就應該對應beta*V2,第二列應該對應alpha*V1。 第三列應該對應gama*【A的像素坐標】。alpha beta gama是常數(shù)。【射影變化后的坐標應為常數(shù)乘以其次坐標】。 如果能解得alpha beta gama，那么我們就獲得了射影變換矩陣。顯然把C點的像素坐標帶入方程，我們則有3個方程，4個未知數(shù)（引入了一個lamda）。但是lamda并不影響，除過去后我們只要alpha/lamda,beta/lamda,gama/lamda當作未知數(shù)即可解除射影矩陣。 所以，射影變換矩陣的第一列代表消失點V1,第二列代表消失點V2，第一列與第二列的叉乘，代表水平線方程（點線對偶）。
（二）
上回介紹了機器人視覺的一些基礎信息，說到機器人視覺的核心任務是estimation，理論框架是射影幾何理論。然而，整個estimation的首要條件是已知像素點坐標，尤其是多幅圖中對應點的像素坐標。 單幅圖像的處理方法不贅述，想講講不變點檢測與不變特征。由于機器人在不斷運動，所以可能從不同方向?qū)ν晃矬w進行拍攝。而拍攝的距離有遠近，角度有titled. 由于射影變換本身的性質(zhì)，無法保證兩幅圖中的物體看上去一樣。所以我們需要一種特征提取方法（特征點檢測），能夠保證檢測是旋轉(zhuǎn)，縮放不變的。除此之外還要一種特征描述方法，同樣對旋轉(zhuǎn)和縮放不變。
多尺度卷積的作用是構(gòu)造一個由近及遠的圖像。金字塔則由下采樣進行構(gòu)造。 
對于不同尺度的圖像同一個像素，我們可以跟蹤它“灰度”的變化。我們發(fā)現(xiàn)，如果某一點對不同 sigma 的模版響應是不同的，最大響應（卷積后的灰度）所對應的scale 成為該點本征scale。這有點像對一個機械結(jié)構(gòu)給不同頻率的激勵，某一頻率下會發(fā)生共振，我們可以記錄此頻率一定程度上代表了此結(jié)構(gòu)（單擺頻率只和ml有關(guān)，有了f就可以重現(xiàn)系統(tǒng)）。 所以，我們只要找到一個合適的模版（激勵方式），再找到最大響應，就可以獲取圖片中各個點的 Intrinsic Scale(本征尺度)。同一物體在不同距離拍攝后，都會統(tǒng)一在Intrinsic Scale下進行響應。由此解決了尺度不變的問題。 3D非極大值抑制是指在某點的3*3*3鄰域內(nèi)，僅取最大響應，作為特征點。由于該點是空間鄰域中響應最強的，所以該點也是旋轉(zhuǎn)不變的。從各個方向看，該點響應最強。
這里所使用的是HOG特征。特征描述可以分為兩步：（1）局部主方向確定；（2）計算梯度直方圖。 以sigma作為特征描述選擇范圍是一個合理的想法，因為sigma描述了尺度，特征點位置+尺度 = 特征點所代局部信息。在此基礎上，統(tǒng)計其領域內(nèi)所有像素的梯度方向，以方向統(tǒng)計直方圖作為特征向量，至此完成HOG特征構(gòu)造。重要的是，在統(tǒng)計方向之前，需要把圖像主方向和X軸方向?qū)R。示意圖如下： 
圖中黃色的有點像時鐘的東西是特征點+scale，指針代表該片小圖像的主方向(PCA)。綠色的是直方圖的bin，用于計算特征向量。 最后，我們只要匹配特征向量就可以得到 圖像1 --- 圖像2 的對應點對，通過單應矩陣的計算就可以將兩幅圖拼接在一起。如果已知標定信息則可進行3D reconstruction。
（三）
上篇文章說到從場景中提取特征點，并且對不同角度中的特征點進行匹配。這次要先介紹一個工具 —— 擬合。 擬合本質(zhì)上是一個優(yōu)化問題，對于優(yōu)化問題，最基本的是線性最小二乘法。換言之，我們需要保證擬合誤差最小。
1、相機模型
2、消失點
消失點是相片中特有的。此點在相片中不直接存在，在現(xiàn)實中直接不存在。由于射影變換，相片中原本平行的線會有相交的趨勢。如果求的平行直線在圖像中的交點，則該點對應現(xiàn)實中無窮遠處的一點。該點的圖像坐標為[X1 X1 1]。此點成為消失點。相機光心與消失點的連線指向消失點在攝像機坐標系中的方向。
2.1 位姿估計
2.2 點線對偶
3、射影變換
射影變化是空間中平面--->平面的一種變換。對齊次坐標，任意可逆矩陣H均表達了射影變換。簡而言之，可以表達為A = HB ，其中AB是[X Y 1]形式的其次坐標。射影變換的一大作用就是將某一形狀投射成其他形狀。比如，制作相片中的廣告牌，或者比賽轉(zhuǎn)播中的廣告牌，或者游泳比賽運動員到達后那個biu的一下出現(xiàn)的國旗。射影變換也是增強現(xiàn)實技術(shù)的基礎。
1、SIFT特征提取
SIFT特征提取可以分為以下幾個步驟：（1）多尺度卷積；（2）構(gòu)造金字塔；（3）3D非極大值抑制。
2、SIFT特征描述
特征提取和特征描述實際上是兩碼事。在上一節(jié)中特征提取已經(jīng)結(jié)束了。假如有兩幅圖片，那么相同的特征點肯定會被找到。特征描述的作用是為匹配做準備，其以特征點局部區(qū)域信息為標準，將兩幅圖中相同的特征點聯(lián)系起來。特征的本質(zhì)是一個高維向量。要求尺度不變，旋轉(zhuǎn)不變。
