由于安裝設計，以及攝相機之間的差異，會造成視頻圖像之間有縮放（鏡頭焦距不一致造成）、傾斜（垂直旋轉）、方位角差異（水平旋轉），因此物理的差異需要預先校準，得到一致性好的圖像，便于后續(xù)圖像拼接。

在實際應用中，全景圖像的獲得往往需要攝像機以不同的位置排列和不同的傾角拍攝。例如由于機載或車載特性，相機的排列方式不盡相同，不能保證相機在同一面上，如柱面投影不一定在同一個柱面上，平面投影不一定在同一平面上；另外為了避免出現盲區(qū)，相機拍攝的時候往往會向下傾斜一定角度。這些情況比較常見，而且容易被忽略，直接投影再拼接效果較差。因而有必要在所有圖像投影到某個柱面（或平面）之前，需要根據相機的位置信息和角度信息來獲得坐標變換后的圖像。
理論上只要滿足靜止三維圖像或者平面場景的兩個條件中的任何一個，兩幅圖像的對應關系就可以用投影變換矩陣表示，換句話說只要滿足這其中任何一個條件，一個相機拍攝的圖像可以通過坐標變換表示為另一個虛擬相機拍攝的圖像。