虛擬演播室系統(tǒng)可分為3個(gè)部分：跟蹤計(jì)算、虛擬場(chǎng)景生成及視頻合成。
1、跟蹤計(jì)算
攝像機(jī)在拍攝過(guò)程中有平移X、縱移Y、高度移Z、水平角、俯仰角、鏡頭變焦ZOOM， 聚焦FOCUS等變化，這些參數(shù)的改變會(huì)引起所攝圖像視野與視角的改變，為了模擬人物所 在的三維環(huán)境，計(jì)算機(jī)必須根據(jù)這些參數(shù)不斷調(diào)整三維視圖。而攝像機(jī)跟蹤部分的作用正是 收取攝像機(jī)的位置信息和運(yùn)動(dòng)數(shù)據(jù)，實(shí)時(shí)地跟蹤真實(shí)攝像機(jī)，以保證前景與計(jì)算機(jī)背景“聯(lián) 動(dòng)”。由于這種“聯(lián)動(dòng)”是以高速計(jì)算機(jī)運(yùn)算的結(jié)果，而這種運(yùn)算永遠(yuǎn)需要一個(gè)運(yùn)算時(shí)間，所 以這種“聯(lián)動(dòng)”是有時(shí)間差的。只是設(shè)計(jì)者保證限制這種時(shí)間差在一個(gè)人眼不易察覺(jué)的范圍 內(nèi)，因此要求前景攝像機(jī)只能在一個(gè)有限的速率內(nèi)改變位置參數(shù)。目前虛擬演播室的攝像機(jī) 跟蹤系統(tǒng)主要有攝像機(jī)參數(shù)圖形識(shí)別和以傳感器為基礎(chǔ)的跟蹤系統(tǒng)兩種方式。同時(shí)這也是虛擬演播室兩大類(lèi)別的主要 區(qū)別之處。
?。?）攝像機(jī)參數(shù)圖形識(shí)別跟蹤系統(tǒng)
圖形識(shí)別跟蹤系統(tǒng)又稱(chēng)網(wǎng)絡(luò)跟蹤系統(tǒng)，作為一頂圖像處理的基本 識(shí)別技術(shù)，利用已知特殊圖形定位攝像機(jī)參數(shù)已有十多年的發(fā)展歷史。攝像機(jī)參數(shù)圖形識(shí)別 跟蹤系統(tǒng)的基本原理是需要一個(gè)畫(huà)有特殊網(wǎng)格的藍(lán)色背景幕布，它將攝像機(jī)所 拍攝的畫(huà)面送到數(shù)字視頻處理器中進(jìn)行處理，通過(guò)對(duì)詼畫(huà)面中網(wǎng)格各具的不同特征 和透視關(guān)系進(jìn)行計(jì)算，得出有關(guān)攝像機(jī)的運(yùn)動(dòng)參數(shù)。在虛擬演播室發(fā)展的初期這頂技術(shù)應(yīng)用 于虛擬演播室中的攝像參數(shù)定位，具有先進(jìn)的一面，它省去了傳感器跟蹤系統(tǒng)所必然帶來(lái)的 對(duì)云臺(tái)的改裝，并可使一套識(shí)別跟蹤系統(tǒng)與多個(gè)攝像機(jī)相連，但它的先天不足也使其在應(yīng)用 上遇到了許多問(wèn)題。
首先，由于一套識(shí)別跟蹤系統(tǒng)只能同時(shí)跟蹤并處理一個(gè)方位信號(hào)，因而在原理上圖形識(shí) 別跟蹤系統(tǒng)就只能為場(chǎng)景生成系統(tǒng)提供一個(gè)機(jī)位的參數(shù)，從而使場(chǎng)景生成系統(tǒng)只能生成一個(gè) 主輸出畫(huà)面。如果場(chǎng)景生成系統(tǒng)有能力生成并合成一個(gè)或一個(gè)以上的預(yù)監(jiān)畫(huà)面，為能跟蹤除 主輸出之外的一個(gè)或一個(gè)以上的攝像機(jī)參數(shù)就必須相應(yīng)地增加識(shí)別跟蹤系統(tǒng)，也就是說(shuō)，如 果想要同時(shí)監(jiān)視4個(gè)攝像機(jī)的合成畫(huà)面，除了要有4套背景生成及合成系統(tǒng)外，還必須配置 4套圖形識(shí)別跟蹤系統(tǒng)。虛擬演播室發(fā)展到現(xiàn)在，對(duì)預(yù)監(jiān)機(jī)位甚至是雙畫(huà)面特技的要求越來(lái) 越強(qiáng)烈，而利用圖形識(shí)別跟蹤技術(shù)所能達(dá)到效果很難讓人滿意。另外，由于該技術(shù)的核心是 一套圖形識(shí)別跟蹤系統(tǒng)，一旦圖形識(shí)別跟蹤系統(tǒng)出現(xiàn)故障就將導(dǎo)致整個(gè)系統(tǒng)崩潰而無(wú)法播 出，所以利用這種技術(shù)進(jìn)行直播是相當(dāng)危險(xiǎn)的。同時(shí)，圖形識(shí)別跟蹤技術(shù)產(chǎn)生的系統(tǒng)延時(shí)一 般也高于傳感器跟蹤系統(tǒng)，給攝像師的操作和演員的表演都帶來(lái)了難度。
第二，圖形識(shí)別跟蹤系統(tǒng)通常要在藍(lán)幕上用不同的顏色標(biāo)注識(shí)別圖形，因而對(duì)虛似演播 室背景燈光的要求也就相應(yīng)提高，同時(shí)為了能將藍(lán)幕和網(wǎng)格同時(shí)用色鍵器鍵除，色鍵器的鍵 閾值就必須相應(yīng)提高并加速，從而使色鍵器很難實(shí)現(xiàn)如透明體、煙霎，陰影等效果。而陰影 作為人手與虛擬場(chǎng)景結(jié)合的關(guān)鍵因素，卻是虛擬播室效果真實(shí)感的重要標(biāo)志。
第三，圖形識(shí)別跟蹤系統(tǒng)在所識(shí)別的畫(huà)面中要求至少有一個(gè)可識(shí)別的圖形（如網(wǎng)絡(luò)）才 能定位攝像機(jī)參數(shù)，因此當(dāng)攝像機(jī)鏡頭推上或人手遮擋使畫(huà)面中沒(méi)有可識(shí)別圖形時(shí)，圖形識(shí) 別跟蹤系統(tǒng)根本不能工作，這也就是說(shuō)單純利用這種系統(tǒng)不能進(jìn)行人物特寫(xiě)的拍攝。目 前的解決方法是求助機(jī)械傳感系統(tǒng)，也就是要在鏡頭上安裝機(jī)械傳感器才能完成特寫(xiě)的拍 攝。但其實(shí)一旦安裝了鏡頭傳感器，只要再安裝云臺(tái)傳感器就能構(gòu)成一個(gè)標(biāo)準(zhǔn)的傳感器跟蹤 系統(tǒng)，圖形識(shí)別已毫無(wú)意義。
第四，在參數(shù)釆集精度上圖形識(shí)別跟蹤系統(tǒng)也受很大的限制，攝像機(jī)距離藍(lán)幕過(guò)遠(yuǎn)或過(guò) 近以及攝像機(jī)自身的分辨率都會(huì)影響參數(shù)精度，特別是當(dāng)背景被虛焦時(shí)，極易帶來(lái)畫(huà)面的抖動(dòng)。
?。?）攝像機(jī)參數(shù)傳感器跟蹤系統(tǒng)
隨著虛擬演播室技術(shù)的誕生和發(fā)展，攝像機(jī)參數(shù)傳感器跟蹤系統(tǒng)的技術(shù)也得到了迅1速的 發(fā)展，其參數(shù)精度、參數(shù)釆集速率都足以滿足虛擬演播室技術(shù)的要求，在與云臺(tái)和鏡頭的配 合安裝上也有多種方式可供選擇，并且其成本和價(jià)格也在逐步降低。特別是目前許多云臺(tái)和 遙控云臺(tái)上安裝了能滿足虛擬演播室要求精度的參數(shù)傳感器，甚至一些鏡頭生產(chǎn)廠商為能擴(kuò) 大銷(xiāo)售也開(kāi)始在其鏡頭上安裝傳感器，我們甚至可以預(yù)見(jiàn)，隨著演播室和虛擬演播室自動(dòng)化 的發(fā)展，攝像機(jī)參數(shù)傳感器跟蹤系統(tǒng)很可能成為演播室云臺(tái)和鏡頭的標(biāo)準(zhǔn)配制。攝像機(jī)參數(shù) 傳感器跟蹤系統(tǒng)要求對(duì)每個(gè)在虛擬演播室中使用的機(jī)位都安裝傳感器，這種方式固然令系統(tǒng) 造價(jià)隨著機(jī)位的增加而提高，但其優(yōu)勢(shì)也是顯而易見(jiàn)的。由于每個(gè)機(jī)位都有傳感器，虛擬演 播室的主控系統(tǒng)可以同時(shí)獲取每個(gè)機(jī)位的參數(shù)，因此有可能為每個(gè)機(jī)位提供虛擬背景與合成 畫(huà)面。
2、計(jì)算機(jī)虛擬場(chǎng)景生成
虛擬演播室的場(chǎng)景是計(jì)算機(jī)生成的圖形，根據(jù)圖形是二維和三維，虛擬場(chǎng)景也有二維和 三維之分?根據(jù)三維模型生成方式，三維場(chǎng)景有真三維系統(tǒng)和二維半系統(tǒng)?所謂真三維系統(tǒng) 是指由計(jì)算機(jī)實(shí)時(shí)生成三維虛擬場(chǎng)景，場(chǎng)中燈光的強(qiáng)弱、位置以及物體的位置和大小都可以 實(shí)時(shí)變化，當(dāng)能獲取攝像機(jī)位置參數(shù)時(shí)機(jī)位也可移動(dòng)。該系統(tǒng)由于物體、燈光甚至機(jī)位都可 以移動(dòng)，畫(huà)面會(huì)顯得比較生動(dòng)，適合用于綜藝、科技類(lèi)節(jié)目以及效果要求復(fù)雜的體肓、天氣 預(yù)報(bào)節(jié)目。但是這種設(shè)備一般造價(jià)較高，并且受到計(jì)算機(jī)處理能力限制，三維虛擬真實(shí)模型 不可能無(wú)限復(fù)雜，即虛擬場(chǎng)景的總效果受到限制。所謂二維半系統(tǒng)是指事先由三維處理軟件 生成好場(chǎng)景畫(huà)面，再由計(jì)算機(jī)根據(jù)攝像機(jī)參數(shù)進(jìn)行貼圖，場(chǎng)景中燈光的強(qiáng)弱、位置以及物體 的位置和大小都不能變化，攝像機(jī)位置也不能移動(dòng)。二維半系統(tǒng)的物體，燈光以及機(jī)位都是 固定的，但因?yàn)閳?chǎng)景是提前誼染好的，其效果可以任意發(fā)揮不受計(jì)算機(jī)處理能力的限制，并 且造價(jià)較低，非常適用于場(chǎng)景靜止的新聞、訪談等節(jié)目的制作，應(yīng)當(dāng)說(shuō)能滿足大多數(shù)節(jié)目制 作的要求。
3、視頻合成
虛擬演播室系統(tǒng)視頻合成的基本技術(shù)是色鍵器摳像，即攝像機(jī)拍攝的藍(lán)幕布前的真實(shí)景 物通過(guò)色鍵器進(jìn)行摳像處理，與計(jì)算機(jī)生成的虛擬場(chǎng)景合成。
虛擬演播室前景和背景合成要釆用深度合成技術(shù)。所謂深度就是前后關(guān)系，這一技術(shù) 要考慮兩路鍵信號(hào)的深度信息。這不同于三維圖像的造型技術(shù)，因?yàn)樘摂M演播室三維場(chǎng)景圖 像中的像素不僅需要都帶有深度信息，而且還要有與攝像機(jī)的距離信息，由這兩部分信息決 定前景和背景像素的可見(jiàn)性。在實(shí)時(shí)生成的時(shí)候，高性能的計(jì)算機(jī)通常使用一個(gè)深度緩沖區(qū) 來(lái)存儲(chǔ)像素的深度值。那么如何在傳統(tǒng)攝像機(jī)拍攝時(shí)，獲取前景視頻信號(hào)的深度信息呢？通 常釆用估計(jì)方法，估計(jì)攝像機(jī)與鑌員之間的距離，即深度值（深度鍵)。前景信號(hào)通過(guò)色鍵 摳像得到鑌員部分的信號(hào)，先與背景作傳統(tǒng)方式上的合成，得到色鍵序列值，這樣已部分地 確定了前景在背景中的位置，再由深度值來(lái)進(jìn)行前后關(guān)系的調(diào)整，輸出的深度鍵值序列 再按傳統(tǒng)方法合成。
