近日，來自德國埃爾蘭根-紐倫堡大學(xué)的學(xué)者提出了一種新穎的神經(jīng)網(wǎng)絡(luò)方法，用于3D圖像的場景細(xì)化和新視圖合成。只需要輸入點云和相機(jī)參數(shù)的初始估計，就可以輸出由任意相機(jī)角度合成的圖像，360度旋轉(zhuǎn)都不是問題。
從左到右，分別是點云、體素、三角網(wǎng)格形式的兔子3D圖像。
圖源：https://arxiv.org/pdf/2008.05511.pdf
圖源：https://arxiv.org/pdf/1906.08240.pdf（Aliev et al.）
研究人員表示，高效的單像素點光柵化讓他們能夠?qū)崟r顯示超過 1 億個像素點的點云場景。
一億個像素點是什么概念？說白了，這些3D圖像太逼真了，簡直和拍照沒啥區(qū)別。
這項研究最近在推特上收到了很大的關(guān)注，網(wǎng)友紛紛回應(yīng)：impressive！同時，也有網(wǎng)友表示，這項研究確實利用了大規(guī)模動態(tài)輸入點云的優(yōu)勢，而這原本是“超級難”的問題。
如下圖所示，給定一組RGB圖像和初始3D重建（圖左），該渲染方法能夠合成新的幀，并優(yōu)化場景參數(shù)。
論文地址：https://arxiv.org/pdf/2110.06635v1.pdf
用神經(jīng)網(wǎng)絡(luò)自動學(xué)習(xí)合成高清3D圖像已有成效，但之前還難以做到大動態(tài)的視角變換，他們是怎么實現(xiàn)的呢？
1
秘密：點云輸入和可微優(yōu)化
合成逼真的虛擬環(huán)境是計算機(jī)圖形學(xué)和計算機(jī)視覺研究的熱門領(lǐng)域之一。
其中，3D 形狀的編碼形式是非常關(guān)鍵的部分，人們通常會考慮三角形網(wǎng)格、體素網(wǎng)格、隱函數(shù)和點云，每種表示法都有各自的優(yōu)缺點。
從左到右，分別是點云、體素、三角網(wǎng)格形式的兔子3D圖像。
為了有效渲染不透明表面，人們通常選擇三角形網(wǎng)格。
體素網(wǎng)格常用于容量表示，而隱函數(shù)適用于精確描述非線性分析表面（比如a^2+b^2+c^2=1，就是一個單位球面。
另一方面，點云具有易于使用的優(yōu)點，因為不必考慮拓?fù)湫再|(zhì)，非常便于作為3D圖像合成的中間輸出階段。不必考慮拓?fù)湫再|(zhì)是指，無論是圓環(huán)還是球體，其表示形式都是一樣的。
在2000年左右，點云渲染，尤其是點散布，已在計算機(jī)圖形學(xué)中得到廣泛研究。
與此同時，人們越來越關(guān)注基于圖像的渲染技術(shù)。也就是基于粗略的、重建的3D模型以及已有的一組物體圖像，來合成新的視圖。
這些方法存在輸入不精確的問題，例如，如果幾何圖形包含孔或輸入圖像沒有完全對齊，則會出現(xiàn)偽影。
而基于神經(jīng)圖像的渲染方法使用神經(jīng)網(wǎng)絡(luò)來去除這些偽影，可以生成前所未有的如照片般逼真的高質(zhì)量新視圖。
圖源：https://arxiv.org/pdf/2008.05511.pdf
Aliev等人則表明，將傳統(tǒng)的點光柵化器與深度神經(jīng)網(wǎng)絡(luò)配對也是可行的。
圖源：https://arxiv.org/pdf/1906.08240.pdf（Aliev et al.）
這一發(fā)現(xiàn)對3D重建尤其有益，因為其通常使用密集點云作為初始輸出。因此，我們可以跳過不必要的、可能出現(xiàn)錯誤的三角測量，直接可視化重建的場景。
在本文中，研究人員的方法建立在 Aliev 等人的管道之上，并以多種方法對其進(jìn)行改進(jìn)。
圖2：基于點的HDR神經(jīng)渲染管道概覽。
如上圖所示，由紋理點云和環(huán)境圖組成的場景被光柵化為一組具有多種分辨率的稀疏神經(jīng)圖像。
深度神經(jīng)網(wǎng)絡(luò)重建HDR圖像。
然后通過一個基于物理的可微色調(diào)映射器將其轉(zhuǎn)換為給定新視點場景的 LDR圖像。
在訓(xùn)練階段，可以同時優(yōu)化矩形框中的所有參數(shù)以及神經(jīng)網(wǎng)絡(luò)。
在整個管道中，他們特別添加了一個物理的、可微分的相機(jī)模型和一個可微分的色調(diào)映射器，并提出了一個公式，以更好地近似單像素點光柵化的空間梯度。
可微分的好處是，不僅可以優(yōu)化神經(jīng)點特征，還可以在訓(xùn)練階段校正不精確的輸入。
因此，系統(tǒng)可以根據(jù)神經(jīng)渲染網(wǎng)絡(luò)的視覺損失來調(diào)整這些參數(shù)：
相機(jī)模型
相機(jī)角度
點云位置
點云顏色
環(huán)境貼圖
渲染網(wǎng)絡(luò)權(quán)重
漸暈
相機(jī)響應(yīng)函數(shù)
每張圖像的曝光和白平衡
得益于此，圖像的渲染質(zhì)量得到了顯著提升。
此外，該方法能夠合成任意的高動態(tài)范圍成像（HDR，即大幅度的曝光變化）和LDR（低動態(tài)范圍成像，容易缺失圖像細(xì)節(jié)）設(shè)置，并校正曝光不足或過度曝光的視圖（如下圖所示）。
同時，深度神經(jīng)網(wǎng)絡(luò)內(nèi)部的參數(shù)數(shù)量也顯著減少，因為亮度和顏色變化由物理上正確的傳感器模型單獨(dú)處理。
如下表所示，與其他可微渲染器相比，本文的方法效率高出大約兩個數(shù)量級。
表I：RTX 2080 Ti上1920×1080圖像的正向和反向渲染時間（以毫秒為單位）。
因此，渲染性能提高了，過擬合偽影也減少了。
總而言之，這篇論文的研究成果如下：
• 用于場景細(xì)化和可視化的端到端可訓(xùn)練的基于點的神經(jīng)渲染管道。
• 使用偽影幾何概念的單像素點碎片的可微分光柵化器。
• 可模擬數(shù)碼攝影鏡頭和傳感器效果的基于物理的可微分色調(diào)映射器。
• 用于大型點云的高效多層渲染的隨機(jī)點丟棄技術(shù)。
最后，該研究已開源：https://github.com/darglein/ADOP
圖11：在羅馬船只數(shù)據(jù)集上合成的新視圖。使用與參考照片相同的曝光值對圖像進(jìn)行渲染。在右列中，每個像素的誤差都是可視化的。
2
管道詳解
我們再詳細(xì)介紹一下模型管道。
管道的第一步是可微分光柵化器（圖2左）。
它通過使用相機(jī)參數(shù)將每個點投影到圖像空間，將其呈現(xiàn)為單個像素大小的碎片。
如果該像素點通過一個測試，它就會在神經(jīng)網(wǎng)絡(luò)輸出圖像中占據(jù)一個描述符。所有未被點著色的像素都由從背景顏色填充。
由于我們將點渲染為單個像素大小的碎片，輸出的圖像可能會非常稀疏，這取決于點云的空間分辨率和相機(jī)距離。
因此，以不同的比例渲染多個圖層，使輸出圖像密集化，并處理遮擋和照明問題。
神經(jīng)渲染器（圖2中間）采用多分辨率神經(jīng)圖像生成單個HDR輸出圖像。
它由一個四層全卷積U-Net和跳躍連接組成，其中較低分辨率的輸入圖像連接到中間特征張量。使用平均池化執(zhí)行下采樣，并通過雙線性插值對圖像進(jìn)行上采樣。
研究人員主要使用門控卷積，它最初是為填孔任務(wù)而開發(fā)的，因此非常適合稀疏點輸入。
總體而言，該網(wǎng)絡(luò)架構(gòu)類似于 Aliev等人提出的架構(gòu)，只減少了一層，并進(jìn)行了一些修改，以支持HDR成像。
首先，去掉批歸一化層，因為它們將中間圖像的均值和標(biāo)準(zhǔn)差歸一化為固定值。這會使得總傳感器輻照度（類似光強(qiáng)概念）丟失，并且無法從3D點傳播到最終圖像。
此外，如果場景的亮度范圍相當(dāng)大（大于 1 : 400），會以對數(shù)方式存儲神經(jīng)點描述符。否則，神經(jīng)描述符將線性存儲。對于對數(shù)描述符，在光柵化過程中將其轉(zhuǎn)換為線性空間，以便卷積操作僅使用線性亮度值。
管道中的最后一步（圖2右側(cè)）是可學(xué)習(xí)的色調(diào)映射操作符，它將渲染的HDR圖像轉(zhuǎn)換為 LDR。
該色調(diào)映射器模擬數(shù)碼相機(jī)的物理鏡頭和傳感器特性。因此，它最適合捕捉智能手機(jī)、數(shù)碼單反相機(jī)和攝像機(jī)的LDR圖像。
3
局限性
盡管合成效果如此驚艷，在實驗中，研究人員也發(fā)現(xiàn)了一些局限性。
其中一個限制是，由于不同參數(shù)的數(shù)量巨大，不容易尋找合適的超參數(shù)。必須平衡紋理顏色、結(jié)構(gòu)參數(shù)、色調(diào)映射設(shè)置和神經(jīng)網(wǎng)絡(luò)權(quán)重的學(xué)習(xí)速率。為了找到適合所有場景的可行設(shè)置，需要進(jìn)行廣泛的網(wǎng)格搜索。
另一個限制是，點位置的優(yōu)化對于中到大的學(xué)習(xí)率是不穩(wěn)定的。因此，該管道需要合理的初始點云，例如，通過多視圖立體系統(tǒng)或 LiDaR 掃描儀。
研究人員認(rèn)為這個問題是由光柵化過程中的梯度逼近引起的。它適用于相機(jī)模型和相機(jī)角度優(yōu)化，因為數(shù)千個點的空間梯度在一個優(yōu)化器步驟中得到平均。然而，對于位置點梯度，僅使用單個近似梯度來更新其坐標(biāo)。因此需要非常低的學(xué)習(xí)率來平均點梯度隨時間的變化。
最后，由于是單像素點渲染，當(dāng)相機(jī)離物體太近或點云非常稀疏時，可能會出現(xiàn)孔。這是因為神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)只能填補(bǔ)一定大小閾值的洞。在實驗中，研究人員通過人為地增加點密度來減少這個問題。然而，這并不是一個普遍可行的解決方案，因為在自由視圖環(huán)境中，用戶仍然可以任意移動相機(jī)以靠近物體表面。研究人員表示，他們未來的工作應(yīng)該會從這里開始，例如，可以嘗試在放大過程中動態(tài)生成具有內(nèi)插神經(jīng)描述符的新點。
