科研動(dòng)態(tài)
基于多項(xiàng)式的神經(jīng)輻射場(chǎng)實(shí)時(shí)渲染
中文題目：基于多項(xiàng)式的神經(jīng)輻射場(chǎng)實(shí)時(shí)渲染
論文題目：Polynomial for real-time rendering of neural radiance fields
錄用期刊/會(huì)議：The Visual Computer(CCF C)
原文DOI：https://doi.org/10.1007/ s00371-024-03660-4
原文鏈接：https://link.springer.com/article/10.1007/s00371-024-03660-4
錄用/見(jiàn)刊時(shí)間：2024.9.27
作者列表：
1) 朱麗萍 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院 計(jì)算機(jī)系教師
2) 周海波 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院 碩21
3) 吳祀霖 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院 碩22
4) 程天榮 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院 碩23
5) 孫紅軍 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院 計(jì)算機(jī)系教師
背景與動(dòng)機(jī):
基于神經(jīng)輻射場(chǎng)的研究所面臨的一個(gè)共同挑戰(zhàn)就是圖像的渲染速度慢，導(dǎo)致這一現(xiàn)象的原因在于極端的采樣要求和昂貴的神經(jīng)網(wǎng)絡(luò)查詢(xún)成本，對(duì)于一條光線(xiàn)的渲染需要查詢(xún)神經(jīng)網(wǎng)絡(luò)的每個(gè)5維坐標(biāo)（位置坐標(biāo)與視角坐標(biāo)）的映射。PlenOctrees方法通過(guò)將NeRF模型轉(zhuǎn)化成體素結(jié)構(gòu)并利用八叉樹(shù)存儲(chǔ)，實(shí)現(xiàn)了離線(xiàn)渲染，在渲染速度上得到了指數(shù)提升。但此類(lèi)方法以犧牲大量的存儲(chǔ)空間來(lái)?yè)Q取渲染時(shí)間的突破，且在場(chǎng)景細(xì)節(jié)的渲染上效果不佳。
針對(duì)這些問(wèn)題，本研究提出PNeRF（Polynomial for Neural Radiance Fields）模型來(lái)訓(xùn)練三維場(chǎng)景表示。通過(guò)神經(jīng)網(wǎng)絡(luò)推理得到渲染結(jié)果只需要查詢(xún)一次網(wǎng)絡(luò)，在渲染時(shí)間上大幅度提升，為了進(jìn)一步優(yōu)化渲染速率，又設(shè)計(jì)了六軸曲面方法來(lái)存儲(chǔ)渲染視圖，將觀(guān)察起點(diǎn)與方向映射的渲染值通過(guò)六軸曲面模型存儲(chǔ)，實(shí)現(xiàn)離線(xiàn)渲染。
設(shè)計(jì)與實(shí)現(xiàn):
本研究將三維靜態(tài)場(chǎng)景表示為6D神經(jīng)輻射場(chǎng)的連續(xù)函數(shù)，其輸入是觀(guān)察起點(diǎn)坐標(biāo)x0和觀(guān)察方向向量d，其輸出是場(chǎng)景空間的密度多項(xiàng)式系數(shù)、顏色多項(xiàng)式系數(shù)以及與觀(guān)察位姿相關(guān)的像素顏色權(quán)重w。本文將此場(chǎng)景表示方法稱(chēng)為PNeRF模型，即基于多項(xiàng)式的神經(jīng)輻射場(chǎng)場(chǎng)景表示。PNeRF的整體架構(gòu)如下圖1所示。
圖1 基于多項(xiàng)式的神經(jīng)輻射場(chǎng)
為了更好的反映顏色變化情況，對(duì)每條光線(xiàn)設(shè)置權(quán)重w(x0,d)，權(quán)重w與觀(guān)察位姿相關(guān)，表示為光線(xiàn)色彩RGB三通道分別對(duì)最終像素的貢獻(xiàn)度，取值范圍為[0,1]，此外，每條光線(xiàn)的強(qiáng)度比例為一常數(shù)，為方便于計(jì)算，將其與權(quán)重混合在一起，即w(x0,d)表示光線(xiàn)色彩貢獻(xiàn)度與強(qiáng)度的乘積，得到新的體渲染方程為：
推理得到單光線(xiàn)渲染方程的最終形式為：
進(jìn)一步計(jì)算積分得到在PNeRF網(wǎng)絡(luò)中的最終體渲染推理方程式為：
在方程式中，F(xiàn)(s)與f(s)分別為三維空間中體積密度函數(shù)與原函數(shù)在光線(xiàn)發(fā)射方向d上的梯度向量。
在渲染視圖時(shí)，本節(jié)提出了六軸曲面（Six-axis surfaces，Sas）的球面數(shù)學(xué)模型，如圖2所示，不再使用坐標(biāo)原點(diǎn)發(fā)射的一條射線(xiàn)與球面交于一點(diǎn)的傳統(tǒng)思想，而是通過(guò)坐標(biāo)軸，以X軸與Y軸發(fā)射兩個(gè)平面與球面交于一點(diǎn)的觀(guān)念。為了使分布更為均勻，通過(guò)三維坐標(biāo)軸的六個(gè)方向劃分球面，對(duì)這六個(gè)球面分別表示。
圖2 六軸曲面模型可視化
以Z軸正方向上的球面為例，設(shè)從X軸發(fā)射的平面與Z軸的夾角為u，從Y軸發(fā)射的平面與Z軸的夾角為v，根據(jù)X軸發(fā)射的平面與Z軸的夾角可以得到平面法向量，為X軸向量與平面在ZoY平面上的交點(diǎn)到原點(diǎn)向量之間的叉乘，解算兩平面與球面的交點(diǎn)得到Z軸正方向上的曲面方程為：
如圖3所示，在六軸曲面方程的基礎(chǔ)上用網(wǎng)格來(lái)分割曲面，網(wǎng)格頂點(diǎn)上存儲(chǔ)對(duì)應(yīng)觀(guān)察位置的渲染視圖，網(wǎng)格內(nèi)的切點(diǎn)則通過(guò)頂點(diǎn)的插值來(lái)實(shí)現(xiàn)。
圖3 距離場(chǎng)插值算法
在四個(gè)頂點(diǎn)存儲(chǔ)的視圖中，對(duì)應(yīng)相同坐標(biāo)的像素顏色值ci會(huì)有一定差距。本研究使用距離場(chǎng)來(lái)描述插值點(diǎn)的視圖顏色，通過(guò)頂點(diǎn)插值得到對(duì)應(yīng)坐標(biāo)上的顏色值，每個(gè)頂點(diǎn)對(duì)插值點(diǎn)顏色的貢獻(xiàn)度與距離相關(guān)，且貢獻(xiàn)度總和為1。則頂點(diǎn)貢獻(xiàn)度表示為：
實(shí)驗(yàn)結(jié)果及分析:
本文依照在LLFF數(shù)據(jù)集上呈現(xiàn)。所有的消融實(shí)驗(yàn)均在模型選擇的最佳參數(shù)上進(jìn)行的。
表1 不同模型組件的實(shí)驗(yàn)結(jié)果
圖4 不同渲染加速算法合成新視圖
根據(jù)LLFF數(shù)據(jù)集來(lái)進(jìn)行實(shí)驗(yàn)并評(píng)估本章節(jié)的算法。首先，在渲染質(zhì)量上，如圖6所示，展示了真實(shí)的360度場(chǎng)景Horns與Trex的渲染結(jié)果對(duì)比，渲染質(zhì)量評(píng)估數(shù)值對(duì)比見(jiàn)表2。
表2 不同方法的比較
其次，對(duì)比渲染時(shí)間性能，綜合渲染質(zhì)量對(duì)PNeRF結(jié)合六軸曲面模型的性能進(jìn)行評(píng)估。如圖5所示。
圖5 渲染速率與質(zhì)量綜合對(duì)比 圖6 渲染速率與存儲(chǔ)成本的綜合對(duì)比
最后，在存儲(chǔ)成本上的對(duì)比，如圖6所示。PNeRF模型的存儲(chǔ)空間大小僅僅只需保存網(wǎng)絡(luò)權(quán)重的空間且渲染速率表現(xiàn)較優(yōu)。
結(jié)論:
本文主要研究基于多項(xiàng)式的體渲染表示以及六軸曲面模型實(shí)現(xiàn)離線(xiàn)渲染?；诙囗?xiàng)式的體渲染表示方面，本文對(duì)當(dāng)前離散化的體渲染表示進(jìn)行了優(yōu)化，根據(jù)多項(xiàng)式擬合離散點(diǎn)的性質(zhì)，將體渲染表示連續(xù)化并轉(zhuǎn)換到三維空間中，通過(guò)實(shí)驗(yàn)證明提出的基于多項(xiàng)式的體渲染表示在提升渲染速率上的有效性。對(duì)于六軸曲面模型，本文設(shè)計(jì)了網(wǎng)格分布均勻、存儲(chǔ)成本更小的球面存儲(chǔ)結(jié)構(gòu)，來(lái)存儲(chǔ)渲染的視圖從而實(shí)現(xiàn)離線(xiàn)實(shí)時(shí)渲染，實(shí)驗(yàn)結(jié)果表明，該方法可以大幅度提升渲染速率，有效壓縮存儲(chǔ)空間。結(jié)合以上兩個(gè)方式，有效地提高了渲染速度，壓縮了存儲(chǔ)成本，實(shí)現(xiàn)了離線(xiàn)實(shí)時(shí)渲染。
作者簡(jiǎn)介:
朱麗萍，博士。中國(guó)石油大學(xué)（北京）計(jì)算機(jī)系副教授，碩士生導(dǎo)師。目前主要研究方向是大數(shù)據(jù)和數(shù)據(jù)挖掘方向，尤其關(guān)注深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)方向上的應(yīng)用，已發(fā)表論文多篇高水平論文。
聯(lián)系方式：[email protected]。