創新3D技術Gaussian-SLAM 通過分析視頻重建逼真的3D場景

站長之家(ChinaZ.com)12月19日 消息:Gaussian-SLAM是一項新興技術,可以通過分析視頻流中的圖像來創建逼真的3D模型,從而重建現實世界場景。

通過觀看一個視頻,Gaussian-SLAM可以分析視頻中的圖像,能夠理解視頻中的環境布局和物體的位置。然後利用這些圖像數據來創建、還原可以從各個角度觀察的3D模型,重建現實世界場景。這一過程是實時渲染的,可以幫助用戶在計算機上查看和探索3D虛擬環境。

論文地址:https://ivi.fnwi.uva.nl/cv/paper/GaussianSLAM.pdf

項目地址:https://github.com/VladimirYugay/Gaussian-SLAM

演示地址:https://vladimiryugay.github.io/gaussian_slam/

舉例來說,如果你有一個在公園拍攝的視頻,其中包括樹木、長椅、小路和行人等物體。傳統的視頻只能提供二維視角,但是使用Gaussian-SLAM技術,我們可以分析視頻中的各個物體,並了解它們在空間中的相對位置。

通過分析視頻中物體的移動和視角變化,Gaussian-SLAM可以計算出這些物體在三維空間中的位置和形狀。最終,這項技術可以創建一個公園的數字複製品的三維模型,使用戶可以從任何角度查看公園的每個角落,包括樹木、長椅和人們的活動。

Gaussian-SLAM的主要功能特點和工作原理如下:

主要功能特點:

1、光學真實的渲染:能夠以高度真實的方式重建和渲染真實世界和合成場景。

2、高斯斑點場景表示:使用高斯斑點作為場景的主要表示單位,這是一種新穎的方法,與傳統的點雲或網格表示不同。

3、互動式時間重建:允許在交互時間內重建場景,即重建過程足夠快,可以實時渲染或近實時進行。

4、適用於單目RGBD輸入:針對單目RGBD(紅綠藍深度)輸入數據進行優化,適用於多種場景。

Gaussian-SLAM特別針對的是RGBD攝像頭的輸入數據進行優化,這種攝像頭除了捕捉普通的彩色圖像外,還能提供每個像素點的深度信息,對於創建準確的三維場景模型至關重要。

工作原理:

Gaussian-SLAM的工作原理主要包括數據處理、3D高斯初始化、場景構建、關鍵幀存儲與渲染以及優化與更新。通過接收RGBD關鍵幀輸入,進行子採樣並考慮顏色梯度,將採樣點投影到3D空間,在這些採樣位置初始化新的高斯,新的3D高斯被添加到全局地圖的當前活動部分中,形成場景的一部分。輸入的RGBD關鍵幀暫時存儲,與對活動子圖有貢獻的其他關鍵幀一起,並渲染所有對活動子圖有貢獻的關鍵幀,最後計算與子圖輸入關鍵幀相關的深度和顏色損失,然後更新活動子圖中3D高斯的參數。

應用場景:

Gaussian-SLAM適用於需要高度真實感和精確度的SLAM應用,如自動駕駛、機器人導航、增強現實和虛擬現實等。這項技術的出現為模擬現實世界和創造逼真的虛擬環境提供了新的可能性。