【ITBEAR】近期，極佳科技攜手中國科學(xué)院自動(dòng)化研究所、理想汽車、北京大學(xué)及慕尼黑工業(yè)大學(xué)，共同推出了DriveDreamer4D，這一創(chuàng)新成果標(biāo)志著首次利用世界模型來增強(qiáng)4D駕駛場(chǎng)景的重建效果。DriveDreamer4D不僅顯著提升了多種自動(dòng)駕駛4D重建算法的性能，還在用戶調(diào)研中獲得了超過80%的偏好投票，為空間智能和4D世界模型的發(fā)展奠定了堅(jiān)實(shí)基礎(chǔ)。
DriveDreamer4D的核心優(yōu)勢(shì)在于其能夠生成豐富多樣的駕駛場(chǎng)景數(shù)據(jù)，特別是針對(duì)復(fù)雜操作如變道、加速和減速等，從而增強(qiáng)閉環(huán)仿真能力。該技術(shù)利用世界模型作為數(shù)據(jù)引擎，基于真實(shí)駕駛數(shù)據(jù)合成新軌跡視頻，如變道場(chǎng)景，進(jìn)而提升重建算法的效果。
在DriveDreamer4D的總體結(jié)構(gòu)中，軌跡生成模塊（NTGM）扮演著關(guān)鍵角色，它負(fù)責(zé)調(diào)整原始軌跡動(dòng)作，如轉(zhuǎn)向角度和速度，以生成新的軌跡。這些新軌跡為提取結(jié)構(gòu)化信息提供了全新視角，進(jìn)而合成新軌跡視頻，并結(jié)合原始軌跡視頻優(yōu)化4DGS模型。
實(shí)驗(yàn)結(jié)果顯示，DriveDreamer4D在復(fù)雜駕駛場(chǎng)景下表現(xiàn)出色。在變道場(chǎng)景中，傳統(tǒng)算法往往出現(xiàn)模糊和“鬼影”現(xiàn)象，而DriveDreamer4D則能消除這些問題，提升交通元素的渲染質(zhì)量。在車輛變速場(chǎng)景下，DriveDreamer4D同樣能提高渲染的時(shí)空一致性。
定量實(shí)驗(yàn)和用戶調(diào)研均證實(shí)了DriveDreamer4D的優(yōu)越性。該技術(shù)不僅提升了圖像重建渲染質(zhì)量，還增強(qiáng)了車輛和車道線渲染的時(shí)空一致性，獲得了用戶的高度偏好。
DriveDreamer4D是極佳科技研究團(tuán)隊(duì)在DriveDreamer和DriveDreamer-2基礎(chǔ)上的又一重要進(jìn)展，致力于推動(dòng)空間智能和4D世界模型的發(fā)展，為自動(dòng)駕駛和閉環(huán)仿真提供強(qiáng)有力的技術(shù)支持。
