2429
曹原 發(fā)自 副駕寺，智能車(chē)參考 | 公眾號(hào) AI4Auto
Waymo聯(lián)手谷歌，發(fā)布最新自動(dòng)駕駛仿真模擬器。
和比較常見(jiàn)、提供十分逼真的車(chē)輛和道路環(huán)境的仿真模擬器不同，Waymax的圖像簡(jiǎn)潔到有點(diǎn)粗略了：
但別看效果圖只剩下小方塊和實(shí)線虛線，實(shí)際上這是一個(gè)復(fù)雜而細(xì)致的多智能體環(huán)境，能讓自動(dòng)駕駛系統(tǒng)更好學(xué)習(xí)決策和規(guī)劃：
△處理?yè)矶?，系統(tǒng)能更像人類(lèi)司機(jī)
更重要的是，Waymax各項(xiàng)代碼文件已開(kāi)源。
并且在Waymax的開(kāi)發(fā)團(tuán)隊(duì)中，還有不少華人科學(xué)家的身影。
Waymax有什么特點(diǎn)
首先，Waymax是一個(gè)更專(zhuān)注自動(dòng)駕駛決策和規(guī)劃層面的自動(dòng)駕駛仿真模擬器，并且提供的是多智能體場(chǎng)景。
智能體（agent）是自動(dòng)駕駛仿真中常見(jiàn)的術(shù)語(yǔ)，也會(huì)譯作“代理”，代表的是自動(dòng)駕駛車(chē)輛、行人、其他車(chē)輛、公交車(chē)等等路上常見(jiàn)的道路交通參與者。
為什么要叫智能體？
是因?yàn)樵谶@樣的仿真場(chǎng)景下，每個(gè)智能體都具有一定的自主決策和行為能力，讓仿真場(chǎng)景從交通參與者的角度更接近真實(shí)環(huán)境。
△比如圖中這些粉色的框
并且，傳統(tǒng)模擬器往往采用預(yù)定義的智能體，人為編寫(xiě)智能體應(yīng)該做什么，但往往和真實(shí)情況有差距。
Waymax提供的則是利用Waymo Driver（Waymo自動(dòng)駕駛平臺(tái)），收集到的超過(guò)數(shù)千萬(wàn)英里真實(shí)世界自動(dòng)駕駛數(shù)據(jù)，提前構(gòu)建出的智能體，更符合現(xiàn)實(shí)情況。
從Waymax的效果圖也能看出，Waymax是一個(gè)輕量級(jí)模擬器，方便進(jìn)行快速迭代。
Waymax完全使用JAX編寫(xiě)，可以運(yùn)行在TPUs、GPUs等硬件加速器上，支持單圖內(nèi)仿真訓(xùn)練，同時(shí)支持大規(guī)模、分布式機(jī)器學(xué)習(xí)工作流。
并且，Waymax也支持在線訓(xùn)練和評(píng)估。
那么，Waymax都包括什么？
Waymax的介紹
首先，在數(shù)據(jù)使用方面，Waymax支持三種方式：
從Waymo開(kāi)放數(shù)據(jù)集（Waymo Open Motion Dataset）加載數(shù)據(jù)（需要在Waymo的網(wǎng)站上注冊(cè)）；
從本地磁盤(pán)加載數(shù)據(jù)；
通過(guò)Google Cloud遠(yuǎn)程流式傳輸數(shù)據(jù)；
其次，Waymax定義了五個(gè)評(píng)估車(chē)輛行為的指標(biāo)，包括：
在車(chē)輛模擬的動(dòng)力學(xué)模型方面，Waymax支持兩種，分別是直接基于狀態(tài)的控制模型，和自行車(chē)運(yùn)動(dòng)學(xué)模型。
其中，直接基于狀態(tài)的控制模型允許用戶直接設(shè)置車(chē)輛的位置，方向和/或加速度，不考慮運(yùn)動(dòng)學(xué)約束。
也就是用戶可以完全控制車(chē)輛狀態(tài)，模擬器則根據(jù)用戶提供的狀態(tài)來(lái)模擬車(chē)輛行為。
而自行車(chē)運(yùn)動(dòng)學(xué)模型通過(guò)加速度和轉(zhuǎn)向來(lái)控制車(chē)輛，并將車(chē)輛模擬成一個(gè)沒(méi)有摩擦的剛體，考慮車(chē)輛的運(yùn)動(dòng)學(xué)特征，可以更精確模擬車(chē)輛行為。
Waymax模擬器的默認(rèn)幀率是每秒10幀（10Hz），和Waymo開(kāi)放數(shù)據(jù)集使用的幀率相同。用戶也可以根據(jù)需要自行調(diào)整幀率。
△發(fā)生碰撞的演示
而對(duì)于仿真場(chǎng)景中未受控制對(duì)象，Waymax也支持三種操作模式允許智能體模擬行為，包括日志回放（Log playback），基于IDM的路徑跟隨模型（IDM-based route-following model），以及用戶自定義模型。
Waymax還支持強(qiáng)化學(xué)習(xí)訓(xùn)練，提供兩種常用接口，包括無(wú)狀態(tài)仿真接口（類(lèi)似Brax API）和有狀態(tài)仿真接口（實(shí)現(xiàn)dm-env API）。
為什么做出Waymax
Waymo這幾年都會(huì)舉辦公開(kāi)仿真智能體挑戰(zhàn)賽（Waymo Open Sim Agents Challenge），Waymo在模擬器中預(yù)先放置了智能體，研究人員需要訓(xùn)練這些智能體能夠和車(chē)輛進(jìn)行盡可能真實(shí)的交互。
而在2022年的挑戰(zhàn)賽中，Waymo意識(shí)到自己沒(méi)有建立足夠強(qiáng)大的模擬器來(lái)訓(xùn)練智能體。
所以，Waymo和Google DeepMind合作開(kāi)發(fā)出Waymax，可以實(shí)現(xiàn)閉環(huán)運(yùn)行，并且能持續(xù)監(jiān)控和調(diào)整自動(dòng)駕駛系統(tǒng)的行為，以實(shí)現(xiàn)訓(xùn)練自動(dòng)駕駛系統(tǒng)的目的。
對(duì)于自動(dòng)駕駛系統(tǒng)來(lái)說(shuō)，仿真模擬是更經(jīng)濟(jì)安全的測(cè)試和評(píng)估性能的方式。
所以這就要求仿真模擬器不僅能夠提供真實(shí)的仿真環(huán)境，同時(shí)環(huán)境中各種物體應(yīng)該像真實(shí)道路上的車(chē)、行人、自行車(chē)等等一樣，能夠自我決策該怎么走，以及要做出什么反應(yīng)。
因此，仿真模擬器需要提供能夠互相交互的智能體，最好還能低成本、可以快速迭代訓(xùn)練。
Waymo副總裁、研究主管Drago Anguelov表示：
Waymo開(kāi)放數(shù)據(jù)集還有Waymax，是想引導(dǎo)學(xué)術(shù)或研究討論能朝著我們認(rèn)為有希望的方向發(fā)展。我們也非常期待其他研究人員利用這些資源能開(kāi)發(fā)出什么技術(shù)。
并且Anguelov還說(shuō)，明年Waymo可能會(huì)重新舉辦一次仿真智能體挑戰(zhàn)賽，就用新的模擬器Waymax。
Waymo也提供了一份Waymax詳細(xì)的代碼和教程，感興趣的可以試起來(lái)了～（不可商用）
代碼傳送門(mén)：https://github.com/waymo-research/waymax
論文傳送門(mén)：https://arxiv.org/abs/2310.08710
參考鏈接：https://techcrunch.com/2023/10/19/waymos-new-simulator-helps-researchers-train-more-realistic-agents/?guccounter=1
下載ECAD模型
