引言

美團自動車配送路線不僅覆蓋城市郊區的機動車道、輔路和非機動車道，還包括小區和園區道路，路況多樣且場景復雜度高。道路整體偏窄而且遮擋盲區較多。尤其是非機動車道經常有雜物，植被伸進路內，行駛路面條件一般，坑洼較多，雨后雪后容易形成積水。對感知環境識別能力有較大挑戰。配送路線兩邊常有密集車輛和非機動車臨時停靠，需要處理車輛起步、行人橫穿、車輛逆行等路況。在居民區和校園場景有大量和非機動車、行人博弈場景，對感知障礙物檢測，跟蹤的準確度和穩定性要求較高。

為了實現自動車配送的商業落地，需要有一個可以根據上述業務場景持續迭代效果的感知系統。為此我們建立了“數據建設—通用系統—場景處理能力”技術迭代方法，即通過建設高效的數據流水線和模型流水線提升數據累積質量，數據利用率和模型迭代效率，從而提升系統數據驅動的能力和通用性，進而支持更多的場景，收集更多的數據。

本文主要從道路場景、交通場景以及天氣場景3個角度介紹美團自動車配送場景對感知帶來的挑戰，以及我們是如何搭建一個相對通用系統來實現持續迭代感知效果的目標。

道路場景

美團自動車配送道路場景包括機動車道、非機動車道、居民區道路以及校園道路。

機動車道：和Robotaxi道路場景類似，因為自動配送車相對其他機動車輛車速較慢，大部分時間需要在最右側車道行駛。

非機動車道：通常行駛道路狹窄，部分非機動車道沒有和機動車道設置隔欄，經常有機動車輛停靠或占道行駛。

居民區：行駛道路兩側會有較多臨時停靠車輛，和行人、非機動車交互也較多，場景內障礙物分布更密集。

校園：非結構化道路多，經常有密集人群和非機動車群場景。

左右滑動查看更多

輔路和非機動車道較窄，植被等障礙物會伸進路內，對自動配送車行駛造成影響。同時兩邊經常有大量共享單車停靠。感知需要提供穩定的可行駛區域檢測來補充高精地圖的不足，而且還需要識別行駛邊界的語義信息，減少不必要的繞行，提升通行效率。

左右滑動查看更多

路面異物在自動配送場景下出現頻率高，自動配送車如果處理不當，就會帶來行駛安全隱患。這些障礙物大小形狀各異，感知不僅要保證其檢測距離而且要提供穩定的輸出。對于某些障礙物，感知需要提供額外的語義信息才能讓決策模塊采取合適的通行策略。受到激光雷達分辨率的限制，激光視覺融合的方法在路面異物的檢測中起到了關鍵的作用。

左右滑動查看更多

配送路線上經常有車輛臨時停靠，同時小區出入口多。為了保證行駛的安全性，感知需要在傳感器視野有較大遮擋導致的盲區下更早的輸出障礙物并且預測其意圖。如何在觀測質量欠佳，甚至是沒有觀測的極限情況下做出預測，這對感知提出了更高的要求。

左右滑動查看更多

信號燈識別在自動配送場景下也有很多新的挑戰，例如移動紅綠燈的識別無法依賴高精地圖的信息; 非機動車道行駛中樹木遮擋經常會對信號燈識別造成較大困難，需要輔助場景的推理才能正常通行; 過路口時需要看人行道燈等。

左右滑動查看更多

交通場景

在機動車道的交通場景和Robotaxi類似。但是在上述其他道路場景中，自動配送車需要面對更多交通場景帶來的挑戰：在配送路線的兩端，經常需要在擁堵場景下和機動車進行交互；行駛路線兩側會有較多臨時停靠車輛，車輛起步/倒車場景對障礙物速度和運動狀態估計有更高的要求；在一些情況下，需要輔助以視覺語義信號，例如車門是否開啟、車燈顏色、車輪方向等，才能為下游更早的提供可以用于決策的信息。

左右滑動查看更多

在非機動車道上，自動配送車周圍的非機動車/行人和靜態障礙物距離近，感知不僅需要識別狹窄的可行駛區域，同時還要對非機動車/行人有更準確的檢測和分割，避免對下游障礙物的速度和運動狀態估計產生影響。

左右滑動查看更多

自動車配送場景中有較多的行人交互，尤其是在居民區和校園場景，經常需要在密集的人群和自行車群中穿行，對障礙物檢測、分類和追蹤等基礎感知能力在準確度和穩定性上有更高的要求。

左右滑動查看更多

天氣場景

自動車配送需要支持全天候運營。在不同的天氣場景下，各類的傳感器的效果都會有一些劣化，例如激光雷達在雨雪霧的天氣中會產生大量噪點。除了獨立噪點需要在檢測中濾除外，有的噪點會和障礙物產生粘連，導致檢測結果形狀的不穩定。在惡劣天氣中如何保持檢測結果的穩定性是感知需要解決的主要問題。

左右滑動查看更多

雖然自動配送場景多樣且復雜，但是如果每個場景都可以收集到足夠多高質量的標注數據，我們就可以把其拆解為一個或多個子任務并通過數據驅動的方式解決。通常一個感知工程師解決新問題最直接的方式是在原有模型的結果之后增加更細粒度的模型，修改或者補充前序階段的感知結果。但隨著解決的問題數量的持續增加，系統就不可避免的會變得越來越復雜。除了需要從頂層視角對系統進行定期重構外，如何搭建一個更通用且易于維護的系統對感知可持續迭代至關重要。

感知通用系統建設

為了應對如此復雜的場景，承載數目眾多的模型和復雜的算法邏輯，支持多人協同開發、快速響應路測問題，我們搭建了一個可迭代、可擴展、數據驅動的感知系統。該系統包括線上和線下部分。

線上系統在車端部署，包括4大模塊：

1）視覺感知，基于攝像頭的障礙物檢測和語義分割，輸出圖像中障礙物2D框的位置、類型和語義信息，例如車燈類型、車門是否開啟等；

2）激光感知，基于激光雷達的障礙物檢測，輸出3D點云中障礙物的位置、類型、形狀和速度信息；

3）信號燈感知，根據2D圖像，輸出車行駛方向上信號燈的位置和類型。以及在有遮擋或者成像不清時，會根據環境信息進行相關推理；

4）融合感知，融合上游模塊的結果結合時序信息，輸出障礙物的最終位置、類型、形狀、速度信息和屬性信息。同時對一些特殊區域和障礙物提供專門處理，例如可行駛區域檢測、遮擋區域檢測、施工區域、地面異物檢測等。

線下部分包括數據流水線、模型流水線、感知評估體系以及感知研發工具。

數據流水線

自動配送車每天會產生大量的數據，包含路上運營的各種場景和長尾問題。如何高效地處理和利用這些數據，提取分布均衡且有針對性的訓練數據，幫助感知解決問題呢？自動化的數據流水線起到了關鍵的作用。數據流水線包括三個主要部分：數據平臺、標注工具和計算平臺。

1）數據平臺：車輛產生的數據被回收之后存儲到數據平臺。數據平臺在存儲和管理數據外，提供簡單的篩選交互功能。工程師可以根據數據產生的時間、位置、車輛行駛狀況以及各種標簽篩選數據（如“雨雪天氣”、“繁忙路段”、“校園場景”、“有異形工程車”等等）。篩選出來的數據可以被創建為標注任務。

2）標注工具：處理和數據標注相關的任務，包括標注數據預處理和標注任務的管理。標注方法包括人工標注和智能標注。智能標注來自離線感知流水線。離線感知可以被理解為線上感知的加強版。因為不受車端計算資源的限制，離線感知通過更大的模型、更多的時序信息輸出和人工數據標注質量類似的感知結果。自動生成的數據標注會寫回到數據平臺，用于模型訓練和算法評估。為了應對數據量大、標注規則多、版本多的問題帶來的數據集對齊問題，我們開發了數據集管家，方便開發人員使用數據。

3）計算平臺：大計算量的任務如模型訓練、智能標注和數據挖掘都發生在計算平臺上。和生成智能標注類似，離線感知被用來做數據挖掘，生成數據場景的標簽和發現bad case。這些標簽被寫回數據平臺用于數據篩選。為了保證挖掘引擎的正確性，一部分數據會被抽檢做人工校驗來調整數據挖掘的算法。數據挖掘還會生成偽標簽供模型訓練和蒸餾使用。經過評估與測試，算法最終部署到車端流水線。基于新版算法的數據又被采集，從而形成數據閉環。

模型訓練流水線

在場景豐富、標注數據多樣的自動配送場景，模型訓練是一個冗長而繁瑣的過程。在開發迭代中，如何保證算法的快速開發，各個模型的相互協同，需要好的迭代工具和自動化的流程。我們開發了統一的模型訓練框架，從而可以復用分布式工具、模型加速庫和可視化工具。模型訓練難免要反復于“訓練”和“評估”；為了減少耗時，部署前往往要進行模型加速和壓縮，如果加速之后精度損失過大，則可能需要調整模型結構、重新訓練；單個模型的效果需要在端到端的評測中驗證，各種測試通過才能發版。針對這個多任務的長鏈條，我們借助Jenkins構建了任務的自動化服務：當用戶啟動一個任務后，服務可以自動完成一系列的工作流。用戶可以通過配置文件調整任務列表和觸發條件。最后可以讓工程師一鍵啟動從模型訓練到端到端評測中間的所有任務，只有在需要人判斷的時候干預。

自動化任務流和數據閉環結合，可以實現模型的自動更新。數據集更新觸發模型迭代任務，自動進行模型訓練、加速、評估。對于通過測試的模型，自動部署到車端，從而實現基于數據的模型自動迭代。

感知評估體系

客觀且可量化的感知效果評估是感知系統可以持續迭代的關鍵。感知評估體系由3種主要方式構成：精度測試，回歸測試和性能測試。不同的評估方式使用的數據，標注方式和測試目標不一樣，具體區別見下表。每一個工程師開發的功能上線前都需要經過完整的評估流程和結果分析，確保效果符合預期才能和入主線。

總結

通用的線上系統，自動化的數據流水線閉環，高效的模型流水線，完善的評估體系，以及豐富的數據，幫助感知不斷迭代，逐步具備處理各種場景的能力。但是配送場景復雜，車端計算資源有限，既要給下游決策提供準確穩定的障礙物和環境信息，又要兼顧系統的可維護性，感知能力提升還任重而道遠。

▼