作者：陳哲涵 黎學臻 

北京科技大學機械工程學院

一，物流機器人的視覺能力需求

物流機器人是應用在物流中心等工業場景，通過搭載各種傳感器、導航系統和計算技術以自主執行物流任務的智能機器人，通常用于物流倉儲領域進行貨物搬運、倉庫管理、分揀等操作[1-2]。

隨著全球供應鏈不斷擴展和商業活動的日益全球化，以物流中心為代表的智慧工廠正面臨著更為復雜和多元化的運營環境，并帶來包括貨物追蹤、安全管理以及運營效率提升等多個方面的挑戰。在很多情況下，傳統的物流機器人難以滿足智慧工廠的多元化需求，無法完成各種精細化任務，有時只能依靠低效的人工處理，從而造成一系列問題。

例如，廠房巡查工作中，隨著物流中心規模的增大和運營業務的復雜化，傳統的物流機器人巡檢只能按照固定路線行走而無法避障，而人工巡查和監控又往往不夠高效和精確，因此傳統的巡檢手段可能會因檢測手段不足、視角有限或人為疏忽而錯過一些潛在問題；面對異常情況，傳統的物流機器人很多時候難以及時響應，可能導致潛在危險事件的擴大和蔓延，從而造成巨大經濟損失，而且也往往由于缺乏記錄異常情況的手段導致事后無法及時追責與糾錯；在廠房的物料/工具/文件的運送過程中，很多物流機器人無法靈活運送，可能存在走錯路甚至取錯物品的問題，而人工運送往往效率低、耗時長，導致生產延誤甚至停滯；在庫存管理任務中，傳統的物流機器人無法實現盤庫或者只能固定位置掃描/逐件掃描，而人工盤查速度慢、易出錯，并且快速識別庫存中的物品類型和數量也需要成熟豐富的經驗。

在這一背景下，物流中心等智慧工廠需要更智能化的解決方案，而強大的視覺能力正是滿足這些需求的關鍵驅動因素之一。因此，為應對日益復雜的操作和追求更高的安全性，越來越多的智慧工廠意識到引入具有視覺能力的物流機器人是滿足復雜需求的一項重要措施。物流機器人的視覺能力提升，不僅僅是追求技術創新，更是為了滿足日益增長的關鍵需求，從而確保智慧工廠在競爭激烈和不斷變化的環境中能夠持續高效運營。

二，云邊協同智能視覺傳感器總體架構

云邊協同智能視覺傳感器是一種將邊緣計算和云計算相結合，以實現多個智能視覺傳感器之間的協同工作的綜合系統。智能視覺傳感器可以在接近數據源的地方執行圖像分析和處理，從而減少數據傳輸延遲，同時還可以與云端資源通信，共享數據和結果，以實現更高級別的智能決策和應用。

具體而言，邊緣計算和云計算是兩種互補的計算模式。邊緣計算是指將計算和數據存儲移動到網絡邊緣（即物理設備層），從而減少數據傳輸和延遲；云計算則是通過互聯網將數據和資源提供給用戶使用。在物聯網時代，邊緣計算和云計算的結合成為必然趨勢，即“云邊協同”。通過結合邊緣計算和云計算的優勢，云邊協同智能視覺傳感器，能夠充分利用作業現場的視覺信息，提高數據處理和分析的能力、提供更可靠的數據存儲和備份、提供更靈活的數據處理和分析服務[3]。因此，云邊協同智能視覺傳感器是提升物流機器人視覺能力的重要基礎。

圖1云邊協同智能視覺傳感器總體框架圖

云邊協同智能視覺傳感器總體框架（見圖1），主要由以下幾個部分構成：

1.傳感器層：架構的基礎是各類智能視覺傳感器，這些傳感器負責收集環境中的圖像和數據，作為后續處理的原始輸入。

2.邊緣計算層：在邊緣設備上，可以使用輕量化的算法對傳感器數據進行初步的處理和分析。這些算法能夠在本地實現快速的物體檢測、跟蹤、分類等任務，以便在實時性要求較高的場景下做出即時決策。

3.邊緣智能層：邊緣智能層進一步利用深度學習和計算機視覺技術，對邊緣計算層產生的數據進行更深入的分析。例如，可以進行目標識別、情感分析、異常檢測等任務，以提供更豐富的信息和見解。

4.邊緣與云協同：一部分經過邊緣智能層處理的數據會被傳輸到云端，與云計算層協同工作。云計算層擁有更大的計算和存儲資源，能夠進行更復雜的分析、建模和數據挖掘。這使得系統能夠從大量的數據中挖掘出更深層次的信息和模式。

5.云計算層：在云計算層，可以運用更復雜的算法和模型，進行大規模的數據分析和訓練。這些分析可以用于業務決策、預測分析、趨勢識別等，從而為企業提供更具價值的信息。

6.決策和反饋：經過分析后，系統可以在邊緣設備上做出實時決策，例如觸發報警、自動控制設備等。同時，云端的分析結果也可以提供給操作人員，以供參考和決策支持。

可見，云邊協同智能視覺傳感器具備不同精度和效率的判斷決策能力，可用于各種領域，如工業自動化、智能制造、物流和交通等，從而提高系統響應速度和數據處理效率。

三，基于輕量化算法的邊緣機器視覺

由于物流機器人在實時環境中執行任務，需要現場采集視覺信息并做出即時反饋，而將視覺處理推向云端的方式受制于網絡延遲，可能導致物流機器人的決策效率低下，甚至還有隱私數據泄露的風險。因此，為物流機器人配備邊緣機器視覺是一項必不可少的要求。

邊緣機器視覺是一種將機器視覺技術應用于邊緣設備的方法，利用分布式計算架構，將圖像和視頻數據的處理和分析部署在更接近數據源的邊緣設備上，以減少數據傳輸和延遲，實現視覺任務的快速響應。在總體架構中，邊緣機器視覺對應“邊緣計算層”和“邊緣智能層”兩部分。

事實上，由于邊緣設備通常計算能力和資源十分有限，但仍需要實時進行圖像處理和分析。傳統的復雜算法在邊緣設備上可能導致高計算負擔、延遲增加以及資源不足等問題。而基于輕量化算法的邊緣機器視覺則旨在解決這些問題，在保持合理的準確性前提下，通過減少模型大小、計算量和內存占用，實現在邊緣設備上高效地進行圖像處理。邊緣機器視覺的網絡模型一般尺寸相對較小，具有較低的計算復雜度和較少的參數，應用時設備功耗和延遲都較低。

邊緣機器視覺的實現依賴于輕量化方法，典型的方法包括模型剪枝、模型量化、知識蒸餾等。對于模型剪枝，基于深度神經網絡中權重參數存在顯著冗余、僅使用小部分權重就可以預測出其余的權重這一認識[4]，模型剪枝衡量各結構的重要性，刪除模型中對性能不重要的冗余或不相關的單元（即節點、過濾器或層），提供合理壓縮率的同時盡可能降低對模型準確性的影響，并在各種設置下都具有魯棒性[5]。對于模型量化，由于網絡的推理和訓練都通過計算實現，數值的表示方式影響很大，而當前網絡模型又都嚴重過度參數化，因此使用模型量化將模型的參數從浮點數轉換為較低位數的定點數，能夠不影響模型精度的情況下顯著減少模型所需的存儲空間和計算資源[6]。對于知識蒸餾，首先訓練大型深度學習模型，然后作為教師網絡監督訓練一個輕量級的學生網絡[7-8]，學生網絡通過補充教師網絡中隱含信息的方式，在保有輕巧的結構特性的同時提升模型性能。因此，知識蒸餾的訓練階段使用大網絡有利于特征提取，推理階段使用小網絡有利于提升效率[9]。

具體而言，圖2所示的是一種典型的基于輕量化算法的邊緣機器視覺傳感器。在結構上，該傳感器的芯片采用XBurst2 1.2GHz雙核處理器和600MHz RISC-V協處理器，不含GPU核，但內置NPU核以支持int16/int8/int4/int2等多種量化等級，并擁有8T算力。并且，該傳感器還配備算法后處理單元，用于支持非卷積計算的硬件加速。該傳感器搭載一個ISP模塊，其最大支持4K，分辨率達到3740×2160，并具備畸形矯正、視頻旋轉以及雙攝像頭同時輸入的能力。編碼上，支持H265/H264/JPEG等編碼，最大輸出分辨率可達3840×2160。在接口上，包括百兆以太網接口、USB2.0接口以及UART×4等。在深度學習框架方面，能夠兼容Pytorch、ONNX等多種框架。

圖2使用國產AI芯片的邊緣機器視覺傳感器

在功能上，如圖3所示，為了實現邊緣機器視覺的模型輕量化，該傳感器對基于深度卷積網絡的分類模型進行壓縮，采用結構化剪枝去除網絡中冗余卷積核與連接，再對剪枝后的網絡進行再訓練，最后生成輕量化的網絡。在保證精度的前提下，再采用蒸餾的方式，訓練一個小型的學生模型。通過這種方式，大幅降低了大模型的參數，并通過蒸餾提升小模型的精度，實現了邊緣機器視覺的應用。

圖3邊緣機器視覺的典型輕量化方法

輕量化算法的應用，使得邊緣機器視覺能夠通過減小模型復雜度和資源消耗，使邊緣設備能夠高效地進行實時圖像處理和分析，從而滿足實時性和資源受限的要求，其能夠完成的實時性任務主要包括：

1.實時環境感知：物流機器人利用邊緣機器視覺感知環境，包括檢測障礙物、辨識路徑和識別標志，從而實現安全自主導航和避障。

2.貨物識別與分類：物流機器人能夠實時識別和分類貨物，根據標識或圖像特征將貨物分揀到正確的位置。

3.異常檢測與報警：物流機器人可以實時監測環境中的異常情況，如火災、漏水等，并即時發出報警，提醒相關人員采取行動。

4.自動巡檢和維護：物流機器人可以自動巡檢倉庫和設備，檢測設備狀態，發現潛在故障，以及執行基本的維護任務。

5.庫存管理與追蹤：利用邊緣視覺，物流機器人可以捕捉貨物的圖像特征，從而實現庫存追蹤和管理，準確記錄物品的位置和數量。

6.任務自動化和協同：物流機器人通過邊緣機器視覺能夠自動執行任務，如搬運、分揀、上貨架等，實現物流流程的自動化和協同。

因此，利用即時計算、快速響應的邊緣機器視覺，物流機器人能夠大大提高作業的效率、安全性和自動化程度，為智慧工廠的物流管理帶來了創新和提升。

四，面向企業級業務管理的云平臺

面向企業級業務管理的云平臺是一個專門設計和構建的云計算平臺，用于支持和管理企業級物流業務，其運行的基礎是與配備視覺能力的物流機器人相關的任務和數據。面向企業級業務管理的云平臺在云邊協同計算、邊緣計算和云計算之間建立了連接，為企業提供了一套綜合性的解決方案，通過對搭載智能視覺傳感器的物流機器人的控制，實現物流管理的智能化和優化。在總體架構中，該云平臺主要對應“云邊協同層”和“云計算層”兩部分。

由于云計算擁有大規模的計算資源和存儲空間，具備處理復雜的大規模數據和模型的運算能力，同時也具有延遲高、難以快速響應的特點，因此盡管該云平臺匯聚了眾多物流機器人的智能視覺傳感器獲取的信息，無需也無必要逐一分析業務場景和數據，而是通過云端大數據分析和數據挖掘，提供豐富的數據洞察和業務支持，幫助企業深入理解物流運營情況，優化業務流程，提高效率和競爭力。

從功能上看，如圖4所示，云平臺具有數據集中與整合、任務分配與調度、路徑規劃和調度、異常監測與報警的功能，也能夠實現數據統計與分析、庫存管理與優化和預測性維護。前者與物流機器人的控制有關，是云邊協同運算的重要實現；而后者與企業業務相關，并且非常依賴于云平臺的大規模計算能力，具體為：

1. 數據統計與分析：平臺可以對機器人的運行數據進行分析，生成報告和統計信息，幫助企業了解物流業務的運行情況并進行優化。

2. 庫存管理與優化：通過前端傳感器數據，云平臺可以實時監測庫存水平，幫助企業進行庫存優化和補貨決策。

3.預測性維護：云平臺可以監測設備的運行狀態和健康狀況，識別出潛在的故障跡象。借助大數據分析和機器學習技術，云平臺可以預測設備故障，使企業能夠采取預防性維護措施，減少生產線停機時間。

圖4面向企業級業務管理的云平臺功能

借助云平臺龐大的計算能力，以上三個任務需要利用數據挖掘和大數據分析完成，是與邊緣機器視覺的不同分工之處。具體來說，數據挖掘從視覺傳感器搜集的大量數據中自動發現隱藏的模式、規律和趨勢的過程。通過數據挖掘技術，云平臺可以在物流和倉儲數據中發現有關運營的關鍵信息。例如，從物流機器人和傳感器數據中挖掘出物流路徑的瓶頸、貨物的高峰運輸時段等。這些分析結果可以幫助企業更好地了解其運營狀況，從而進行戰略規劃和決策。而大數據分析涉及處理和分析大規模、多樣性、高速生成的數據。在智慧工廠中，大數據分析可以幫助平臺處理物流機器人、傳感器和倉儲系統產生的大量數據。通過大數據分析，平臺可以實時監測物流活動、分析設備狀態、跟蹤貨物流動等，從而提供實時的業務洞察，支持實時決策和調整[10]。

數據挖掘和大數據分析在面向企業級業務管理的云平臺中起著至關重要的作用。它們能夠從邊緣視覺提供的海量的數據中提取出有關業務運營的有用信息。因此，面向企業級業務管理的云平臺以數據挖掘和大數據分析為主要手段，能夠為企業提供深入的洞察，從而支持庫存管理、決策制定和業務優化。

五，應用案例

面向物流機器人的智能視覺傳感器，憑借即時快捷的邊緣機器視覺和智能化的云端處理能力，能夠在各個領域發揮作用。

以某物流中心為例，其立體庫中的四向穿梭車搭載了云邊協同的智能視覺傳感器，是一種特殊形態的物流機器人，如圖5所示。四向穿梭車能夠利用邊緣機器視覺能力實時感知分析車輛周圍的環境，幫助四向穿梭車進行自主導航和避障，確保安全高效地完成貨物搬運任務。利用邊緣計算可以識別貨架上的貨物特征，確定貨物位置和屬性，從而準確地獲取貨物并將其放置在正確的位置。穿梭車也可以利用邊緣計算對圖像數據進行路徑規劃和任務調度，云計算可以進一步優化路徑和任務分配，以提高多輛穿梭車的運輸效率并減少等待時間。運行過程中，四向穿梭車捕捉運輸過程中的異常情況，例如貨物掉落或堵塞。邊緣計算可以實時分析異常數據，辨識異常，并發送警報通知到云平臺，以及時采取適當的措施。此外，智能視覺傳感器也可以利用捕獲的圖像數據進行數據分析，邊緣計算可以處理初步的數據分析任務。云計算則可以將不同車輛的數據進行匯總分析，從中識別出流程改進的機會，提高倉庫運營效率。

圖5四向穿梭車中智能視覺傳感器的應用

在某航空制造企業的生產車間中，具有智能視覺能力的物流機器人，借助基于邊緣機器視覺的VSLAM技術，能夠自主規劃路線與避障，結合人臉識別、目標檢測等技術實現工具/物料從倉庫到工位的準確遞送。利用先進的圖像分析算法檢測異常情況，及時監測環境變化，例如火災、煙霧、泄漏等，一旦發現異常，能夠立即發出警報，以便迅速采取適當的緊急措施，滿足車間高要求的生產環境標準。基于云邊協同分析，物流機器人也能夠及時發現設備故障或物料破損，促使維修人員迅速采取行動，避免生產中斷和成本增加。

因此，云邊協同智能視覺傳感器為各類智慧工廠中的物流機器人賦予了智能視覺能力，既能夠實時、準確地執行復雜操作，提高作業運作效率、準確性、可靠性和安全性，又能夠基于海量數據進行數據挖掘和大數據分析，以更高的維度分析企業的運營狀況，優化管理方式和業務流程，是企業提高競爭力的一大利器。

六，結語

隨著工業4.0掀起智能制造、產業升級的浪潮，再加上競爭日益激烈的經營環境，提高企業的運營效率和業務優化的能力成為越來越多企業的訴求，開發應用具有智能視覺的物流機器人是其中一種重要實現途徑，而云邊協同智能視覺傳感器作為其核心組成，也受到前所未有的重視。

一方面，隨著芯片制程的進步，基于AI芯片的邊緣計算能力日益提高；另一方面，以ChatGPT和Segment Anything Model為代表的大模型一次次震驚世界，云邊協同智能視覺傳感器的“智慧”即將迎來飛躍式的提升，基于智能視覺的物流機器人應用范圍也將大幅拓展，能夠完成越來越復雜的任務。相信不久之后，物流機器人不再是新鮮事物，而是將進入一家家智慧工廠，引起廣泛的工業變革，推動更加智能、高效、創新和可持續的工業發展。

參考文獻:

[1]Lin R, Huang H, Li M. An automated guided logistics robot for pallet transportation[J]. Assembly Automation, 2020, 41(1): 45-54.

[2]Bernardo R, Sousa J M C, Gon.alves P J S. Survey on robotic systems for internal logistics[J]. Journal of manufacturing systems, 2022, 65: 339-350.

[3]Dai W, Nishi H, Vyatkin V, et al. Industrial edge computing: Enabling embedded intelligence[J]. IEEE Industrial Electronics Magazine, 2019, 13(4): 48-56.

[4]李屹,魏建國,劉貫偉.模型剪枝算法綜述[J].計算機與現代化,2022(09):51-59.

[5]Yeom S K, Seegerer P, Lapuschkin S, et al. Pruning by explaining: A novel criterion for deep neural network pruning[J]. Pattern Recognition, 2021, 115: 107899.

[6]Gholami A, Kim S, Dong Z, et al. A survey of quantization methods for efficient neural network inference[M]//Low-Power Computer Vision. Chapman and Hall/CRC, 2022: 291-326.

[7]Wang L, Yoon K J. Knowledge distillation and student-teacher learning for visual intelligence: A review and new outlooks[J]. IEEE transactions on pattern analysis and machine intelligence, 2021, 44(6): 3048-3068.

[8]陳立瑋,周新志.基于特征自注意力的圖像分類知識蒸餾算法[J].現代計算機,2023,29(04):49-53+68.

[9]楊珂浩,于龍,高仕斌等.基于無監督知識蒸餾的高鐵絕緣子缺陷檢測算法[J].電氣化鐵道,2023,34(01):9-14.DOI:10.19587/j.cnki.1007-936x.2023.01.001.

[10]Yang C, Lan S, Wang L, et al. Big data driven edge-cloud collaboration architecture for cloud manufacturing: a software defined perspective[J]. IEEE access, 2020, 8: 45938-45950.

本文源自《物流技術與應用》2023年12期（點擊可查看）

本文版權歸《物流技術與應用》所有。