作者：機器學習 姜東曉

感謝林嘉華，孫海林，劉玉龍，李梓維，李彥池，夏伯承，孫興，肖思遠，蔣捷，邢而上，彭派等同學對文章內容的貢獻。

01序言

人類對世界的理解是主觀而感性的，我們很自然地用習慣的思維方式去與這個真實的世界發生著關聯。然而，在企業生產經營活動中，這種主觀性就不那么受歡迎了，可能會導致復雜商業環境中的決策偏差。于是，一種科學的、數理的、客觀的技術工具—算法模型就應運而生。我們使用它來發掘和提煉隱藏在事物表象下的真實規律，以求將隱性知識轉化為理性智慧，去提升復雜環境下的各類決策質量，輔助決策者打開 “善弈者謀勢” 的全局視野。

這里的決策一詞，大家可以理解成宏觀的概念，它可以指人的規劃、判斷和決定，也可以指信息系統內的各類功能。讓決策質量從 “有限理性” 和 “滿意即可” 過渡到 “極限理性” 和 “最優選擇”，便是數智化的初心 ????。

02正文

但我們在這篇中想說的，并不是數智化決策的具體案例，而是回顧 2 年多來云路科技成功構建起數智化生態的過程，對此做一個總結。

很幸運的是，我們置身于高速發展壯大中的快遞物流行業，它擁有著豐富的業務數據和龐大的場景規模，這天然地提供了孕育數智化的土壤。然而，縱觀市場上各行各業的公司前赴后繼，試圖探索出一條技術數智化轉型之路，并完成商業模式的持續迭代，卻成功者寥寥。那么數智化雄心與實際執行之間的落差，要如何克服和解決呢？

科技的價值，在這一過程中得到體現。云路科技歷經 2 年半時間，從無到有，潛心探索并沉淀了圍繞數智化的 “模型力 + 計算力 + 產品力” 的完整生態。該生態可以想象成一條生產流水線 Pipeline，它讓基于模型的數智化產品有了設計、訓練、生產和部署的完整鏈路，并讓每個環節都更加標準、順暢、高效。該生態的逐步成熟，意味著云路可以更快地將數智化產品推向市場，讓更多的業務功能享受到數智技術帶來的好處。

?? 云路算法模型的技術能力是整個生態的底座，當它達到穩定進入實際生產環節的水平，應用層就能不斷開發出有突破性、有質量的應用。?? 伴隨著模型應用數量的不斷增加，產品團隊將數字思維和創新理念融入產品設計過程，強調將行業洞察和模型能力結合，從解決業務問題的角度孵化出許多合適的項目，這將在快遞業務的方方面面（分揀、派送、時效、客訴、決策）產生巨大的企業回報。?? 而能夠支撐起超大規模的模型產品落地，基礎設施層的建設和優化從未間斷，云路自建高性能科學計算私有云和機器學習平臺，讓模型能以工業級別的規模和速度完成產品化。

如果用一架高速飛馳的動車??來比喻，“模型力” 是調度中樞，“計算力” 是鐵軌和動力系統，“產品力” 將調度能力和動力源整合并轉化為運輸價值，換回經濟收益。

值得自豪的是，“模型力 + 計算力 + 產品力” 整個數智化生態，是云路科技團隊從無到有完全自研、自主摸索和積淀的，所以能做到 100% 掌握、100% 可控、100% 安全。

而擁有數智生產體系更深一層的意義和價值，是科技讓業務具備了參與行業數智化轉型的技術實力和底氣。先上牌桌，才有發言權???♂?。

03實踐

“模型力 + 計算力 + 產品力” 這三大能力猶如齒輪，環環緊扣，相鼎而立。要想極致優化整個數智生態的生產速度和部署速度，既要提高三個齒輪的各自轉速，也要兼顧三者之間的“配合能力”。

我們以一個用戶地址數據的例子，來看云路科技打造數智化全棧能力（模型力 + 計算力 + 產品力）的過程。

模型力 : 強調在 AI 技術、尤其是算法模型技術上的長期投入和積累

用戶地址數據在快遞物流行業中扮演著至關重要的角色。在收寄貨環節，用戶地址信息被用于將收寄貨人的位置標識到收寄責任網點，確保包裹能夠正確分揀和準時送達；根據用戶地址數據進行配送網絡的優化，根據地址分布制定最佳路線和派送策略，提高送貨效率和運營成本的控制；通過分析基于用戶地址的包裹數據，物流企業還可以了解各地區的市場需求和物流趨勢，以便進行精準的業務規劃和資源配置。

用戶地址數據如此重要，需要對它有全方位綜合的解析能力，來支撐上述多種多樣的功能需求。

以國內三段碼項目為起點，云路就在布局使用 AI 進行用戶地址解析的技術，儲備相關能力。一開始機器學習只研發了中文地址文本分類這個單一的模型，支撐國內三段碼這一個應用?？蛇@段培育摸索期的經歷，讓云路意識到了快遞行業擁有大量與地址相關的場景，最終都會指向地址文本解析的模型能力，所以就進入了模型開發的加速期。

又經過 1 年的技術研發，目前幾乎所有圍繞地址解析的模型能力，都已被機器學習團隊全面、深刻地掌握，這包括多級文本分類、序列標注、實體識別信息提取、語義糾錯、信息補全、知識圖譜構建、海外多語種解析等（下圖）。

其中一些模型能力，比如地址信息補全和語義糾錯，效果上甚至超越了某些第三方地圖廠商的商用 API；

再比如知識圖譜模型，可以理解為一種新型的數據存儲方式，基于它可以建立起業務上標準五級/六級地址庫，甚至是基于地址庫的信息庫。這會讓未來的快遞信息以一種更加生動、立體、高效的方式關聯。比如一條地址，因為在知識圖譜里存儲了它對應的轉運中心、派件網點、派件區域、派件員、所屬驛站、所屬小區、地址綁定的用戶，以及這些屬性的畫像信息（比如所屬驛站的類型和日均單量、派件網點的服務指數、所屬小區的畫像標簽）等，在搜索時就可一并帶出，非常具備整合性和前瞻性。

在完成上述算法模型積累的過程中，機器學習團隊的技術視野越來越開闊，所涉獵的領域也自然地向全棧擴展。從算法模型層出發，我們的能力向上游延展到數據資源層和能力基座層，向下游延伸到應用服務層和解決方案層，一步步填補了算法技術架構的空白。

以地址解析為例（下圖），完整的算法架構包括數據資源層、能力基座層、模型任務層、應用服務層和解決方案層共 5 層。

首先，在數據資源層，機器學習和大數據合作，打通底層業務數據，構建雙層數據資源庫。連通來自一線的數據(包括 JMS 行政區劃、網點地址庫、派件網點采集、外部地理信息等)，再進行質量評估和過濾，生成模型可以理解并用來訓練的細顆粒度標準地址庫和地理經緯度庫。機器學習團隊的算法后臺 工程師經過對比，篩選了 Airflow 工作流平臺體系來完成海量數據高效流轉的定時任務。在這些定時任務中，基于底層 Spark 特性和 Hive 同步 ClickHouse 的特有需求，后臺工程師實踐了分布式、高性能、易擴展、用于海量數據離線&實時同步的 WaterDrop 插件和 SeaTunnel 數據集成平臺，生產上啟用了WaterDrop和Seatunnel之后，Airflow工作流每天可以穩定高效地同步各類模型訓練的數據接近數十億，大大簡化了分布式數據流轉和處理的難度。

其次，在數據資源層和算法模型層之間，機器學習算法工程師補全一個預訓練模型層，把專業領域的垂 類知識(比如空間關系、地理經緯度、地址文本向量表征等)重新讓通用預訓練模型學習、理解，引導百科全書般的通用預訓練模型在具體領域(比如快遞地址知識)更加精通和專業，提升基礎能力基座，這樣基于預訓練的多個算法模型，有可能獲得更好的學習能力。

接下來，在基礎能力層之上是算法模型層，在前面已提及的多個模型(多級文本分類、實體識別、語義糾錯、信息補全、知識圖譜構建、海外多語種解析等)屬于這部分內容。

然后，在算法模型層之上是應用服務層，它完成的是將模型能力部署在推理服務器上，以接口形式在生產環境提供 MaaS(Model as a service 模型/知識即服務)服務，這層也是工程能力非常集中和顯著的模塊。機器學習后臺工程師考慮到地址解析服務的高性能要求，選擇采用 NVIDIA 的 TensorRT 對深度學習模型進行推理加速，并利用 NVIDIA Triton Inference Server在A30 GPU 上進行在線部署，在提升性能體驗的同時，大幅降低了推理成本。TensorRT 是專門針對深度學習模型實現高性能推理的框架，在地址解析項目里，機器學習主要使用了 TensorRT 中的 1)層與張量融合來優化 GPU 顯存和帶寬的使用；和 2)動態批處理減少實時請求的顯存占用，提高張量重復利用內存的能力。此外，機器學習使用 Triton 的方式是將模型推理和其他業務隔離，模型統一部署在 triton server，其他業務基于 http 協議通過Triton Client 來進行模型推理的請求。

除了模型推理模塊的性能，調用 Triton Client 的接口也是全鏈路性能不可忽視的一環。機器學習通過響應式編程完成接口應用開發，實現了更高的性能和降低的 Pods 資源消耗。響應式編程的異步處理和事件驅動機制有效地提高了應用的響應速度和吞吐量，減少了延遲和卡頓現象。這使得應用能夠更好地處 理突發請求，提供更流暢的用戶體驗。同時，響應式編程的優化和代碼簡化也降低了應用的資源消耗，包括 CPU、內存等方面。不僅能夠降低云資源的成本，還能夠提高應用的擴展性和可伸縮性，更好地適應高負載和峰值訪問情況。

經過上述一系列性能優化措施，業務峰值請求地址解析的均值從 120 毫秒降低到 20 毫秒，提升了 6 倍，得到了顯著改善。

另外，在保障應用服務層的高可用方面，機器學習設計了模型和 Elasticsearch 雙鏈路模式，并對 Elasticsearch 輔助地址解析的準確率和性能進行了優化。具體來說，我們使用了 1）基于空間和時間的路由提高了檢索效率：使用基于空間和時間的路由可以顯著提高 Elasticsearch 的檢索效率。這種路由策略基于數據的地理位置和時間信息，將搜索請求路由到最有可能包含所需數據的分片上。通過合理規劃和分布數據，可以最大程度地減少網絡開銷和分片的數量，提高整體的檢索性能。2）使用自定義分詞器過濾無效信息提高地址信息熵：為了提高地址信息的熵（entropy）和準確性，可以使用自定義分詞器來過濾掉無效的信息。在地址信息中，可能存在一些常見詞匯、停用詞或噪聲數據，這些信息對于搜索和分析來說并不具有實質性的作用。通過使用自定義分詞器，可以根據特定的需求和語言規則，過濾掉這些無效信息，提高地址信息的質量和準確性。3）使用基于 POI（Point of Interest）的自定義詞庫提高分詞準確性：為了提高分詞的準確性，可以利用基于 POI 的自定義詞庫。POI 是指具有特定地理位置的興趣點，例如商店、餐館、景點等。通過構建一個自定義的詞庫，包含各種常見的 POI 名稱和相關詞匯，可以在分詞過程中更好地識別和理解這些特定的地理位置信息，尤其在與地理位置相關的搜索和分析場景中更加有效。目前 Elasticsearch 輔助鏈路的準確率與性能和模型主鏈路不相上下，可以在關鍵時刻快速分流模型壓力。

最后，在算法架構的頂端是涉及產品功能的解決方案層，這部分也是 “產品力” 的核心，將模型技術用于實際問題解決，才最終轉化為企業價值，下一章節會著重介紹。

機器學習團隊將數據資源層、能力基座層、算法能力層和應用服務層這 4 層整合為一個綜合的地址文本解析中臺，以MaaS（Model as a service 模型/知識即服務）的方式，向公司內部所有需要該能力的產品和業務團隊賦能，涵蓋了業務上幾乎所有與地址相關的功能應用。 并且，該中臺的完整性和成熟度很高，已具備了向公司外、行業里進行商業輸出的能力。

在一步步搭建該中臺的過程中，云路也收獲了 12 項發明專利授權，打下了堅實的技術護城河。

產品力 : 專注于打磨和提升將技術轉化為企業回報的能力

科技團隊利用自身優勢，將數字思維和創新理念融入產品設計和開發過程，強調將行業洞察和模型能力結合，從解決業務問題的角度思考、孵化出許多合適的項目，這也是科技呈現價值的關鍵一環。

還是以機器學習的地址解析中臺為例：如下圖所示，2021 年 7 月 12 號，產品團隊將1）國內三段碼上線，成為了地址中臺的首個應用。后又陸續在地址中臺里增加了 2）基于 ES 的標準地址庫、3）國內四段碼、4）地址業務上圖、5）泰國三段碼、6）國內驛站碼、7）國內鄉鎮識別、8）印尼三段碼、9）菲律賓三段碼、10）越南三段碼、11）馬來三段碼、12）基于知識圖譜的標準地址庫、13）商用地址結構化數據獲取、14）商用地址經緯度信息獲取等。這些應用目前已服務于訂單業務、運單業務、網點業務、操作業務、服務質量等20+個對外接口，比如拼多多、抖音、快手、京東等大型電商平臺的訂單三段碼請求、或者是回退件地址解析、寄件用戶地址解析、轉運中心二次解析、客訴工單地址解析等，全部調用該地址中臺。地址解析中臺的模型日均總調用量達到 1 億次以上，是云路科技內部又一個成熟、穩定的億級系統。它就如一個金字塔的底端，支撐起業務上層應用的方方面面。

比如鄉鎮件加時，是對地址里四級行政區劃即鄉鎮進行識別的功能。地址解析中臺提供了信息補全模型/語義糾錯模型 + 序列標注模型 + 信息提取模型的組合，對缺失的、錯誤的地址可以還原并識別正確的鄉鎮。當然，不僅僅是鄉鎮件加時，所有基于地址的功能，都可以從三級區細化到四級鄉鎮了，整體提升了業務運營和管理的精細化水平。

比如驛站碼，是將收件地址直接與快遞末端驛站關聯，并和一二三段碼一起打印在電子面單上。地址解析中臺提供了多級地址分類模型來實現。上線后，驛站碼的準確率比第三段碼還高 3%，達到了 96%~97%，這讓第三段碼不穩定的網點可以通過驛站碼進一步提升分揀效率，也可以將大型驛站的包裹提前在轉運中心就利用數智設備進行分揀集包，減少操作環節，提升整體派件時效。

“一帶一路” 是中國提出的重大戰略，旨在加強與沿線國家的經濟合作，促進區域互通互聯。除中國外，業務覆蓋的其他 12 個國家大部分是一帶一路輻射范圍內的伙伴國。所以地址解析中臺自研多語言地址分類模型，積極向 J&T 海外各國輸出。目前 J&T 泰國、J&T 印尼和 J&T 菲律賓已經上線，三個國家的二段碼準確率較之前提升了 8% ~ 13%，達到了 98% 以上。而且三段碼上線后，不再需要實時調用谷歌地圖，也不再需要高昂的人工維護地址庫成本，在成本、性能、準確率和安全性方面均實現了優化提升。接下來，科技還會與 J&T 越南、J&T 馬來合作落地，用數智化力量為全球業務提速。

計算力 : 數智化生態的動力源，科技持續投入算力互聯、計算加速和功耗優化

數智化是需要使用大算力、大模型、大數據來 “大力出奇跡” 的過程，所以基礎設施能力必須跟上。而基于 CPU 芯片的服務器不像專門的 GPU 服務器那樣在浮點運算性能方面進行過優化。一般 CPU 處理器的浮點運算性能通常以 MFLOPS（每秒百萬次浮點運算次數 10^6）或 GFLOPS（每秒十億次浮點運算次數 10^9）為單位衡量，這無法撬動模型訓練和推理。GPU 服務器專注于并行計算和矩陣/張量處理任務，算力可達 TFLOPS，即每秒一萬億 =10^12 次的浮點運算。而像國家超算中心的天河一號、二號和神威太湖之光這類服務器的浮點運算性能可以達到 PFLOPS（每秒一千萬億次浮點運算次數 10^15）。

云路于 3 年前開始投入，硬件集群上歷經三期建設：第一期僅 2 臺高性能計算服務器用于機器學習團隊研發；第二期 10 多臺服務器開始有了功能服務級別的算力集群雛形，做到了研發、測試和生產集群的區分隔離；到第三期 40~50 臺高性能計算服務器、PB 級存儲設備以及高帶寬、高傳輸速率網的齊全，讓大規模分布式計算集群最終落成。

這讓云路有能力訓練億級參數的大模型（注：ChatGPT 是千億級規模的超大模型）。而億級參數規模，是一個什么概念呢，把全中國所有的大學、科研機構和企業中的模型都加起來，也只有兩位數的億級參數模型發布?？梢娫坡窞榱藬抵腔掷m投入的基礎設施，在全國都是領先的。

這么一個算力的龐然大物要轉動它、用好它，平臺運維團隊基于 Kubernetes 的編排和調度能力，將集群打造成一個工業級別的 GPU 高性能算力私有云。私有云的概念是機器設備間弱化了硬件的邊界，機器擁有的算力資源虛擬化到一個資源池中，讓算力成為一種公共資源，哪里需要調去哪里。這樣極大提升了機器學習團隊進行模型訓練的效率。在搭建私有云之前，用一臺機器需要訓練 3 天的模型，現在用私有云的算力訓練不到 1 天就可以完成。

在這套高性能算力私有云之上，機器學習團隊繼續自研了機器學習平臺（上圖），包括模型訓練平臺，容器云平臺和 AI 服務接口。通過多種措施，期待以高性價比的訓練方式進一步擠壓算力。團隊在模型訓練平臺上引入了 5 種訓練加速機制，在訓練成本壓縮、訓練頻率加快上取得了顯著的效果。首先，我們采用了 FP32+FP16 混合精度計算加速。傳統深度學習模型使用單精度浮點數（FP32）進行計算，以確保計算結果的精度，但這會消耗大量計算資源，降低訓練速度。我們采用混合精度計算，即在大部分計算過程中使用較低的精度（FP16），只在關鍵環節（如權重更新）使用 FP32，實驗證明與更消耗資源的單精度方案相比，混合精度方案既保證了訓練的穩定性和準確性，又顯著提高了訓練速度。其次，我們引入了XLA模型圖優化加速。XLA 是谷歌開發的專門針對機器學習的編譯器技術，通過優化模型的計算圖，將其轉化為更高效的代碼，實現加速。XLA 在編譯時靜態地分析模型的計算圖，找出可并行或合并的操作，并將復雜的計算圖轉化為優化后的高效代碼。這使得模型的訓練和執行速度大大提升，繼續提速到原有的 60% 。第三，我們參考了相關論文對模型的優化器進行了修改。相比于原版 Adam Optimizer，我們的修改在模型收斂效果上沒有差異，但收斂速度提升了30% 以上，這樣的優化可以在保證模型收斂性的同時提高訓練速度。第四，我們采用了 Horovod 單機多卡數據并行加速。Horovod 是一種開源的分布式深度學習訓練框架，能夠在多個 GPU 或服務器之間并行訓練模型，大大提高了訓練速度。Horovod 利用 Ring-Allreduce 算法有效減少了網絡通信開銷，使得即使在大規模并行訓練中也能保持高效性能。最后，我們采用了梯度累積更新加速。在標準的梯度下降訓練過程中，每個批次的數據都會進行一次參數更新，但頻繁的更新操作會消耗大量計算資源。因此，我們選擇將若干批次的梯度累積起來，一次性進行參數更新。這種方法既保證了模型的收斂性，又顯著提高了訓練速度，節省了計算資源。

通過三期硬件、私有云中心、機器學習平臺三方面的建設，在線下訓練模塊，我們成功將同樣一個模型的訓練時間從 24 小時縮短到 8 小時，提升了訓練速度超過 3 倍；在線上推理模塊，同樣算力條件和性能要求下，優化前只能支撐 4000~5000 萬次/每日的模型調用，而優化后可達到 1.2 億次/每日的模型調用，也是接近 3 倍的性能提升。 這不僅提高了模型的訓練效率，加快了生產上地址解析服務的迭代，滿足了業務的高速迭代需求，同時也為公司節省了大量的算力資源成本。

這些關乎算力效能的優化，在模型產品的落地成本上有直觀的體現：在推進數智化的過程中，我們深深感受到降低 AI 服務成本的重要性，只有把成本降低到企業可負擔，經濟收益顯著大于資源投入，市場才會愿意更多去了解和使用 AI 數智化技術，所以算力互聯、訓練加速和功耗優化會繼續是我們思考和投入精力的方向。

04后記

數智化的工作，理性卻不冰冷，前沿但仍接地氣。在 2 年半的時間里，云路科技從無到有，一步步扎扎實實地摸索、嘗試、沉淀了模型力 + 計算力 + 產品力全套技術體系，在這個天然具備海量數據優勢和大規模降本增效場景的行業里，它成為數字化智能化生根、發芽、開花的一片沃土。在物流行業激烈的市場競爭中，云路科技已穩穩占據了智能化的一席之地，幫助業務縮小了與行業頭部在數智化上的距離。而且，也在支持業務出海的過程里，積極參與到中國“一帶一路”經濟建設的宏偉浪潮中來。接下來，AI 數智化會更多參與公司業務，探索在時效、服務、畫像、決策等方向的落地場景，用科技為業務賦能，共創美好未來。