背景介紹

貨拉拉是一家從事同城、跨城貨運、企業版物流服務、搬家、汽車銷售及車后市場服務的互聯網物流科技公司 。截至 2023 年底，貨拉拉業務范圍覆蓋全球 11 個市場，包括中國及東南亞、南亞、南美洲等地區，其中中國內地總共覆蓋 363 座城市，月活司機達 90 萬，月活用戶達1200 萬。

隨著預訓練大模型的出現為當前 AI 領域的突破提供了新的通用化解決方案，讓人們真正看到了 AI 技術大規模普惠落地的可能，智能化應用呈現了爆發式增長。

面對這一技術，既要抓住機遇立即行動，也要為人工智能的長跑做從長布局。AIGC 應用要融入到企業技術和運營中，緊貼應用場景、致力于應用創新，解決應用落地的最后一公里。

圖：2024 AIGC 應用層十大趨勢白皮書

根據 IDC 關于 2024 AIGC 應用層十大趨勢白皮書，不難看出，AIGC 應用落地將建立在 AI Agent 技術和 AI 應用開發平臺之上，近一年來各科技頭部企業紛紛落子 AI 應用的普惠化。

例如 OpenAI 的 GPTs，百度的文心智能體平臺、字節跳動的 coze 平臺、騰訊的元器平臺、阿里的百煉平臺等。以預訓練大模型為基礎的通用人工智能將作為一個元能力引擎，深度影響從企業市場到知識發展、內容創作、協同交互等商業、工作的方方面面。

貨拉拉作為國內貨運領域賽道領跑企業，已經在 AIGC 應用落地方面做出了有益的嘗試和落地。

貨拉拉大模型應用現狀與思考

貨拉拉內的大模型業務領域多樣，目前已在營銷、邀約、客服、外呼等多個業務領域進行大模型提效；企業內的研發、測試、設計等用戶期望使用大模型；業務或用戶使用訴求多，例如在飛書中集成、或是網頁插件、或直接接口調用。

但各業務或用戶自行開發，工作量大且重復造輪子；且大模型推理過程中語料來源于公司內部各處，無統一的知識中心；此外還存在做業務不清楚大模型怎么用，做大模型的不清楚業務的需求和使用方式。

基于此，貨拉拉的 大模型應用一站式開發平臺 -- 悟空平臺 應運而出，依托于大模型為核心元能力引擎，采用低代碼和零代碼兩種開發方式，結合 AI Agent 相關思路和技術，提供多樣化的超級交互入口，最終為貨拉拉多元化的業務場景提供了高效、便捷、穩定、可視化的大模型應用開發 SOP。

貨拉拉大模型應用開發體系介紹

1

體系層級介紹

基于貨拉拉多元化的業務場景和訴求，設計了如下的大模型應用開發體系分層：

用戶層：包含所有使用大模型能力的人或業務，例如邀約業務的用戶是企業內邀約人員、營銷業務的用戶是運營人員、代碼生成的用戶是技術員工。

交互層：交互層集成了瀏覽器插件、小程序、飛書工作臺、Web 頁面、機器人、Open API，通過悟空的應用發布能力，業務可一鍵發布至所需的交互渠道，便于不同場景下的使用需求。

開發層：開發層是核心能力，是一個可視化的 AI 工具平臺，平臺向下對接貨拉拉自研大模型和外界大模型，向上提供統一的低代碼和零代碼 AI 應用的構建能力和統一發布機制，平臺自身提供 AI 應用開發所需的技術功能，我將會在下面詳細介紹。

大模型層：悟空除支持貨運大模型（自研）外，還接入了業界主流的多款開源和商業大模型，由悟空平臺統一管理與調用封裝。

下面，我將著重為大家介紹開發層（悟空平臺）和交互層（Lalabot）的設計。

2

悟空平臺

2.1 平臺架構設計

現有平臺整體技術架構如下：

悟空平臺技術架構分為 5 個層級：

接入層：接入層位于平臺的最上層，面向場內所有用戶。

• web 界面：提供一個統一的 web 平臺，用戶通過 web 平臺，可完成大模型或組件模板接入、知識構建與管理、AI 插件注冊與調試、Prompt 編排與優化、AI 應用的構建驗證與發布、以及后置的 AI 應用推理追蹤查詢、項目管理、成本與資源查詢和管控等所有操作。

• 接入渠道：悟空平臺提供多種對外的使用方式以支撐上游各業務場景需要。提供 AI 應用調用流式 Chat 和非流式生成 API；集成飛書、企業微信等企業協作軟件機器人開放能力；面向企業內非技術同學提供對話、寫作、繪圖一站式 AI 助手瀏覽器插件；以及 RAG、prompt 工程、工作流運行、大模型調用等開放接口。

• 權限管理：負責功能、角色、應用、知識庫等力度的權限管控。

應用層：應用層主要負責承接讓用戶如何簡便高效的構建一個統一有效的 AI 能力。

• 低代碼 AI 應用：通過拖拽組件到畫布的方式快捷搭建業務 AI 流程，結合大模型、知識庫、工具等組件，完成 AI 應用開發。

• 零代碼 AI 應用：通過自然語言表達意圖的方式、提供行為說明，引入知識庫、工具等能力，對話式生成 AI 應用的構建。

• 應用社區：悟空平臺支持優秀 AI 應用項目公開至應用廣場，推動貨拉拉內共建基于大模型的 AI 生態。用戶可以在應用社區搜尋所需 AI 能力、學習參考構建示例、快速復制到自身業務所在的工作空間。

功能層：悟空平臺的功能采用積木式設計，各功能模塊之間相互獨立，互不耦合，可單獨使用某一個模塊功能，也可以將多種功能包含融合，形成一個統一協作的 AI 能力。

• AI 工具：AI 工具是一種延伸大模型應用場景和能力的解決方案，大模型是一個大腦，工具則像是四肢。大模型可自主決策使用工具，豐富大模型的應用場景，完成此前無法完成的任務。

• Prompt 工程：Prompt 的優劣直接決定大模型生成效果的好壞，悟空結合 AI Agent 技術，打造了 Prompt AI 助手，幫助用戶智能化的生成和優化自己的 Prompt 結構和信息，評測 Prompt 效果對比，以及快捷引用已保存的 Prompt。

• 知識管理：知識是 AI 應用輸出回答的數據依據，悟空提供知識庫功能，幫助有專業數據積累或對輸出結果有準確性、專業性要求的業務方或用戶。結合信息安全規范，底層知識引擎基于自研部署，且前置識別和脫敏風險信息，保證貨拉拉信息合規合法不外泄。

• 應用監控：AI 應用的監控是對業務使用穩定性的保障。目前悟空平臺的監控能力全方面覆蓋“事前事后”，AI 應用構建時，提供流程靜態測試、AI 應用試運行驗證、AI 推理的環節埋點和可視化推理追蹤、資源的分配與管控。AI 應用發布后，提供實時的 AI 應用調用的 QPM、TPM、消耗成本、Tokens 等指標曲線看板。

模型層：悟空平臺模型層主要使用貨拉拉自研大模型，此外，我們也針對業界優秀的 Foundation Model 進行微調和部署集成；以及集成了例如 OpenAI、通義千問等國內外主流的閉源商業大模型的使用。

基建層：最底層是悟空平臺的基礎設施，包含數據庫、知識庫、詞庫、網關、三方服務的依賴，在此不做過多贅述。

  2.2 核心功能介紹

  2.2.1 零代碼 AI 應用

零代碼 AI 應用的構建流程核心就是對話式生成，不同業務方的需求是不同的，所需的技能也不同。用戶進入零代碼 AI 應用構建界面后，系統自動為該用戶分配一個構建 AI 助手，構建助手和用戶進行聊天，在聊天過程中搜集完善用戶的訴求，在訴求完善過程中，一步步的去動態調整用戶所需的零代碼 AI 應用配置，并根據上下文理解為完成用戶訴求所需要的技能，智能引入工具或知識或可用大模型等。

平臺上零代碼 AI 應用構建界面如下：

2.2.2 低代碼 AI 應用

悟空平臺的低代碼 AI 應用能力，旨在為貨拉拉提供靈活、通用、可配置、可調式的 AI 應用構建和使用能力。

低代碼 AI 應用的使用流程如下：

低代碼 AI 應用采用工作流的編排方式，流上的每一個環節都是一個具備不同功能的組件節點，組件是 AI 應用的基本功能單位。也就是說每一個組件節點都有相對獨立的功能，以及定義其功能的輸入、輸出要求和配置參數。通過組件與組件之間的拼接，可以達到不同的 AI 能力。

按照功能相似度上的分類，悟空平臺目前已支持 AI Agent、Chain、記憶、提示詞、知識庫、工具、輸出解析等 14 種類型，每種類型下又有若干個實際組件可供使用。

流式的編排方式，意味著用戶可任意組合和連接組件，形成一條統一可執行的流程配置。

一條可執行的 AI 流程，其環節中可能包含一次或多次的大模型推理或其他相同功能節點執行，用戶向流程開始節點輸入參數后，開始節點接收用戶輸入，將數據流經下一節點，節點處理后數據流向下一節點，或回轉至之前環節（召回推理）。達到一次性的流程運行或 Agent 多次內置推理的能力。

平臺上低代碼 AI 應用構建界面如下：

  2.2.3 知識管理

知識主要用于 AI 應用推理過程中，大模型生成結果時的上下文參考作用，目的就是在不涉及訓練或微調模型的情況下，讓大模型生成結果盡量準確專業，降低大模型幻覺。

悟空的知識管理底層包含多項相關技術，包含數據提取、Embedding Model、向量引擎、Re-Ranking、RAG 等，在此不做一一贅述，整體技術實現參考如下：

悟空平臺知識管理界面如下：

2.2.4 AI 工具

當前貨拉拉企業內各內部服務和功能較為獨立分散，悟空AI工具功能模塊允許企業內業務將自身能力注冊為自定義工具，利用AI的能力，將多個平臺或服務能力整合起來，形成一個簡便、一致、可對話的業務AI入口。

例如傳統的運營活動，需要在運營平臺上手動選擇活動城市、人群等信息，而將活動創建功能注冊為AI工具，我們只需要對話式的告訴活動Agent想在某一時間段內某個城市中對哪些人群創建活動，活動Agent將自動理解運營訴求并調用城市人群獲取和自動創建活動任務并下發生效。

此外平臺內置和集成了豐富的工具，包括天氣查詢、聯網檢索、圖片理解、圖片生成、代碼解釋器、語音合成、地理編解碼、語言翻譯等 API 及多模態模型。使用這些工具，可以幫助用戶擴展 AI 應用能力邊界。例如接入「聯網搜索」組件，使AI應用能夠檢索全網的實時信息；例如接入「天氣查詢」組件，使AI應用能夠實時獲取某地天氣預測等。

平臺目前為用戶提供數十種開放使用的 AI 工具，同時也在持續集成新的工具到工具庫中，此外還支持用戶通過多種方式自行在平臺上創建和發布自定義工具：

 2.2.5 應用監控

AI 應用的一次推理過程，可能涉及提示詞組裝、知識檢索、工具調用、歷史記憶提取、Agent Planning、Action 下發等多個動作的執行過程，最終輸出一個終態的結果。但終態結果是否符合用戶預期，中間動作過程經歷了什么及怎樣追蹤推理鏈路，最終結果如何復現，本次推理耗費了多少資源，花銷了多少成本，這些都不得而知。

悟空平臺提供了 AI 應用的綜合監控能力，監控能力主要包含幾方面：一是對業務方或組織架構粒度所屬的所有 AI 應用調用指標的宏觀匯總；二是提供針對指定 AI 應用的調用指標和成本消耗曲線看板；三是提供 AI 應用的歷史推理輪數的查詢定位；四是針對某個 AI 應用的某次推理過程提供可視化的過程追蹤能力。

悟空平臺的應用監控大盤界面如下：

悟空平臺的可視化推理追蹤界面如下：

3Lalabot

  3.1 產品架構設計

Lalabot 是為貨拉拉企業內所有員工打造的一款先進 AI 助手，底層依托于 悟空平臺和大模型，支持瀏覽器插件、手機小程序、PC Web 等多端應用，Lalabot 集聊天、寫作、AI 繪圖、圖升文、定制化 Agent 幾大功能于一身，助力貨拉拉企業內員工高效、便捷的工作。

  3.2 核心功能介紹

  3.2.1 聯網搜索

由人工智能驅動的搜索輔助，用戶只需輸入自己的問題，AI 將對其進行分析，使用多個相關搜索關鍵詞，并總結各種結果條目，以找到用戶問題的答案，并提供相關的提示詞去幫助用戶收集更深入的信息。

  3.2.2 定制化 Agent

上文介紹的悟空平臺 -- 貨拉拉一站式 AI 應用開發平臺，用戶可以在悟空平臺上將構建好的 AI 應用一鍵發布到 Lalabot 上，打造專屬的 AI Agent，這些 Agent 能夠幫助用戶從處理簡單問題到執行復雜的對話邏輯。而更棒的是，用戶可以將自己發布的定制 Agent 分享和公開，讓其他用戶一起使用。

  3.2.3 智能摘要

面對長網頁、論文、設計方案、會議記錄、聊天歷史這些長段上下文信息，可以讓 Lalabot 幫助摘要總結這些內容，提取輸入內容的核心內容和重要結論，以便能夠快速了解內容的主題、目的和匯總。

3.2.4 寫作與繪圖

Lalabot 的寫作代理，只需要用戶提供少量輸入，明確用戶寫作的主題方向，即可為用戶生成文章標題和大綱，一旦達成一致，寫作代理將內置搜索相關文獻資料，起草用戶文章，最終呈現給用戶一篇可用的文章。

而 Lalabot 的繪圖代理，只需要用戶輸入要繪制的簡短描述，繪圖代理會智能理解和擴充用戶輸入的描述，最終生成待繪制圖片的詳細文字描述并和用戶達成一致，最終呈現給用戶繪制好的圖片。

貨拉拉大模型應用落地

1

應用落地詳情

依托于悟空平臺，貨拉拉目前已在 14+ 個業務或部門，50+ 個真實業務場景，探索和落地 AI 能力：

我將從貨拉拉數十個 AI 業務場景中摘選幾個落地業務為大家簡要介紹。

2

智能邀約培訓對練

邀約培訓對練底層基于悟空 AI 能力，利用大模型、ASR、TTS、數字人等技術，打造一個能聽、能說，能理解的 AI 助手，實現智能化培訓、質檢、對練能力，提升高員工技能水準，增強用戶體驗，降低人力成本。

3

專業助理

專業化助理需求涵蓋智能問答、日報周報生成、企業專業方案生成、智能客服等多個子場景，貨拉拉在專業助理方面進行了長期且有效的探索工作，幫助企業內數十個業務 AI 訴求進行了落地。

智能周報生成：周報信息包含真實數據，包含多形式觀測驗證的餅圖、趨勢圖、分布圖，最終生成的周報內容能理解、可分析、有總結。

智能問答：回答精確率和回復效率之間相互權衡，業務問答準確率提升至 90%+

4

AI 故障分析

依托于悟空平臺，我們和貨拉拉內兄弟技術團隊合作，在服務發布、網絡系統、監控告警等多個領域探索利用 AI 能力降低資源投入，提高人效。

例如利用 AI，在 k8s 發布失敗時，對容器發布失敗故障原因分析和問題排查，輔助研發快速定位和修復問題；利用 AI 判斷系統告警是否為誤報，對告警信息分層，重要告警 AI 給出分析結果和處置建議并同步接收人。

總結與展望

隨著貨拉拉的 AI 應用覆蓋面日漸廣泛，業務的訴求也逐漸進階：

多模態大模型和 Multi Agent 技術的出現，標志著 AI 能夠做的工作和能支持的業務范圍更加廣泛，貨拉拉 AI 應用開發體系也在持續探索和吸收新的技術，從而更好的賦能貨拉拉業務。