導讀 隨著LLM涌現,AI應用范圍日益廣泛。貨拉拉也在積極探索AI落地,以LLM為基礎開發出多場景的個人及辦公助理,以期在各類應用場景中為用戶提供更加智能、高效的服務。
本次主要分享內容如下:
1. AI 助理與大模型
2. 多場景助理的落地方案
3. AI 驅動,業務賦能
4. 未來展望
01
AI 助理與大模型
談到 AI 助理,大家首先想到的問題可能是,AI 助理到底能做什么、AI 助理有什么優勢 、AI 助理應該具備什么樣的功能?
目前大多數 AI 助理功能聚焦在智能對話、智能問答、智能查詢以及 AIGC(人工智能生成內容)。在現有 AI 技術,大模型、RAG(Retrieval-Augmented Generation)以及 Agent 等技術下實現的 AI 助理,更能夠深刻理解用戶需求、專業高效、且可以實現 24 小時不間斷服務,幫助用戶解決各種業務問題。
AI 助力優勢明顯,但為什么我們需要用大模型來實現這些功能?這是因為大模型在不斷迭代中變得越來越智能,更像人了。
目前大模型不僅知識淵博,能夠回答許多我們不知道的問題,還具備聽、說、理解和生成的能力。例如,大模型能夠處理語音輸入并生成語音輸出,進行復雜的角色化交流,甚至進行情感識別和回應。這些能力使得大模型在許多應用場景中比人類更加高效和可靠。
貨拉拉也基于 LLM 在探索 AI 助理的落地應用。目前已在多個業務場景探索,例如,司乘溝通問題挖掘助手、流量回放智能客服、小拉智能客服等司內真實業務需求,旨在通過 AI 技術提升業務效率和用戶體驗。
貨拉拉的 AI 助理應用探索主要有以下三個特點:
簡單直接:AI 問答是最基本的功能,需求最為強烈,也是應用最多的功能
真實細致:每一個應用場景的出發點都是真實的業務痛點
應用廣泛:在 14 個場景,涵蓋 48 個真實業務需求進行 AI 助理的探索,應用范圍廣泛
基于上述特點,我們重新定義 AI 助理:凡是能夠幫助業務提升效率的 AI 應用,均可以稱為 AI 助理。
02
多場景助理的落地方案
接下來將介紹貨拉拉多場景助理的落地方案。在貨拉拉面臨多業務場景高效落地的挑戰,在 AI 助理的搭建過程中也遇到了一些痛點,主要包括三個方面:
落地場景眾多:如前所述,在 14 個以上的場景中進行探索;
業務訴求多樣:在這些場景中,面臨著 48 個以上的真實業務需求;
落地效率低:業務需求多樣,如果每個都單獨開發和落地,將會耗費大量時間和人力,導致整體的落地成本高且效率低。
為了應對這些挑戰,我們自研了大模型應用平臺——悟空平臺。這個平臺的核心優勢在于可以靈活應用大模型,支持直接或間接調用大模型進行開發。無論是直接調用大模型,還是構建 Chain 或 Agent,悟空平臺都能勝任。此外,該平臺在數據安全方面表現優異,確保沒有數據外傳的風險,并且可以根據需求進行定制化開發,同時支持高效的業務落地。
平臺上提供了多種對接形式,以滿足不同業務需求。例如,有些業務希望使用飛書機器人對接到飛書群,我們可以快速支持實現這一需求。還有些業務需要對接到瀏覽器插件“lalabot”,通過瀏覽器右鍵操作即可解決問題。此外,平臺還支持直接提供 API 接口,方便直接對接到業務系統。
在自研 LLM 應用平臺賦能的加持下,可以在多個場景中高效落地。例如,在教育引擎、教育培訓、HR、PMO 等 14 個以上的場景中,我們可以快速搭建并實現高效落地。同時,平臺也在不斷迭代,從最初的文本處理逐步發展到多模態處理,我們進行了持續地探索和改進。
03
AI 驅動,業務賦能
在第三部分中分享如何在 AI 驅動下實現業務賦能。
從去年開始到現在,AI 應用的發展速度驚人,覆蓋范圍也越來越廣泛,我們涉及的業務需求也越來越多樣,業務訴求也逐漸進階;具體可分為以下 5 個階段:
階段 1-專業助手:隨著大模型應用日益廣泛,最常見的問題是大模型是否真的能夠解決專業問題?例如,這里的 3 個示例,是否可以使用大模型來自動排查容器問題,或是識別漏洞攻擊,以及 SIEM 系統中的準實時異常行為檢測。大模型能否實時檢測并提高效率,真實幫助我們解決專業問題?
階段 2-AI 問答助手:大模型除了能解決專業問題,能否實現基于文檔或已有知識庫進行 AI 問答。例如,是否可以基于標準的 QA 文檔,對用戶提出的類似問題給出精準回答。
階段 3-周報生成助手:大模型能解決專業問題,能做 AI 問答,那能處理數據并生成報告嗎?這便是第三階段——周報生成助手。用戶希望 AI 能夠獲取數據、分析數據、生成圖表,并最終生成周報。這不僅需要 AI 具備數據獲取和分析的能力,還需要生成圖表和報告的能力。
階段 4-多模態的 AI 助手:在上述功能的基礎上,用戶問能否處理多模態信息,做多模態的 AI 助手。用戶希望 AI 不僅能理解文本,還能處理圖片和語音,提供多模態的 AI 助手。這一階段的需求更為復雜,需要 AI 具備綜合處理多種信息形式的能力。
階段 5-Muti-agent 助手:至此,前幾個階段基本都是通過單一 Agent 或功能性模塊實現的。然而,隨著業務需求的發展,用戶希望多個場景的問題能夠融合,提供一個綜合的解決方案。這就進入了第五階段——多 Agent 助手。在這一階段,我們需要將多個場景下的 AI 助手進行整合,提供一個綜合的解決方案。
接下來,將逐一介紹每一個階段的業務應用實例及其解決方案。
1. 專業助手
大模型能解決專業問題嗎?這是一個很關鍵的問題,例如,大模型自動排查容器問題嗎,容器中出現報錯信息,大模型能否評估并提供解決方案?能否根據事件列表針對每個事件分析給出溯源報告,進行漏洞利用與攻擊分析?大模型是否能夠分析告警信息判斷是否誤報,進行 IDS 入侵研判?
實踐發現“大模型知道的遠比我們想象的多”,通過 prompt 和大模型結合就可以解決這些專業問題。問題解決的關鍵在于 prompt,高質量的 prompt 可以讓大模型更好地理解并提取出有效信息,從而解決專業問題。
我們總結了一個 80 分 prompt 的框架和原則:清晰明了地提供業務背景和角色定位,簡單直接地描述任務,清晰羅列業務特殊情況,并提供必要的引導。這些要素結合起來,能夠使大模型更好地解決專業問題。當然 prompt“沒有最好,只有更好”,需要我們持續地學習實踐。
2. AI 問答助手
第二個實例是 AI 問答助手。AI 問答助手可以分為兩類:無標準答案(綜合問答)、有標準答案(精準問答)。基于 LLM 的 AI 問答助手業界有搭建范式“業務知識庫+RAG+LLM = AI 問答助手”,搭建范式可以解決大多“無標準答案”的搭建問題,但針對“有標準搭建”的精準問答效果差。
針對這個問題,我們做了綜合提效,精確率&效率 tradeoff,實現“精準問答”業務精確率 90%+。具體地,將助手分類(是否需要問答、有無標準答案、是否需要精準問答),結合個性化 RAG,對于標準問答單獨處理,提升業務業務精確率,針對其他的日常處理側重提升效率;同時結合 prompt 針對性優化,強調信息準確提取,設置兜底回復,綜上幾方面即可以實現 AI 問答助手的綜合提效。
3. 周報生成助手
第三個實例是周報生成助手。LLM 真的能幫我們寫周報嗎?LLM 用 1 句話生成的周報真的可以用嗎?
回答這兩個問題之前,我們先看下怎么寫一份周報,周報生成的核心要素為“3有”:
有數:真實數據情況,心中有數;
有圖:多形式觀測驗證,包括餅圖、趨勢圖、分布圖等;
有結論:能理解、可分析、會總結。
如何用 LLM 生成周報呢?我們需要搭建周報 Agent,做到有數、有圖、有結論。具體地
有數:真實數據情況,心中有數;可連接數據庫或 API,獲取真實數據
有圖:可結合 Code Interpreter 工具生成圖表
有結論:結合 LLM 能分析會總結的能力,提供最終結論
通過綜合應用這些技術可以搭建周報生成 Agent,實現數據獲取、圖表生成和結論分析。
同時有零代碼平臺可高效搭建周報生成 Agent 快速復用,只需三步操作:描述目標、配置工具、調試上線,即可高效搭建周報生成 Agent。
4. 多模態 AI 助手
第四階段是多模態 AI 助手。貨拉拉在這方面的探索包括車險報價方案生成助手和培訓對練助手。這些 AI 助手需要具備聽、說、理解的能力。
(1)車險報價方案生成助手
車險報價方案生成,業務需要處理多個公司圖片形式的報價單,對比圖片中的內容生成報價方案。前面聊 LLM 可以解決專業問題,可以支持 AI 問答,那只用 LLM 能實現車險報價方案嗎?
基于 LLM 生成的車險報價方案,挑戰在于敏感信息識別&處理(保單中有姓名、車牌號等敏感信息需要前置處理)、精確率提升(復雜表格、多圖處理、LLM 數據提取偏差)、解決方案自動生成(理解總結給解決方案)。
要做一個車險報價助手,只用 LLM 不行,不用 LLM 不行;車險報價 agent 需要具備六個關鍵能力:
敏感信息的處理能力:能識別并過濾敏感信息
圖片理解:線下收集多個公司報價圖,需能理解圖片內容
表格理解:報價單信息基本均為表格,且不同公司的格式不同
關鍵信息識別:提取每個圖中所需的關鍵信息字段
信息匯總提煉:提取的信息匯總后提煉
報價方案生成:理解數據和內容,自動生成報價方案
基于我們探索了工具加大模型以及多模態綜合理解提升精確率。具體地,首先用 OCR 提取信息,然后對敏感信息進行處理,再用大模型提取信息,最后結合多模態綜合理解生成最終報價方案,進一步提升業務準確率。
(2)AI 培訓對練助手
另一個應用示例是 AI 培訓對練助手,它需要具備聽、說、理解的能力,可以幫助運營和管理人員提升業務能力。融合了數字人、大模型、ASR 和 TTS 提供智能化 AI 培訓服務,實現了在線學習、練習和考試,綜合提升業務能力。
5. 多 Agent 助手
最后一個階段是 multi-agent 助手,multi-agent 可分為合作型和對抗型,我們探索了多場景融合的合作型 multi-agent 助手。在 IT 助手場景中,我們針對各業務場景搭建獨立 agent 聚焦各自場景問題問答,例如,辦公設備 agent(聚焦解決 vpn 相關問題)、郵箱 agent(聚焦郵箱相關問題)、網絡 agent(聚焦網絡相關問題);采用路由 agent 硬控,提升業務整體精確率。這種多 Agent 協同的工作方式,使得我們能夠更高效地應對復雜的業務需求,提供全面的解決方案。
以上通過對不同階段 AI 助手的應用實例的逐一介紹,展示了貨拉拉在 AI 驅動業務賦能方面的深度探索與實踐。大模型的廣泛應用不僅提升了業務效率,也為未來的智能化發展奠定了堅實的基礎。
04
展望
整個 AI 行業一直在快速發展,未來五年、十年物流行業與 AI 結合后的發展前景令人遐想。在 AI 技術的加持下,物流行業將會更加智能化、高效化,為各類用戶提供更優質的服務和體驗。
DeepSeek火出圈,AI和大模型將如何改變物流行業?
2852 閱讀智航飛購完成天使輪融資
2513 閱讀800美元不再免稅,T86清關作廢,跨境小包何去何從?
2030 閱讀凈利潤最高增長1210%、連虧7年、暴賺暴跌……物流企業最賺錢最虧錢的都有誰
2020 閱讀AI紅利來襲!你準備好成為第一批AI物流企業了嗎?
1751 閱讀物流職場人性真相:馬斯洛需求的顛覆與掌控
1493 閱讀供應鏈可視化:從神話到現實的轉變之路
1224 閱讀物流職場人性真相:鷹鴿博弈下的生存法則
1149 閱讀運輸管理究竟管什么?
1056 閱讀2024中國儲能電池TOP10出爐
997 閱讀