全球領先的信息技術研究和顧問公司 Gartner 每年都會發布一份其認為未來一年及之后最重要的頂級戰略技術趨勢的清單【1】。2022 年 10 月發布了企業機構在 2023 年需要探索的 10 大重要戰略科技趨勢。Gartner 預計 2023 年的趨勢將通過使組織能夠解決四個關鍵優先事項來影響未來三年的企業戰略：

? 優化彈性、運營和信任

? 擴展垂直解決方案、產品交付或無處不在的連接

? 開創性的客戶參與、加速響應或機會

? 追求可持續的技術解決方案

Gartner 杰出副總裁分析師大衛·格羅姆里奇指出：許多商界領袖預計，到目前為止，他們將直接關注疫情后的增長。相反，大多數人現在都在關注經濟衰退的威脅，管理持續通貨膨脹的影響，以及應對供應鏈、能源采購和數字技能方面的危機。雖然未來不確定，但企業仍必須確定并致力于戰略成果和計劃。企業的目標或是節約成本，或是提高利潤率，或是擴大轉向重塑的商業模式，或是這些目標的組合。無論是什么，技術是關鍵，但企業必須知道技術趨勢何時何地可能產生影響。為了提供幫助，Gartner 提供了一份關鍵技術趨勢的年度清單，無論業務需要如何，業務領導者和技術專家都應在未來36 個月內利用這些趨勢。這些當務之急構成了 2023 年十大戰略性技術趨勢，包括優化、擴展和開拓三個主題和可持續技術一條主線（或四個主題）【2】。

全文首先介紹和解讀每個技術趨勢，然后介紹關于它們的前景和企業如何利用其制定未來發展規劃。

由于文章篇幅較長，我們按主題將整個文章分為四個部分進行展開介紹。

01 主題一：優化（章節1.1）

02 主題二：擴展（章節1.2）

03 主題三：開拓（章節1.3）

04 一條主線及技術趨勢如何匹配企業戰略目標（章節 1.4& 第2章）

本文將對第一部分——《主題一：優化》（即章節1.1）進行介紹，主要內容包括：

趨勢1--數字免疫系統（Digital Immune System）

趨勢2--應用可觀察性（Applied Observability）

趨勢3--人工智能信任、風險和安全管理 (AI Trust, Risk and Security Management=AI TRiSM)

- （第一部分）正文 -

01 Gartner 2023年十大戰略性技術趨勢

Gartner提供了一份關鍵技術趨勢的年度清單，如圖1所示，2023年十大戰略性技術趨勢，包括優化、擴展和開拓三個主題和可持續技術一條主線（或四個主題）【2】：

圖1：Gartner 2023年10大戰略性技術趨勢（來源：Gartner【2】）

1.1 主題一：優化（Optimize）

優化主題構建：優化彈性、運營，和信任。通過優化IT系統以提高可靠性，改進數據驅動決策，并保持生產中AI系統的價值完整性

1.1.1 數字免疫系統（Digital Immune System）-- 優化彈性

1.1.1.1 產生背景，概念和重要性

在當今數字化時代，數字技術系統（其中也包括越來越復雜供應鏈的數字管理系統，如網絡，平臺，WMS，TMS，等）無處不在，并且變得越來越復雜【3】，它大大提高了各行業的業務能力和應對不確定世界的業務彈性（包括供應鏈彈性）。然而這些系統也面臨著各種數字系統安全風險，如網絡攻擊，軟件病毒，功能錯誤、安全漏洞和數據不一致等。以數字供應鏈為例，據歐盟網絡安全機構（ENISA）對新興供應鏈攻擊的報告【4】發現，供應鏈安全攻擊在增加，66% 的攻擊集中在供應商的代碼上。

圖2：供應鏈攻擊威脅態勢（來源：ENISA【4】）

據【5】報告，光網絡犯罪的總損失使其經濟影響大于除美國和中國這兩個國家之外的所有國家的 GDP。網絡攻擊中最昂貴的部分是信息丟失，平均損失590萬美元。企業和組織正面臨如何更有效地保證數字系統的安全與健康的挑戰，于是一個數字免疫系統（DIS）的概念和技術趨勢應運而生。

什么是數字免疫系統？根據Gartner 的說法【2】，數字免疫系統或簡稱 DIS 是指集成軟件設計、開發、運營和分析的實踐和技術組合，以降低業務風險的系統。

該技術的名字借用了醫學上免疫的概念，意味著這個技術將具備自動保護和自動修復系統免遭攻擊造成破壞的功能。在概念和技術上是一個創新，它可視為數字化企業和組織的一種新型的數字免疫能力。

為什么數字免疫比以往任何時候都重要？除了前面闡述的數字化企業和組織所面臨的數字風險挑戰，圖3指出了當今的業多數字系統變得越來越智能和復雜，正向一個類智慧生物系統發展，極其需要類生物的免疫系統來維護類生物的數字系統的健康，以保證其正常運轉。

圖3：為什么數字免疫比以往任何時候都重要（來源：Gartner【3】）

1.1.1.2 數字免疫系統的六個重要功能模塊

如圖4所示，DIS具有以下六個重要功能模塊（六種做法和技術）【2】：

• 可觀察性（Observability）使軟件和系統能夠被“看到”。在應用程序中構建可觀察性提供了必要的信息，以減輕可靠性和彈性方面的問題，并通過觀察用戶行為來改善用戶體驗。

• 人工智能增強測試（AI-Augmented Testing）使組織能夠使軟件測試活動越來越獨立于人為干預。它補充并擴展了傳統的測試自動化，包括完全自動化的測試計劃、創建、維護和分析。

• 混沌工程（Chaos Engineering）使用實驗測試來發現復雜系統中的漏洞和弱點。如果在預生產環境中使用，團隊可以以非侵入式和測試先行的方式安全地掌握實踐——然后將吸取的教訓應用到正常操作和生產強化中。

• 自動修復（Autoremediation）側重于將上下文相關的監視功能和自動修復功能直接構建到應用程序中。它會自我監控并在檢測到問題時自動糾正問題并恢復正常工作狀態，而無需操作人員的參與。它還可以通過將可觀察性與混沌工程結合使用來修復失敗的用戶體驗，從而防止出現問題。

• 站點可靠性工程 (Site Reliability Engineering=SRE)是一組工程原則和實踐，側重于通過利用服務級別目標來管理服務管理來改善 CX 和保留。它平衡了對速度的需求與穩定性和風險，并減少了開發團隊在補救和技術債務方面的工作，但允許更多地關注創建引人注目的用戶體驗。

• 軟件供應鏈安全（Apps Supply Chain Security）解決了軟件供應鏈攻擊的風險。軟件物料清單提高了軟件供應鏈中專有和開源代碼的可見性、透明度、安全性和完整性。強大的版本控制策略、對受信任內容使用工件存儲庫以及在整個交付生命周期中管理供應商風險可保護內部和外部代碼的完整性。

圖4：DIS具有六個要素（來源：Gartner【2】）

具有六個要素的DIS將產生巨大價值:

• 76%的數字團隊對收入負責

• 停機時間減少80%

1.1.1.3 建立數字免疫系統的三大要素

在建立數字免疫力時，Gartner指出要從有助于協調組織和順利實施的強有力的愿景聲明開始，然后考慮圖4中的重要功能模塊。圖5描繪了建立數字免疫系統的三大要素和它們的循環迭代持續改進。

1.  創造數字免疫的愿景

成功交付軟件的清單越來越多。該要素表現在不再包括滿足規范、具有彈性和提供更多功能，而是還應該專注于創新思維，除了缺陷計劃外，還應專注于將質量構建到產品中。換句話說，這就是構建一個在各個方面都融合了高軟件質量的產品，包括創建卓越的用戶體驗 (UX)，通過持續檢查系統健康狀況，不會因缺陷或系統故障而中斷。

2. 建立數字免疫力

為了建立強大的數字免疫力，軟件團隊應該采用六項重要的實踐和技術（詳見1.1.1.2節和圖4），包括：

• 軟件可見性的可觀察性，以改善用戶體驗。

• 人工智能增強測試，用于更獨立的軟件測試。

• 混沌工程涉及實驗測試以檢測復雜系統中的漏洞和弱點。

• 自動監控應用程序并修復問題的自動修復。

• 站點可靠性工程 (SRE)，其中包括與增強客戶體驗 (CX) 和保留相關的工程原則和實踐。

• 解決軟件供應鏈攻擊風險的軟件供應鏈安全。

3. 去除低效的測試實踐

雖然測試在軟件開發過程中必不可少，但它一直是實現 DevOps 團隊設定目標的最大障礙。應對低效的測試實踐進行評估，以確定將這些測試資產轉換為越來越自主的自動化測試水平的最具建設性的方法。此外，可以并且應該利用各種類型的手動測試來支持自動化測試。

圖5：建立數字免疫系統的三大要素（來源：Gartner【】）

1.1.1.4 商業價值【2】

數字免疫系統（DIS）結合了可觀測性、人工智能（AI）增強測試、混沌工程、自動恢復、站點可靠性工程和軟件供應鏈安全等實踐和技術，以提高產品、服務和系統的彈性。

• 數字免疫系統如何優化彈性

DIS提供了一個模型，讓您的組織做好準備，以減輕潛在風險，并將失敗作為學習機會，以創建一個卓越的客戶和用戶體驗，從而應對失敗。

• 支持的業務戰略示例

  1. 建立安全穩固的數字基礎

  2. 加速數字化

  3. 保護和發展企業和組織的品牌

1.1.1.5 關鍵行動

Gartner在【2】中預測到2025年，投資建立數字免疫力的組織將通過減少80%的停機時間來提高客戶滿意度。并建議企業和組織采取以下的關鍵行動來實現數字免疫系統這個戰略機會：

• 組建由高管贊助的團隊，以制定和執行綜合安全分遣隊戰略。首先評估哪些業務能力具有最高優先級或將從DIS投資中獲益最多。

• 創建專門的實踐社區（CoP），以分享經驗教訓、指導原則、可重用資產、標準、工具和任何基于AI的見解。確保DIS CoP由企業架構師領導，以便代表所有相關領域。

• 鼓勵和獎勵整個組織的彈性改善，特別是在DIS機會上的合作，讓所有彈性相關舉措的領導者對改善客戶體驗負有同等責任。

• 培養開發、安全和運營團隊之間的協作文化，確保持續支持這些舉措。

1.1.2 應用可觀察性

1.1.2.1 概念和重要性

傳統上，可觀察性是一種信息系統的方法，它通常是企業架構的一部分，如監控日志，郵件，圖象等，以更好地了解日志數據正在發生的事情。它幫助我們根據外部輸出確定系統狀態，并允許 IT 團隊識別瓶頸，并預測內部 IT 系統和面向外部客戶的網站、應用程序和系統問題，以便您可以緩解這些問題。但傳統的應用可觀察性對觀察數據的分析是人工或半人工的，被動式的，不具備數據驅動決策的功能。它已不適應現代復雜的數字系統和不確定的環境。于是產生了應用可觀測性戰略趨勢。應用可觀察性是一種新的監控和故障排除方法，它通過收集與性能相關的指標和與性能無關的數據（例如跟蹤、日志和事件）并使用這些數據提供更全面的理解，從而超越了傳統的監控技術系統內正在發生的事情。它超越傳統監控技術，超越傳統，它旨在提供系統及其所有組件的全面視角，包括這些組件如何相互交互以及它們如何實時執行其功能。【2】指出：應用可觀測性是指在業務功能、應用程序和I/O團隊之間以高度協調和集成的方式應用可觀測數據。通過對業務上下文的語義理解，對可觀察數據進行編目、工程和分層，從而產生主動和被動元數據。這種元數據的架構化使用推動了更好、更快、更一致、更有效的業務和IT決策。

1.1.2.2 應用可觀測性的四個層次

應用可觀測性的基本原理是在決策前，人工智能分析來自系統內外的數據和背景，以推動更快、更準確的未來決策。它分為如圖6所示的四個層次：

圖6：應用可觀察性（來源：Gartner【2】）

【6】指出：應用可觀察性的出發點是可觀察數據（Observable Data）。Gartner定義可觀察數據為：可觀察數據是數字化的工件（有時被稱為足跡、痕跡或任何利益相關者采取任何行動時出現的“排氣”）。可觀察數據是指可以觀察和直接測量的變量【6】。它具有以下特征：

• 觀測數據的主要來源-通常來自一個或多個現有系統

• 可以與企業數據一起使用的外部數據源

• 目標是以零或更可能有限的邊際成本增加數字客戶價值

應用可觀測性的最關鍵要素包括：

• 民主化的機會——每個組織都有大量數字化工件形式的可觀測數據。

• 多個并發層–適用于組織的多個層：基礎架構操作、中間件、應用程序、數據、功能工作流和業務流程層。

• 隨著宏偉計劃（藍圖）的增加——必須在整個組織內制定強有力的總體戰略計劃或藍圖。成功取決于貫穿職能業務部門的高度協調和集成的方法。

1.1.2.3 商業價值

應用可觀測性是指在業務功能、應用程序、基礎設施和運營（I&O）團隊中以高度協調和集成的方式應用可觀測數據，以實現從行動到反應的最短延遲，以及業務決策的主動規劃。

• 應用可觀測性如何優化操作

應用可觀測性使企業能夠更快、更準確地做出未來決策。通過系統地應用這一點，我們可以減少響應延遲并實時優化業務運營。

• 支持的業務戰略示例

  1. 建立穩固的基礎

  2. 加速數字化

1.1.2.4 關鍵行動

Gartner在【2】中預測到2026年，70%成功應用可觀測性的組織將實現更短的決策延遲，從而為目標業務或IT流程帶來競爭優勢。并建議企業和組織采取以下的關鍵行動來實現可觀察數據這個戰略機會：

• 將您的可觀察數據視為您最寶貴的貨幣化資產。專注于從主動和被動元數據中識別業務能力和用例，以獲得競爭優勢。這將為戰略性地協調多個并發可觀測性計劃奠定早期基礎。

• 通過將組織的重點從監控和反應轉變為應用可觀察性，以盡可能短的延遲推動主動決策。

• 為組織采用應用可觀測性鋪平道路。通過關注業務、應用程序和基礎架構層的范圍來做到這一點。

1.1.3 人工智能信任、風險和安全管理

1.1.3.1 產生背景、概念和重要性

• 世界正處于通過人工智能和數據分析徹底改變許多行業的風口浪尖。已經在金融、國家安全、醫療保健、刑事司法、交通和智慧城市中進行了重大部署，這些部署改變了決策制定、商業模式、風險緩解和系統性能。這些發展正在產生可觀的經濟和社會效益。本文作者曾在【7】中指出：“人工智能是重塑數字化供應鏈的戰略性武器。它將引領供應鏈走向認知，和自主、自適應、自愈的供應鏈更高級階段，從而幫助企業實現創新、持續增長，并且在不確定環境中規避風險，保持競爭優勢。”，“人工智能供應鏈軟件的市場規模約為7億美元，預計到2025年將激增至100億美元以上，相當于每年增長約45%。”

• 人工智能 (AI)被證明是一把雙刃劍。雖然大多數新技術都可以這樣說，但 AI 刀片的兩面都更加鋒利，而且兩者都沒有得到很好的理解。最近OpenAI發布了它的不同尋常的對話機器人ChatGPT，它的類人式的聰慧震撼了世界科技和工業界。正如埃隆?馬斯克（曾是創始人之一）在阿聯酋迪拜的2023年世界政府峰會上表示，ChatGPT證實了人工智能（AI）已經獲得了令人難以置信的發展，但這已成為人類應該擔心的一件事。馬斯克在視頻發言中強調，人工智能是未來人類文明最大的風險之一。他補充稱，“它有積極的一面，也有消極的一面，有巨大的前景也有巨大的能力，但隨之而來的危險也是巨大的。”“以核技術為例，我們有核能，但也有核彈。”

• 首先考慮AI積極的一面。AI技術開始以多種方式改善我們的生活，從簡化我們的購物到增強我們的醫療保健體驗。它們對企業的價值也變得不可否認：近 80% 正在部署 AI 的公司高管認為他們已經從中看到了AI的價值。盡管 AI 在商業中的廣泛應用仍處于起步階段，關于進展速度以及實現“通用智能”圣杯的可能性仍存在疑問，但潛力是巨大的。麥肯錫全球研究院的研究表明【8】，到 2030 年，人工智能每年可為全球帶來 13 萬億美元的額外經濟產出。

• 然而，即使人工智能為消費者帶來利益和商業價值，它也帶來了一系列不必要的、有時甚至是嚴重的后果。最明顯的問題，包括侵犯隱私、歧視、事故和操縱政治制度，足以引起人們的警惕。更令人擔憂的是尚未知曉或經歷過的后果。災難性的后果——包括人類生命的損失，如果人工智能醫學算法出錯，或者國家安全的妥協，如果對手向軍事人工智能系統提供虛假信息——是可能的，對組織來說也是重大挑戰。

• AI TRiSM的產生正是為了保護AI積極的一面，使其獲得信任而造福于人類，同時是為了防止其具有潛在可能破壞性的一面，而降低AI的風險，保證其使用的安全性。

• AI TRiSM 是 AI (T)rust、(Ri)sk 和 (S)security (M) 管理的簡寫。用 Gartner 的話說，AI TRiSM “確保 AI 模型治理、可信度、公平性、可靠性、有效性、安全性和數據保護。這包括模型可解釋性和可解釋性、人工智能數據保護、模型操作和對抗性攻擊抵抗的解決方案和技術?！?

• 如圖7所示，AI TRiSM將不可管理的AI風險轉變可管理的風險，它在AI交付中建立信任、風險和安全管理，從而優化了AI的信任。AI TRiSM具有以下四個功能支柱：

• 可解釋性/模型監控（Explainability/Model monitoring）

• 模型操作管理（ModelOps根據 Gartner 的定義，ModelOps“主要關注廣泛的可操作人工智能和決策模型的治理和生命周期管理，包括機器學習、知識圖譜、規則、優化、語言和基于代理的模型”。）

• AI應用安全（AI application security）

• 隱私（Privacy）

圖7：人工智能信任、風險和安全管理（來源：Gartner【2】）

• 人工智能是一種強大的、多樣化的工具，用于解決當今世界上無數的問題。Spotify 上的推薦歌曲人工智能。谷歌地圖上的推薦路線人工智能。欺詐分析、數十億美元的證券交易、自動駕駛汽車、接受或拒絕貸款申請和工作申請？你猜對了，人工智能。雖然顯然很強大，但我們必須認識到，工具從成功中獲得的好處通常與其失敗的影響相當。就人工智能而言，失敗可能意味著數百萬的聲譽、法律或經濟損失。這就是 AI TRiSM 很重要的原因——防止此類錯誤。

1.1.3.2 AI TRiSM 的商業價值

• 人工智能需要傳統控制無法提供的新形式的信任、風險和安全管理。新的AI TRiSM功能可確保模型的可靠性、可信度、安全性和隱私性。

• AI TRiSM如何優化信任

• AI TRiSM在AI采用、實現業務目標和用戶接受度方面推動了更好的結果。

• 支持的業務戰略示例

• 建立穩固的AI基礎

• 最大化數據價值

• 保護和發展您的品牌

1.1.3.3 關鍵行動

• Gartner在【2】中預測到2026年，實施人工智能透明度、信任和安全的組織將看到其人工智能模型在采用率、業務目標和用戶接受度方面實現50%的結果改善。并建議企業和組織采取以下的關鍵行動來實現AI TRiSM這個戰略機會。

• 建立一個組織工作組或專門的單位來管理您的人工智能TRiSM工作。

• 實施集體人工智能隱私、安全和風險管理，以改善人工智能業務成果，而不僅僅是為了合規。

• 作為全面AI TRiSM計劃的一部分，在您的組織中有效地管理最佳工具集。

• 通過使用開源工具或增加價值的供應商解決方案，使您的AI模型可解釋或可解釋。

• 實施保護AI模型使用的數據的解決方案，并準備針對不同的用例及其組件使用不同的數據保護方法。

• 通過使用確保模型和數據完整性的解決方案，將風險管理納入模型運營，并不斷驗證其運行是否可靠。

1.1.3.4 市場指南

• 人工智能提出了傳統控制無法解決的新的信任、風險和安全管理要求。Gartner 2021年就發布了AI TRiSM的市場指南【9】，該指南定義了數據和分析領導者必須具備的新功能，以確保模型的可靠性、可信度和安全性，并介紹了實現這些功能的代表性供應商。

• （1）市場定義

• AI 信任、風險和安全管理市場 (AI TRiSM) 包括多個確保 AI 模型的軟件部分；治理、可信度、公平性、可靠性、有效性、安全性和數據保護。這些工具包括解決方案；模型可解釋性和可解釋性、AI數據保護、模型操作（ModelOps ）、數據異常檢測和對抗性攻擊抵抗。結合使用本市場指南中定義的五個類別的解決方案，可幫助企業實施特定于 AI 的信任、風險和安全管理措施。

• （2）市場描述

• AI TRiSM 市場包括管理 AI 引入的新風險和威脅所必需的多個部分。AI TRiSM 的核心功能在圖8中按類別顯示。沒有一家平臺供應商涵蓋人工智能威脅和風險的所有領域和方面。因此，用戶必須從本市場指南中提供的不同類別中選擇供應商或開源工具，以實現自己的最佳選擇。

• 除了選擇 AI TRiSM 產品外，企業還必須確保實施 AI 前威脅緩解措施，并適當關注新的 AI 環境——包括支持數據和 AI 模型。例如，他們必須對 AI 培訓和生產數據實施嚴格的訪問控制。此外，組織必須采用特定于 AI 威脅緩解的新技術，如 Gartner 的安全MOST 框架的“措施”列所示【9】，該框架概述了 AI 前和 AI 后威脅緩解措施。

• （3）AI TRiSM五大支柱

• 圖8描繪了AI TRiSM五大支柱，但其中不包括獨立于 AI 存在的基本安全功能?？蓳藰嫿ㄓ行У娜斯ぶ悄馨踩鉀Q方案：

• 可解釋性（Explainability）：AI TRiSM 應該有清楚解釋 AI 模型采用的信息。這有助于組織理解他們的 AI 模型解釋及其 AI 模型在準確性、問責制和透明度方面的表現。

• 模型操作（ModelOps）：模型操作化 (ModelOps) 是 AI TRiSM 中的一項功能，專注于端到端生命周期管理和分析治理。人工智能和決策模型包括分析模型、基于機器學習的模型、知識圖譜、語言學、規則等。

• 數據異常檢測（Data Anomaly Detection）：在人工智能中，數據異常檢測涉及漂移監控和異常、錯誤和困難的檢測。AI TRiSM的這一支柱通過全面的 AI 數據可見性幫助組織提高績效。

• 對抗性攻擊抵抗（Adversarial Attack Resistance）：攻擊是人工智能威脅，涉及欺騙性數據，以改變機器學習算法來破壞人工智能功能。AI TRiSM 旨在通過檢測、防御、工件定位和對抗性學習來檢測和防止對抗性攻擊。

• 數據保護（Data Protection）：人工智能技術創造并使用大量數據。保護數據至關重要，因為數據泄露可能會造成重大損失。這種損害包括經濟損失、聲譽損害、安全和健康威脅。AI TRiSM 有助于治理和監管，例如通用數據保護條例 (GDPR)。

圖8：AI 信任、風險和安全管理支柱（來源：Gartner【9】）

（4）AI TRiSM市場的未來方向

Gartner 的市場指南還指出了AI TRiSM未來發展的5個階段（見圖9）：

• 第 1 階段——碎片化：當今的 AI TRiSM 市場高度分散。AI 供應商（本市場指南提供了 Gartner 對市場的初步報道，并側重于市場定義、市場原理和市場動態。）并未提供有效和持續管理 AI 信任、風險和安全的所有必要功能。這使用戶處于這樣一種境地，他們可以從主要 AI TRiSM 類別中選擇多個供應商來提供同類最佳產品來滿足這些要求。

• 第 2 階段—功能整合：AI TRiSM 功能將從目前的五個. ModelOps和數據保護將是解決 AI TRiSM 問題所需的主要兩個供應商類別（一流的ModelOps解決方案，其中模型是控制所圍繞的中心實體，將與現有的企業系統集成，例如 IAM、威脅情報和對抗性攻擊抵抗解決方案。這樣，企業可以全面了解其模型的風險，并使用相同的管理系統管理模型周圍的訪問和安全性。）。同時，AI 供應商將擴展自己封裝的 TRiSM 功能。

• 第 3 階段 — 解決方案集成：ModelOps警報和補救措施將集成到總體和現有的企業風險管理和安全編排系統中。企業使用的第三方模型將納入ModelOps平臺管理（超越企業第一方開發模型）。針對對抗性攻擊和惡意交易的警報和補救措施將集成到現有的安全編排或 SIEM系統中。

• 第 4 階段——市場整合：當今市場上大多數與模型和平臺無關的ModelOps供應商將被更廣泛的 AI 平臺供應商或企業風險管理供應商收購，只剩下極少數純粹的ModelOps供應商。這些整合平臺將與創新解決方案共存，將功能擴展到復合 AI 和生成 AI。AI 模型數據的數據保護將繼續從用于保護 AI 應用程序之外的數據的解決方案發展而來。

• 第5階段——增強型 AI 管理的 TRiSM：將出現新的端到端完全管理的企業 AI TRiSM系統，它們本身使用 AI，以便 AI 系統可以在人類監督下自我糾正（見圖9）。

圖9：AI TRiSM市場的未來方向（來源：Gartner【9】）

Gartner預計市場將快速發展，部分原因是法規的增加和人工智能模型運行能力的增強。隨著時間的推移，新一代的組合功能將會出現，【9】預計 AI TRiSM 市場將在2026年達到第 5 階段。

（5）市場建議

管理 AI 信任、風險和安全對于確保 AI 模型滿足業務需求并按預期和預期執行至關重要。如果沒有強大的 AI TRiSM 程序，企業 AI 模型可能會對業務產生不利影響，從而導致不利的模型結果、嚴重的聲譽損害和其他負面后果——所有這些都不為負責團隊所知。

數據和分析領導者必須與負責AI TRiSM 的組織同行合作，以：

• 使用 Gartner 的 MOST 框架建立有凝聚力和重點的信任、風險和安全管理計劃。

• 選擇并有效管理最佳工具集，作為綜合 AI TRiSM 計劃的一部分，假設企業中已有的 AI 平臺不支持所有必需的 AI TRiSM 功能。

• 使用此市場指南了解現有工具集的類別，根據需要評估不同的同類最佳解決方案，并利用這些解決方案實現全面的 AI TRiSM。

• 將信任、風險和安全管理納入 AI 模型的持續開發和運營流程。

• 監控進度并就剩余風險和尚未達到理想成熟度的細分市場進行溝通。

• 通過仔細選擇最合適的工具集，為組織的動態市場變化和整合做好準備。

（6）Gartner的MOST AI信任、風險和安全管理框架

圖10描繪了MOST AI信任、風險和安全管理框架，該框架包括先前（前）的風險安全管理框架（蘭色部分）和AI后的風險安全管理框架（紅色部分）。它包括三個關鍵領域，每一列是一個領域：

• 威脅向量（Threat vector）

• 破壞類型（Types of damage）

• MOST風險管理措施（MOST Risk management measures）

【10】指出：組織采用Gartner 的 MOST 框架管理 AI 風險必須組建對 AI 結果有既得利益的跨職能團隊，例如法律、合規、數據和分析、安全和隱私方面的團隊，共同努力執行其 5 大優先事項：

1. 通過清點組織中使用的 AI 來捕獲暴露程度，并確保適當的可解釋性水平。

2. 通過領導正式的 AI 風險教育活動，提高整個組織的員工意識。

3. 通過采用數據保護和隱私計劃來消除內部和共享 AI 數據的暴露。

4. 通過將風險管理納入模型操作來支持模型的可靠性、可信度和安全性。

5. 針對對抗性攻擊采取特定的 AI 安全措施，以確保抵抗力和彈性。

圖10：MOST AI信任、風險和安全管理框架（來源：Gartner【9】）