故事的開始源于去年的技術(shù)雷達(dá)峰會(huì),我在會(huì)上做了一場關(guān)于平臺(tái)崛起的主題分享(《The Rise of Platform》),這場分享主要是從技術(shù)的層面從Global的視角介紹了平臺(tái)化的興起,以及分享從基礎(chǔ)設(shè)施到人工智能等各個(gè)領(lǐng)域不斷涌現(xiàn)的各類平臺(tái),以及平臺(tái)化對于軟件開發(fā)人員及企業(yè)的影響。
記得當(dāng)時(shí)在做演講彩排的時(shí)候,有同事就提到過,在中國提“數(shù)字化平臺(tái)戰(zhàn)略”可能大家會(huì)覺得比較抽象比較遠(yuǎn)大空,如果你提“中臺(tái)”大家會(huì)更熟悉一些。
而這也是我第一次聽到“中臺(tái)”這個(gè)詞,原來除了我們熟悉的“前臺(tái)”和“后臺(tái)”外,居然還有個(gè)“中臺(tái)”這樣一個(gè)神奇的存在。
那…… 中臺(tái)到底是什么?會(huì)不會(huì)又是另一個(gè)Buzzword呢?這個(gè)從名字上看像是從前臺(tái)與后臺(tái)中間硬擠出來的新斷層,它與前臺(tái)和后臺(tái)的區(qū)別和界限到底在哪兒?什么應(yīng)該放到中臺(tái),什么又應(yīng)該放到前臺(tái)或是后臺(tái)?它的出現(xiàn)到底是為了解決什么問題呢?
從那時(shí)開始,一個(gè)接一個(gè)的問題就不斷的涌出并縈繞在我的腦子里。直到一年多后的今天,隨著參與的幾個(gè)平臺(tái)化、企業(yè)中臺(tái)相關(guān)的項(xiàng)目已經(jīng)順利地步上了正軌,終于可以坐下來回顧一下這一年的實(shí)踐與思考,再次試圖回答這些問題,并梳理成文,與大家交流探討。
到處都在喊中臺(tái),到處都是中臺(tái),中臺(tái)這個(gè)詞在我看來已經(jīng)被濫用了。
* 在有些人眼里:中臺(tái)就是技術(shù)平臺(tái),像微服務(wù)開發(fā)框架、Devops平臺(tái)、PaaS平臺(tái),容器云之類的,人們都叫它“技術(shù)中臺(tái)”。
* 在有些人眼里:中臺(tái)就是微服務(wù)業(yè)務(wù)平臺(tái),像最常見的什么用戶中心,訂單中心,各種微服務(wù)集散地,人們都叫它“業(yè)務(wù)中臺(tái)”。
* 在有些人眼里:中臺(tái)應(yīng)該是組織的事情,在釋放潛能:平臺(tái)型組織的進(jìn)化路線圖 (豆瓣)中就提出平臺(tái)型組織和組織中臺(tái)的概,這類組織中臺(tái)在企業(yè)中主要起到投資評估與投后管的作用,類似于企業(yè)內(nèi)部資源調(diào)度中心和內(nèi)部創(chuàng)新孵化組織,人們叫它“組織中臺(tái)”
看完本篇你就會(huì)理解,上邊的這幾類“中臺(tái)”劃分還是靠譜的,更多我看到的情況是大家為了響應(yīng)企業(yè)的“中臺(tái)戰(zhàn)略”,干脆直接將自己系統(tǒng)的“后端”或是“后臺(tái)”改個(gè)名,就叫“中臺(tái)”。
中臺(tái)到底是什么?它對于企業(yè)的意義到底是什么?當(dāng)我們談中臺(tái)時(shí)我們到底在談些什么?
想要尋找到答案,僅僅沉寂在各自“中臺(tái)”之中,如同管中窺豹,身入迷陣,是很難想清楚的。不如換個(gè) 度,從各類的“中臺(tái)迷陣”中跳脫出來,嘗試以更高的視角,從企業(yè)均衡可持續(xù)發(fā)展的角度,來思考中臺(tái)的價(jià)值,來試圖反推它存在的價(jià)值。
所以,為搞明白中臺(tái)存在的價(jià)值,我們需要回答以下兩個(gè)問題:
企業(yè)為什么要平臺(tái)化?
企業(yè)為什么要建中臺(tái)?
先給答案,其實(shí)很簡單:
因?yàn)樵诋?dāng)今互聯(lián)網(wǎng)時(shí)代,戶才是商業(yè)戰(zhàn)場的中心,為了快速響應(yīng)用戶的需求,借助平臺(tái)化的力量可以事半功倍。
不斷快速響應(yīng)、探索、挖掘、引領(lǐng)戶的需求,才是企業(yè)得以存和持續(xù)發(fā)展的關(guān)鍵因素。
那些真正尊重用戶,甚不惜調(diào)整己顛覆己來響應(yīng)戶的企業(yè)將在這場以戶為中心的商業(yè)戰(zhàn)爭中得以存和發(fā)展;反之,那些在過去的成就上故步封,存在僥幸希望戶會(huì)像之前一樣繼續(xù)追隨己的企業(yè)則會(huì)被用戶淘汰。
很殘酷,但這就是這個(gè)時(shí)代最基本的的企業(yè)存法則。
平臺(tái)化之所以重要,就是因?yàn)樗x予或加強(qiáng)了企業(yè)在以用戶為中心的現(xiàn)代商業(yè)戰(zhàn)爭中最最最核心的能:戶響應(yīng)。這種能力可以幫助企業(yè)在商戰(zhàn)上先發(fā)制,始終搶得先機(jī)。
可以說,在互聯(lián)網(wǎng)時(shí)代,商業(yè)的斗爭就是對于用戶響應(yīng)力的比拼。
又有點(diǎn)遠(yuǎn)大空是不是,我們來看個(gè)經(jīng)典的子:
說起中臺(tái),最先想到的應(yīng)該就屬是阿的“中臺(tái),前臺(tái)”戰(zhàn)略。阿通過多年不懈的努,在業(yè)務(wù)的不斷催化滋養(yǎng)下,將己的技術(shù)和業(yè)務(wù)能沉淀出一套綜合能平臺(tái),具備對于前臺(tái)業(yè)務(wù)變化及創(chuàng)新的快速響應(yīng)能。
海爾也早在前就已經(jīng)開始推進(jìn)平臺(tái)化組織的轉(zhuǎn)型,提出“平臺(tái)營體撐線營體”的戰(zhàn)規(guī)劃和轉(zhuǎn)型標(biāo)。構(gòu)建了“訂單合一”、“用戶付薪” 的創(chuàng)客文化,真正將平臺(tái)化提到組織的度。
華為在幾前就提出了“平臺(tái)炮火支撐精兵作戰(zhàn)”的企業(yè)戰(zhàn)略,“讓聽得到炮聲的人能呼喚到炮火” 這句話形象的詮釋了大平臺(tái)撐下小前臺(tái)的作戰(zhàn)策。這種極度靈活又威巨的戰(zhàn)法,使之可以迅速響應(yīng)瞬息萬變的戰(zhàn)場,一旦鎖定目標(biāo),通過大平臺(tái)的炮火群,迅速精準(zhǔn)對于戰(zhàn)場進(jìn)強(qiáng)大的火支援。
可,在互聯(lián)熱火朝天,第四次工業(yè)革命的曙光即將到來的今日,企業(yè)能否真正做到“以用戶為中心”,并不斷提升自己的用戶響應(yīng)來追隨甚至引領(lǐng)用戶的腳步,持續(xù)規(guī)模化創(chuàng)新,終將決定企業(yè)能否在這樣充滿挑戰(zhàn)和機(jī)遇的市場上笑到最后,在商業(yè)上長久保持創(chuàng)新活力與競爭力。
而平臺(tái)化恰好可以助力企業(yè)更快更好的做到這些,所以這回答了第一個(gè)問題,企業(yè)需要平臺(tái)化。
好,想明白了第一個(gè)問題,為什么需要平臺(tái)化。但是平臺(tái)化并不是一個(gè)新概念,很多企業(yè)在這個(gè)方向上已經(jīng)做了多年的努力和積淀。那為什么最近幾年“中臺(tái)”這個(gè)相對較新的概念又會(huì)異軍突起?對于企業(yè)來講,傳統(tǒng)的“前臺(tái)+后臺(tái)”的平臺(tái)化架構(gòu)又為什么不能滿足企業(yè)的要求呢?
好,這就引出了我們的第二個(gè)問題:企業(yè)為什么要建中臺(tái)?
因?yàn)槠脚_(tái)這個(gè)詞過于寬泛了,為了能讓大家理解我在說什么,我先定義一下本篇文章上下文下我所說的前臺(tái)和后臺(tái)各指什么:
* 前臺(tái):由各類前臺(tái)系統(tǒng)組成的前端平臺(tái)。每個(gè)前臺(tái)系統(tǒng)就是一個(gè)用戶觸點(diǎn),即企業(yè)的最終用戶直接使用或交互的系統(tǒng),是企業(yè)與最終用戶的交點(diǎn)。例如用戶直接使用的網(wǎng)站,手機(jī)App,微信公眾號等都屬于前臺(tái)范疇。
* 后臺(tái):由后臺(tái)系統(tǒng)組成的后端平臺(tái)。每個(gè)后臺(tái)系統(tǒng)一般管理了企業(yè)的一類核心資源(數(shù)據(jù)+計(jì)算),例如財(cái)務(wù)系統(tǒng),產(chǎn)品系統(tǒng),客戶管理系統(tǒng),倉庫物流管理系統(tǒng)等,這類系統(tǒng)構(gòu)成了企業(yè)的后臺(tái)?;A(chǔ)設(shè)施和計(jì)算平臺(tái)作為企業(yè)的核心計(jì)算資源,也屬于后臺(tái)的一部分。
定義了前臺(tái)和后臺(tái),對于第二個(gè)問題(企業(yè)為什么要建中臺(tái)),同樣先給出我的答案:
因?yàn)槠髽I(yè)后臺(tái)往往并不能很好的支撐前臺(tái)快速創(chuàng)新響應(yīng)用戶的需求,后臺(tái)更多解決的是企業(yè)管理效率問題,而中臺(tái)要解決的才是前臺(tái)的創(chuàng)新問題
大多數(shù)企業(yè)已有的后臺(tái),要么前臺(tái)根本就用不了,要么不好用,要么變更速度跟不上前臺(tái)的節(jié)奏。
我們看到的很多企業(yè)的后臺(tái)系統(tǒng),在創(chuàng)建之初的目標(biāo),并不是主要服務(wù)于前臺(tái)系統(tǒng)創(chuàng)新,而更多的是為實(shí)現(xiàn)后端資源的電子化管理,解決企業(yè)管理的效率問題。這類系統(tǒng)要不就是當(dāng)年花大價(jià)錢外購,需要每年支付大量的服務(wù)費(fèi),并且版本老舊,定制化困難;要不就是花大價(jià)錢自建,年久失修,一身的補(bǔ)丁,同樣變更困難,也是企業(yè)所謂的“遺留系統(tǒng)”的重災(zāi)區(qū)。
總結(jié)下來就兩個(gè)字“慢”和“貴”,對業(yè)務(wù)的響應(yīng)慢,動(dòng)不動(dòng)改個(gè)小功能就還要花一大筆錢。
有人會(huì)說了,你不能拿遺留系統(tǒng)說事兒啊,我們可以新建后臺(tái)系統(tǒng)啊,整個(gè)2.0問題不就解決了。
但就算是新建的后臺(tái)系統(tǒng),因?yàn)槠涔芾淼氖瞧髽I(yè)的關(guān)鍵核心數(shù)據(jù),考慮到企業(yè)安全、審計(jì)、合規(guī)、法律等限制。導(dǎo)致其同樣往往法被前臺(tái)系統(tǒng)直接使用,或是受到各類限制法快速變化,以持前臺(tái)快速的創(chuàng)新需求。
此時(shí)的前臺(tái)和后臺(tái)就像是兩個(gè)不同轉(zhuǎn)速的輪,前臺(tái)由于要快速響應(yīng)前端用戶的需求,講究的是快速創(chuàng)新迭代,所以要求轉(zhuǎn)速越快越好;后臺(tái)由于對的是相對穩(wěn)定的后端資源,且往系統(tǒng)陳舊復(fù)雜,甚至還受到法律法規(guī)審計(jì)等相關(guān)合規(guī)約束,所以往往是穩(wěn)定至上,越穩(wěn)定越好, 轉(zhuǎn)速也自然是越慢越好。
所以,隨著企業(yè)務(wù)的不斷發(fā)展,這種“前臺(tái)+后臺(tái)”的輪速率“匹配失衡”的問題就逐步顯現(xiàn)出來。
隨著企業(yè)業(yè)務(wù)的發(fā)展壯大,因?yàn)楹笈_(tái)修改的成本和險(xiǎn)較,所以驅(qū)使我們會(huì)盡量選擇保持后臺(tái)系統(tǒng)的穩(wěn)定性,但還要響應(yīng)用戶持續(xù)不斷的需求,自然就會(huì)將大的業(yè)務(wù)邏輯(業(yè)務(wù)能)直接塞到前臺(tái)系統(tǒng)中,引入重復(fù)的同時(shí)還會(huì)致使前臺(tái)系統(tǒng)不斷膨脹,變得臃腫,形成了一個(gè)個(gè)球的“煙囪式單體應(yīng)用”。漸漸拖垮前臺(tái)系統(tǒng)的“戶響應(yīng)”,用戶滿意度降低,企業(yè)競爭也隨之不斷下降。
對于這樣的問題,Gatner在2016年提出的一份《Pace-Layered Application Strategy》報(bào)告中,給出了一種解決方案,即按照“步速”將企業(yè)的應(yīng)用系統(tǒng)劃分為三個(gè)層次(正好契合前中后臺(tái)的三個(gè)層次),不同的層次采用完全不同的策略。
而Pace-Layered Application Strategy也為“中臺(tái)”產(chǎn)生的必然性,提供了理論上的支撐。
在這份報(bào)告中Gatner提出,企業(yè)構(gòu)建的系統(tǒng)從Pace-Layered的度來看可以劃分為三類: SOR(Systems of record ),SOD(Systems of differentiation)和SOI(Systems of innovation)。
處于不同Pace-Layered的系統(tǒng)因?yàn)榈牟煌?,關(guān)注點(diǎn)不同,要求不同,變化的“速率”自然也不同,匹配的也需要采用不同的技術(shù)架構(gòu),管理流程,治理架構(gòu)甚至投資策。
前面章節(jié)我們提到的后臺(tái)系統(tǒng),例如CRM、ERP、財(cái)務(wù)系統(tǒng)等,它們多都處于SOR的Pace-Layered。這些系統(tǒng)的建設(shè)之初往往是以規(guī)范處理企業(yè)底層資源和企業(yè)的核心可追溯單據(jù)(例如財(cái)務(wù)單據(jù),訂單單據(jù))為主要目的。它們的變更周期往往比較,并且由于法律審計(jì)等其他限制,導(dǎo)致對于它們的變需要嚴(yán)謹(jǐn)?shù)纳陥?bào)審批流程和更高級別的測試部署要求,這就導(dǎo)致了它們往往變化頻率低,變化成本高,變化險(xiǎn)高,變化周期。無法滿足由用戶驅(qū)動(dòng)的快速變化的前臺(tái)系統(tǒng)要求。
我們又要盡保持后臺(tái)(SOR)系統(tǒng)的穩(wěn)定可靠,要前臺(tái)系統(tǒng)(SOI)能夠而美,快速迭代。就出現(xiàn)了上文提到的”齒輪匹配失衡“的問題,感覺魚與熊掌不可兼得。
正當(dāng)陷入僵局的時(shí)候,天空中飄來一聲IT諺語:
軟件開發(fā)中遇到的所有問題,都可以通過增加層抽象得以解決!
此,聲驚雷滾過,“中臺(tái)”腳踏七彩祥云,承載著SOD(Systems of differentiation)的前世寄托,橫空出世。
我們先試著給中臺(tái)下個(gè)定義:
中臺(tái)是真正為前臺(tái)而生的平臺(tái)(可以是技術(shù)平臺(tái),業(yè)務(wù)能力甚至是組織機(jī)構(gòu)),它存在的唯一目的就是更好的服務(wù)前臺(tái)規(guī)模化創(chuàng)新,進(jìn)而更好的響應(yīng)服務(wù)引領(lǐng)用戶,使企業(yè)真正做到自身能力與用戶需求的持續(xù)對接。
中臺(tái)就像是在前臺(tái)與后臺(tái)之間添加的組“變速輪”,將前臺(tái)與后臺(tái)的速率進(jìn)行匹配,是前臺(tái)與后臺(tái)的橋梁。它為前臺(tái)而生,易于前臺(tái)使用,將后臺(tái)資源順滑流向用戶,響應(yīng)用戶。
中臺(tái)很像Pace-Layered中的SOD,提供了比前臺(tái)(SOI)更強(qiáng)的穩(wěn)定性,以及后臺(tái)(SOR)更高的靈活性,在穩(wěn)定與靈活之間尋找到種美妙的平衡。
有“中臺(tái)”這新的Pace-Layered斷層,我們即可以將早已臃腫不堪的前臺(tái)系統(tǒng)中的穩(wěn)定通用業(yè)務(wù)能“沉降”到中臺(tái)層,為前臺(tái)減肥,恢復(fù)前臺(tái)的響應(yīng);又可以將后臺(tái)系統(tǒng)中需要頻繁變化或是需要被前臺(tái)直接使用的業(yè)務(wù)能力“提取”到中臺(tái)層,賦予這些業(yè)務(wù)能力更強(qiáng)的靈活度和更低的變更成本,從而為前臺(tái)提供更強(qiáng)大的“能力炮火”支援。
所以,企業(yè)在平臺(tái)化的過程中,需要建設(shè)自己的中臺(tái)層(同時(shí)包括技術(shù)中臺(tái),業(yè)務(wù)中臺(tái)和組織中臺(tái))。
思考并回答了文初提出的兩個(gè)關(guān)于中臺(tái)價(jià)值的核心問題,解決了我對于中臺(tái)產(chǎn)生的一些困惑,不知道對你有沒有啟發(fā),讓我最后再來總結(jié)一下:
1. 以用戶為中心的持續(xù)規(guī)?;瘎?chuàng)新,是中臺(tái)建設(shè)的核心目標(biāo)。企業(yè)的業(yè)務(wù)響應(yīng)能和規(guī)?;瘎?chuàng)新能,是互聯(lián)網(wǎng)時(shí)代企業(yè)綜合競爭的核心體現(xiàn)。平臺(tái)化包括中臺(tái)化只是幫助企業(yè)達(dá)到這個(gè)目標(biāo)的階段,并不是目標(biāo)本身。
2. 中臺(tái)(論是技術(shù)中臺(tái)、業(yè)務(wù)中臺(tái)還是組織中臺(tái))的建設(shè)根本上是為解決企業(yè)響應(yīng)困境, 彌補(bǔ)創(chuàng)新驅(qū)動(dòng)快速變化的前臺(tái)和穩(wěn)定可靠驅(qū)動(dòng)變化周期相對較慢的后臺(tái)之間的盾,提供個(gè)中間層來適配前臺(tái)與后臺(tái)的配速問題,沉淀能,打通并順滑鏈接前臺(tái)需求與后臺(tái)資源,幫助企業(yè)不斷提升用戶響應(yīng)。
3. 所以,中臺(tái)到底是什么根本不重要,如何想方設(shè)法持續(xù)提高企業(yè)對于用戶的響應(yīng)才是最重要的。平臺(tái)化或是中臺(tái)化,只是恰巧走在了這條正確的道路上。
企業(yè)對數(shù)據(jù)的利用有三個(gè)階段:響應(yīng)運(yùn)營,響應(yīng)業(yè)務(wù),創(chuàng)造業(yè)務(wù)。數(shù)據(jù)中臺(tái)解決的是響應(yīng)業(yè)務(wù)的問題,第三階段“創(chuàng)造業(yè)務(wù)”,則需要AI中臺(tái)。
數(shù)據(jù)中臺(tái)對一個(gè)企業(yè),起著至關(guān)重要的作用。在數(shù)據(jù)中臺(tái)這個(gè)稱謂成型之前,各個(gè)企業(yè)也都在用不同的方式來盡可能地利用數(shù)據(jù)產(chǎn)生價(jià)值。只是在這個(gè)過程中,也不得不處理著數(shù)據(jù)帶來的各種問題,比如各個(gè)業(yè)務(wù)系統(tǒng)經(jīng)年累月以煙囪架構(gòu)形式存在而導(dǎo)致的數(shù)據(jù)孤島、數(shù)據(jù)隔離、數(shù)據(jù)不一致等等。因?yàn)檫@些問題實(shí)在是過于繁雜,企業(yè)開始建立數(shù)據(jù)團(tuán)隊(duì),或者數(shù)據(jù)部分開始繼續(xù)數(shù)據(jù)整頓工作,因此數(shù)據(jù)倉庫、數(shù)據(jù)湖、主數(shù)據(jù)治理等一系列的工作職能應(yīng)運(yùn)而生。
本質(zhì)上,這些工作都是因?yàn)闃I(yè)務(wù)需要不得不進(jìn)行的一系列數(shù)據(jù)治理的動(dòng)作,對于如何利用數(shù)據(jù)來發(fā)力,并沒有形成一個(gè)強(qiáng)有力的底座。有點(diǎn)像“頭痛醫(yī)頭、腳痛醫(yī)腳”:各個(gè)業(yè)務(wù)系統(tǒng)規(guī)范不一致了,于是開展了元數(shù)據(jù)治理;數(shù)據(jù)分析的時(shí)候數(shù)據(jù)關(guān)聯(lián)不上了,于是不得不進(jìn)行主數(shù)據(jù)治理。
這樣的數(shù)據(jù)治理工作在進(jìn)行了很多年后,數(shù)據(jù)中臺(tái)這個(gè)概念逐漸有人提出了,阿里的《企業(yè)IT轉(zhuǎn)型直到:阿里巴巴中臺(tái)戰(zhàn)略思想與架構(gòu)實(shí)踐》這本書更是把用中臺(tái)戰(zhàn)略把這個(gè)概念推向了一個(gè)極致。中臺(tái)戰(zhàn)略中,人們常說:大中臺(tái),小前臺(tái)。在這種模式下,頻繁出現(xiàn)的字眼是:共享。那么,到底共享的是什么?答案便是數(shù)據(jù)的服務(wù)。中臺(tái)戰(zhàn)略,并不是搭建一個(gè)數(shù)據(jù)平臺(tái),但是中臺(tái)的大部分服務(wù)都是圍繞數(shù)據(jù)而生,更加巧妙的地方是中臺(tái)戰(zhàn)略讓數(shù)據(jù)在數(shù)據(jù)平臺(tái)和業(yè)務(wù)系統(tǒng)之間形成了一個(gè)良性的閉環(huán)。于是,數(shù)據(jù)和業(yè)務(wù)系統(tǒng)融為了一體。
(圖1 數(shù)據(jù)中臺(tái)所解決的問題)
過去,數(shù)據(jù)依賴于手工進(jìn)行,沒有軟件;有了數(shù)據(jù)中臺(tái),以功能驅(qū)動(dòng),固定的數(shù)據(jù)輸入,得到固定的數(shù)據(jù)輸出,構(gòu)建出能用的服務(wù)變得更快速、更加的標(biāo)準(zhǔn)化,解決了業(yè)務(wù)側(cè)的“能用”問題。但是,如何以固定的輸入,以產(chǎn)生更靈活多變的輸出,提供比如個(gè)性化的服務(wù),做到“好用”,數(shù)據(jù)中臺(tái)并沒有給出答案。
在建立了數(shù)據(jù)中臺(tái)架構(gòu)之后,我們逐步認(rèn)識到,原來數(shù)據(jù)的價(jià)值并不只是個(gè)運(yùn)營出個(gè)參考的分析報(bào)表,做一系列的預(yù)算。數(shù)據(jù)中臺(tái)為大型企業(yè)數(shù)據(jù)利用最大化提供了一個(gè)初始的參照方向。當(dāng)我們發(fā)現(xiàn),深度學(xué)習(xí)、機(jī)器學(xué)習(xí)等等一系列技術(shù)開始在這個(gè)平臺(tái)下施展拳腳的時(shí)候,我們可能已經(jīng)清晰地認(rèn)識到:中臺(tái)并不是數(shù)據(jù)分析利用的終點(diǎn)。
如果回顧數(shù)據(jù)分析的歷程,可以歸納發(fā)現(xiàn)數(shù)據(jù)利用大概有如下三個(gè)階段:
響應(yīng)運(yùn)營
響應(yīng)業(yè)務(wù)
創(chuàng)造業(yè)務(wù)
(圖2 企業(yè)對數(shù)據(jù)的利用,有三個(gè)發(fā)展階段)
響應(yīng)運(yùn)營是數(shù)據(jù)分析最直接也是最原始的訴求。沒有誰不不會(huì)關(guān)心自己的用戶留存率,沒有誰不關(guān)心自己的營收額;出現(xiàn)了故障、如何分析定位,如何預(yù)測預(yù)防,運(yùn)用數(shù)據(jù)分析自然不過。但是在運(yùn)營分析過程中,也發(fā)現(xiàn)了另外一系列的問題,比如各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)存儲(chǔ)格式、存儲(chǔ)介質(zhì)都不相同,在進(jìn)行基本的運(yùn)營分析的時(shí)候,無法流暢的進(jìn)行。此時(shí),不得不進(jìn)行一系列的數(shù)據(jù)治理。常見的主數(shù)據(jù)、元數(shù)據(jù)治理就是發(fā)生在這個(gè)階段,只是數(shù)據(jù)倉庫將主數(shù)據(jù)和元數(shù)據(jù)治理進(jìn)行了規(guī)范化。
數(shù)據(jù)分析停留在運(yùn)營階段的時(shí)候,對企業(yè)來講最大的感受就是投入產(chǎn)出比不對稱。這個(gè)問題在大數(shù)據(jù)爆發(fā)的時(shí)間點(diǎn)上,更為凸顯。例如在今天的業(yè)務(wù)場景下,傳統(tǒng)的數(shù)據(jù)倉庫已經(jīng)解決不了海量數(shù)據(jù)、異構(gòu)數(shù)據(jù)等一系列問題,而大行其道的大數(shù)據(jù)分析技術(shù),硬件要求高、學(xué)習(xí)門檻高。要實(shí)施一個(gè)大數(shù)據(jù)平臺(tái),成立一個(gè)大數(shù)據(jù)團(tuán)隊(duì),這是一個(gè)不小的成本開銷,更何況現(xiàn)在有不少數(shù)據(jù)分析團(tuán)隊(duì)要借助機(jī)器學(xué)習(xí)等手段,來對數(shù)據(jù)做分析來響應(yīng)運(yùn)營,這導(dǎo)致基礎(chǔ)設(shè)施成本、整體門檻進(jìn)一步提高。
于是像數(shù)據(jù)中臺(tái)這樣的思想就被提了出來:既然數(shù)據(jù)是從業(yè)務(wù)系統(tǒng)產(chǎn)生的,那么是否業(yè)務(wù)系統(tǒng)也需要數(shù)據(jù)分析結(jié)果呢?對于數(shù)據(jù)平臺(tái)來說,數(shù)據(jù)平臺(tái)本身提供兩大能力:數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)計(jì)算的能力。那么業(yè)務(wù)系統(tǒng)的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)計(jì)算能力是否可以剝離到數(shù)據(jù)平臺(tái),僅僅讓業(yè)務(wù)系統(tǒng)很輕量的維護(hù)自己的業(yè)務(wù)流程操作?所以利用中臺(tái)剝離了復(fù)雜的業(yè)務(wù)環(huán)境,再配合微服務(wù)等技術(shù),一下子讓人感受到了“數(shù)據(jù)服務(wù)的共享”。
而對業(yè)務(wù)場景來說,很多時(shí)候是需要數(shù)據(jù)服務(wù)的,例如用戶的基本信息管理、用戶的行為數(shù)據(jù)分析,這些數(shù)據(jù)不但可以暴露給業(yè)務(wù)系統(tǒng)使用,甚至可以直接丟給終端用戶自行使用。類似這種契合點(diǎn),讓數(shù)據(jù)平臺(tái)變成了一個(gè)服務(wù),提供給業(yè)務(wù)系統(tǒng)。而對數(shù)據(jù)服務(wù)的使用者來說,在消費(fèi)數(shù)據(jù)的同時(shí)也在繼續(xù)產(chǎn)生數(shù)據(jù),這樣在數(shù)據(jù)平臺(tái)和業(yè)務(wù)系統(tǒng)之間就構(gòu)成了一個(gè)良性的閉環(huán)。
業(yè)務(wù)不會(huì)總停滯不前,因?yàn)槿说纳顣?huì)改變,想要的體驗(yàn)會(huì)改變。過去,大家到視頻平臺(tái)看視頻,利用通用的數(shù)據(jù)服務(wù),不同的用戶看到的視頻推薦都是一樣的;很快,我們就會(huì)發(fā)現(xiàn)根據(jù)用戶的偏好,推薦個(gè)性化的視頻幾乎是必不可少的體驗(yàn)要求。然后,我們就開始思考:數(shù)據(jù)是否可以變成個(gè)性化服務(wù)提供給終端用戶?這是一個(gè)非常簡單、常見的例子。當(dāng)這樣的個(gè)性化數(shù)據(jù)服務(wù)越來越多之后,各種服務(wù)不斷組合,就會(huì)創(chuàng)造出很多可能性,進(jìn)而提供創(chuàng)新的個(gè)性化體驗(yàn)和新的業(yè)務(wù)模式,這就是數(shù)據(jù)服務(wù)用于創(chuàng)造業(yè)務(wù)的階段。
雖然有了數(shù)據(jù)中臺(tái),但是當(dāng)有大規(guī)模的、基于智能算法的數(shù)據(jù)服務(wù)需要落地實(shí)現(xiàn)時(shí),依然會(huì)碰到以下挑戰(zhàn)。
如何對規(guī)模化的智能服務(wù)進(jìn)行管理:當(dāng)只是零星三兩個(gè)智能服務(wù)的時(shí)候,通過手動(dòng)人工管理等方式,不會(huì)有太大的問題;然則,當(dāng)智能服務(wù)成千上萬的時(shí)候,如何管理、如何構(gòu)建、如何高效維護(hù),就會(huì)成為很大的麻煩。
沒有良好的工程實(shí)踐來保證質(zhì)量和流暢性:對于常規(guī)的應(yīng)用軟件開發(fā)我們有TDD、自動(dòng)化測試、CI/CD等成熟的工程實(shí)踐做保障;但是在智能服務(wù)這一塊,無論是編程開發(fā)、還是服務(wù)構(gòu)建,都沒有成熟的工程實(shí)踐,也沒有良好的基礎(chǔ)設(shè)施支撐,非常依賴于構(gòu)建這個(gè)服務(wù)的數(shù)據(jù)工程師的個(gè)人能力,導(dǎo)致在實(shí)施過程中,問題難以復(fù)現(xiàn),難于定位。
數(shù)據(jù)安全、治理和數(shù)據(jù)量不充分:數(shù)據(jù)中臺(tái)的價(jià)值點(diǎn),在于提供了數(shù)據(jù)的計(jì)算和存儲(chǔ)的能力,但是在智能服務(wù)構(gòu)建下,光有計(jì)算和存儲(chǔ)還不夠。治理到什么程度的數(shù)據(jù),才能較好的支撐服務(wù)的構(gòu)建?個(gè)性化的服務(wù)與數(shù)據(jù)安全沖突的時(shí)候,如何抉擇?數(shù)據(jù)量不足導(dǎo)致算法模型泛化能力太差,怎么辦?
(圖3 創(chuàng)造業(yè)務(wù)階段,數(shù)據(jù)中臺(tái)面臨的挑戰(zhàn))
數(shù)據(jù)中臺(tái)本身還是圍繞數(shù)據(jù)服務(wù)來進(jìn)行的,而非圍繞智能服務(wù)來進(jìn)行的。未來的操作系統(tǒng),一定會(huì)越來越個(gè)性化,甚至每一個(gè)人看到的登錄界面都不一樣,系統(tǒng)可以根據(jù)對應(yīng)的終端用戶自行呈現(xiàn)符合該用戶習(xí)慣的系統(tǒng)界面。那么對于這樣的場景和服務(wù),我們需要怎樣的平臺(tái)?整個(gè)軟件開發(fā)架構(gòu)和流程是否也都會(huì)相應(yīng)重造?
回到創(chuàng)造業(yè)務(wù)的需求。以簡單的銷售業(yè)務(wù)為例,數(shù)據(jù)中臺(tái)提供的服務(wù)本質(zhì)如下圖所示:
(圖4 軟件平臺(tái)的業(yè)務(wù)模式)
這是目前最常見的軟件平臺(tái)的運(yùn)作方式,開發(fā)人員開發(fā)出了對應(yīng)的軟件服務(wù)后,提供給終端用戶使用,雖然會(huì)有銷售售賣該服務(wù)。這種方式,好比是拿著一個(gè)錘子找釘子,而不是給釘子快速制作一把合適的錘子再去售賣。
能不能這樣:將整個(gè)軟件組裝出來的服務(wù),包裝成個(gè)性化的產(chǎn)品一樣去售賣,提供量身定做的服務(wù)?那么整個(gè)運(yùn)營模式就變成:平臺(tái)提供了一種快速構(gòu)建智能服務(wù)的過程,服務(wù)售賣者利用這個(gè)平臺(tái),自己動(dòng)手構(gòu)建出服務(wù),拿出去售賣,類似一個(gè)提供“智能業(yè)務(wù)服務(wù)的PaaS”。
(圖5 引入AI中臺(tái)的軟件平臺(tái)業(yè)務(wù)模式)
如果嘗試給AI中臺(tái)下個(gè)定義:
AI中臺(tái)是一個(gè)用來構(gòu)建大規(guī)模智能服務(wù)的基礎(chǔ)設(shè)施,對企業(yè)需要的算法模型提供了分步構(gòu)建和全生命周期管理的服務(wù),讓企業(yè)可以將自己的業(yè)務(wù)不斷下沉為一個(gè)個(gè)算法模型,以達(dá)到復(fù)用、組合創(chuàng)新、規(guī)?;瘶?gòu)建智能服務(wù)的目的。
借助一個(gè)平臺(tái),將軟件的服務(wù)個(gè)性化的創(chuàng)造,這將是未來的發(fā)展趨勢。在麥肯錫的分析報(bào)告中,我們可以看到,各個(gè)企業(yè)或者行業(yè),都在第三個(gè)階段做了不同的探索和努力。
從AI中臺(tái)落地實(shí)施的方式來看,AI中臺(tái)可以是數(shù)據(jù)中臺(tái)的進(jìn)一步延伸,從數(shù)據(jù)中臺(tái)一步一步演進(jìn)過去。
所謂的智能化,是指將在數(shù)據(jù)中臺(tái)進(jìn)行的一系列的數(shù)據(jù)服務(wù)構(gòu)建操作進(jìn)行智能化實(shí)現(xiàn),讓數(shù)據(jù)的接入、存儲(chǔ)、分析展現(xiàn)、訓(xùn)練、到構(gòu)建管道(pipeline)都更加自動(dòng)化。例如,對于通用的CI/CD來說,測試不過則會(huì)構(gòu)建失敗,那對于AI中臺(tái)下,就要考慮一個(gè)推薦模型構(gòu)建失敗的條件是什么?答案可能是“本次模型的準(zhǔn)確率低于上一次構(gòu)建的準(zhǔn)確率”的時(shí)候,CI應(yīng)該被構(gòu)建失敗。在實(shí)踐中,這可能是CI構(gòu)建過程的維度之一,還會(huì)有很多其他指標(biāo)和維度。我們就需要在現(xiàn)有的數(shù)據(jù)平臺(tái)的CI中,實(shí)現(xiàn)并自動(dòng)化這些指標(biāo)和維度,使之更加智能化。
目前基于數(shù)據(jù)中臺(tái)的一個(gè)智能服務(wù)模型開發(fā)來說,流程如下:
(圖6 煙囪式模型構(gòu)建過程)
這基本類似于一個(gè)橫向的煙囪架構(gòu),導(dǎo)致目前對一個(gè)基于算法模型產(chǎn)生的服務(wù)進(jìn)行拆分的時(shí)候,都不是特別地順暢。如果大部分業(yè)務(wù)場景依舊以流程為主還好,如果新業(yè)務(wù)需要引入多的智能服務(wù),那么一系列的問題就會(huì)暴露出來:
借助于現(xiàn)有數(shù)據(jù)平臺(tái)手工進(jìn)行數(shù)據(jù)操作
煙囪架構(gòu)開發(fā),對人員能力要求高
環(huán)節(jié)無法有效拆分,響應(yīng)周期慢
智能場景規(guī)?;芾韽?fù)雜
訓(xùn)練,部署,發(fā)布依賴于手工部署缺乏有效的流水線
和數(shù)據(jù)平臺(tái)孤立,缺乏統(tǒng)一的數(shù)據(jù)服務(wù)接口
基礎(chǔ)設(shè)施隔離,無法動(dòng)態(tài)進(jìn)行資源的分配和管理
AI中臺(tái)需要具備構(gòu)建智能服務(wù)的能力,就要求我們對服務(wù)構(gòu)建的過程進(jìn)行如下拆分:
(圖7 可復(fù)用的模型構(gòu)建過程)
首先需要從基礎(chǔ)設(shè)施層面進(jìn)行集成。常規(guī)的數(shù)據(jù)中臺(tái)依賴于大量的CPU和內(nèi)存,相反,機(jī)器學(xué)習(xí)模型對GPU的依賴反而更高,但是又不能脫離數(shù)據(jù)中臺(tái),因?yàn)樗琅f需要利用數(shù)據(jù)中臺(tái)的存儲(chǔ)和計(jì)算能力來處理大量的數(shù)據(jù)。所以如何通過一個(gè)接口、一個(gè)調(diào)度器、一個(gè)管道pipeline來集成整個(gè)工作流,就成了需要考量的事情了。
AI中臺(tái)至少應(yīng)該分為以下幾個(gè)層級:
基礎(chǔ)設(shè)施:對CPU做虛擬化的技術(shù)已經(jīng)相對成熟,但是智能服務(wù)依賴的更多的是GPU,那么GPU如何做虛擬化,算法模型訓(xùn)練和數(shù)據(jù)是否需要共同使用相同的機(jī)器,還是集群相互隔離,都是需要在一開始設(shè)計(jì)好的。
資源管理:一切都是資源,無論是網(wǎng)絡(luò)、內(nèi)存,還是數(shù)據(jù)、服務(wù),都是資源。對于模型構(gòu)建者,關(guān)注的只是算法本身,如果該構(gòu)建者需要數(shù)據(jù),那這樣的數(shù)據(jù)就是一個(gè)資源而已,無論資源是以環(huán)境變量的方式提供、還是以服務(wù)的方式提供,構(gòu)建者本身并不需要關(guān)心。此時(shí),必須一個(gè)資源管理系統(tǒng),對數(shù)據(jù)服務(wù)進(jìn)行統(tǒng)一管理。
中臺(tái)和模型:中臺(tái)有數(shù)據(jù)的計(jì)算和存儲(chǔ)能力外,還應(yīng)該具備算模型的能力,這里的模型指的是一些業(yè)界通用的、或者企業(yè)級通用算法模型。它可能是一個(gè)算法、可能是一個(gè)別人已訓(xùn)練好的模型,可以使用遷移學(xué)習(xí)的方式去使用。對于中臺(tái)來說,它都是一個(gè)數(shù)據(jù)集的體現(xiàn),不應(yīng)該和一個(gè)表,一個(gè)文件有特別的區(qū)分。
流水線:流水是構(gòu)建規(guī)?;悄芊?wù)非常重要的一個(gè)環(huán)節(jié),工作如其名,讓我們構(gòu)建智能服務(wù)的時(shí)候,可以像流水線工作一樣,達(dá)到這樣的效果,則需要對整個(gè)任務(wù)進(jìn)行非常詳細(xì)的分解。
智能應(yīng)用層:智能應(yīng)用層直接面向終端,怎么利用元數(shù)據(jù)等功能,組合各自不同模型提供的服務(wù),構(gòu)建出組合效應(yīng)的創(chuàng)新服務(wù)。
(圖8 AI中臺(tái)的架構(gòu)層次)
在數(shù)據(jù)中臺(tái)的基礎(chǔ)上,擴(kuò)展對GPU級別資源的管理和整合能力,調(diào)度層提供統(tǒng)一的任務(wù)、服務(wù)、智能CI/CD等服務(wù),來實(shí)現(xiàn)AI中臺(tái)。這樣以來,就可以達(dá)到:
和數(shù)據(jù)平臺(tái)結(jié)合,利用數(shù)據(jù)平臺(tái)的能力作為數(shù)據(jù)支撐,最大化的發(fā)揮數(shù)據(jù)平臺(tái)的價(jià)值
拆分服務(wù)構(gòu)建環(huán)節(jié),智能服務(wù)開發(fā)流程化,快速響應(yīng)業(yè)務(wù)需求
利用元數(shù)據(jù)管理方式,提供統(tǒng)一的標(biāo)準(zhǔn)格式,場景可以多人協(xié)同配合開發(fā)
基礎(chǔ)設(shè)施共享化,模型的訓(xùn)練和發(fā)布與數(shù)據(jù)平臺(tái)有效綁定,服務(wù)的構(gòu)建自動(dòng)化
統(tǒng)一的元數(shù)據(jù)管理系統(tǒng),模型的全生命周期可管理
通用AI能力平臺(tái)化,降低人員要求,提升協(xié)作效率
也即,利用算、模型、框架,動(dòng)態(tài)、快速地組裝服務(wù),創(chuàng)造出新的個(gè)性化體驗(yàn)和新的業(yè)務(wù)新的業(yè)務(wù)模式,解決“好用”的問題。
數(shù)據(jù)中臺(tái)提供的是存儲(chǔ)和計(jì)算的能力,基于不同的業(yè)務(wù)場景,構(gòu)建出了用來支撐不同業(yè)務(wù)的數(shù)據(jù)服務(wù),依托于強(qiáng)大的計(jì)算力,可以快速縮短獲得結(jié)果的周期。而AI中臺(tái)則是將算法模型融入進(jìn)來構(gòu)建為服務(wù),讓構(gòu)建算法模型服務(wù),更加快速高效,以更加面向業(yè)務(wù)。但無論是數(shù)據(jù)中臺(tái)還是AI中臺(tái),都是一層基礎(chǔ)設(shè)施,做好基礎(chǔ)設(shè)施只是第一步,如何讓它的價(jià)值最大化,還要依托于AI中臺(tái)不斷結(jié)合業(yè)務(wù)來持續(xù)優(yōu)化,做到“持續(xù)智能”。
從倉儲(chǔ)規(guī)劃,看DeepSeek的實(shí)用性、局限性和突破之道
4554 閱讀單月總貨量同比增長734.4%!獨(dú)家解讀順嘉國際貨站跨越式增長背后的效率密碼
2324 閱讀嘉誠國際發(fā)布2024年年報(bào):營收13.5億元,歸母凈利潤為2.05億元
2235 閱讀“京東服務(wù)+”洗衣中央工廠招商、3C上門安裝/維修招商
2164 閱讀深圳擬擴(kuò)大試點(diǎn)物流、環(huán)衛(wèi)功能型無人車運(yùn)營,加速產(chǎn)業(yè)規(guī)模化進(jìn)程(附編制說明等下載)
1978 閱讀這家老牌物流巨頭被收購,9億美元交易值不值?
1442 閱讀DeepSeek落地全球第一大港
1263 閱讀京東外賣重點(diǎn)推廣39城
1204 閱讀德邦物流注銷回購股份 京東物流持股比例升至75.4%
1156 閱讀冷鏈不只是物流,還是依托供應(yīng)鏈的生態(tài)
1170 閱讀