2019年5月6日，美團正式推出新品牌“美團配送”，發(fā)布了美團配送新愿景：“每天完成一億次值得信賴的配送服務(wù)，成為不可或缺的生活基礎(chǔ)設(shè)施。”現(xiàn)在，美團配送已經(jīng)服務(wù)于全國400多萬商家和4億多用戶，覆蓋2800余座市縣，日活躍騎手超過70萬人，成為全球領(lǐng)先的分鐘級配送網(wǎng)絡(luò)。

本文從評估體系建設(shè)的原因開始入手，重點闡述了美團配送技術(shù)團隊在A/B評估體系構(gòu)建過程中的一些思考和具體的實踐，包括如何建立完備的指標(biāo)體系、如何建立科學(xué)權(quán)威的評估方式等等。希望能夠給大家一些啟發(fā)和幫助。

即時配送的三要素是“效率”、“成本”、“體驗”，通過精細(xì)化的策略迭代來提升效率，降低成本，提高體驗，不斷地擴大規(guī)模優(yōu)勢，從而實現(xiàn)正向循環(huán)。但是，策略的改變，不是由我們隨便“拍腦袋”得出，而是一種建立在數(shù)據(jù)基礎(chǔ)上的思維方式，數(shù)據(jù)反饋會告訴我們做的好不好，哪里有問題，以及衡量可以帶來多少確定性的增長。

而A/B實驗就是精細(xì)化迭代的一個“利器”，通過為同一個迭代目標(biāo)制定兩個或多個版本的方案，在同一時間維度，讓組成成分相同（或相似）的A/B群組分別采用這些版本，然后收集各群組的體驗數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，最后分析、評估出最好的版本，幫助我們作出正確的決策，使迭代朝著更好的方向去演進(jìn)。基于此，構(gòu)建一個適用于配送業(yè)務(wù)的A/B平臺就應(yīng)運而生了。

1. A/B平臺簡介

如上圖所示，A/B實驗可以看作一個“無盡”的學(xué)習(xí)環(huán)，我們通過提出假設(shè)、定義成功指標(biāo)、檢驗假設(shè)（A/B實驗）、分析學(xué)習(xí)、發(fā)布、建立另一個假設(shè)，這就形成一個完整的閉環(huán)，通過多輪實驗迭代，使策略趨于更優(yōu)。基于上述對A/B實驗劃分的5個步驟，我們將A/B實驗的完整生命周期分為三個階段：

• 實驗前，提出該實驗假設(shè)，定義實驗成功的指標(biāo)，確定分流策略；

• 實驗中，即驗證假設(shè)的階段，根據(jù)配置階段的分流策略進(jìn)行分流和埋點上報；

• 實驗后，進(jìn)行實驗分析與學(xué)習(xí)，并基于實驗報告決定是否發(fā)布。

按照功能劃分，我們將A/B平臺分為三個模塊，實驗配置管理模塊、分流以及埋點上報模塊和在線分析模塊，分別對應(yīng)于A/B實驗生命周期的實驗前、實驗中和實驗后三個階段。

在實驗配置模塊，用戶可以基于實驗前提出的假設(shè)、定義的成功指標(biāo)快速創(chuàng)建實驗，并基于特定的分流策略完成分流配置；分流以及埋點上報模塊，提供JAR包接入的形式，異步獲取實驗配置進(jìn)行本地分流計算和埋點上報；在線分析模塊，依據(jù)用戶在實驗配置管理模塊選取的用于說明實驗效果的指標(biāo)、分流埋點上報模塊記錄的日志，自動地產(chǎn)生各實驗的實驗報告，供實驗觀察者使用，然后根據(jù)實驗效果幫助他們作出正確的決策。具體流程如下圖所示：

2. 為什么要強調(diào)評估體系建設(shè)

2.1 分流業(yè)務(wù)場景需要

業(yè)界的A/B平臺建設(shè)基本以《Overlapping Experiment Infrastructure: More, Better, Faster Experimentation》這篇論文為藍(lán)本進(jìn)行展開， 引入分層模型以及在分流算法中加入層編號因子來解決“流量饑餓”和“正交”問題，并且通過引入域的概念，支持域和層之間的相互嵌套，使分層實驗?zāi)Ｐ透屿`活，進(jìn)而滿足多種場景下的A/B訴求。如下圖所示，將流量通過Hash取模的方式即可實現(xiàn)流量的均勻劃分。

這種是面向C端用戶進(jìn)行流量選擇的傳統(tǒng)A/B實驗，采用上述的分流方式基于這樣的假設(shè)：參與實驗的流量因子是相互獨立的、隨機的，服從獨立同分布。但是，配送業(yè)務(wù)場景下的A/B實驗，涉及到用戶、騎手、商家三端，請求不獨立，策略之間相互影響并且受線下因素影響較大。

傳統(tǒng)A/B實驗的分流方式，無法保證分出的兩個群組實驗組和對照組的流量都是無差別的，無法避免因流量分配不平衡而導(dǎo)致的A/B群組差異過大問題，很容易造成對實驗結(jié)果的誤判。為滿足不同業(yè)務(wù)場景的訴求，我們的A/B平臺建設(shè)采取了多種分流策略，如下圖所示：

針對策略之間的相互影響、請求不獨立場景下的A/B實驗，我們采取限流準(zhǔn)入的分流方式，針對不同的實驗，選取不同的分流因子。在實驗前，我們通過AA分組，找出無差別的實驗組和對照組，作為我們實驗分流配置的依據(jù)，這種分流方式要求我們要有一套完整刻畫流量因子的指標(biāo)體系，只要刻畫流量因子的指標(biāo)間無統(tǒng)計顯著性，我們就認(rèn)為分出的實驗組和對照組無差別。

2.2 業(yè)務(wù)決策的重要依據(jù)

在實驗后的效果評估環(huán)節(jié)，通常允許實驗者用自定義的指標(biāo)來衡量不同策略帶來的影響。但這樣做會帶來如下兩個問題：

• 首先，由實驗者來負(fù)責(zé)實驗效果的評估，很難做到客觀。同時也無法避免實驗者僅僅選擇支持自己假設(shè)的指標(biāo)，來證明自己的實驗結(jié)論；

• 其次，所有的策略迭代都是為業(yè)務(wù)服務(wù)，如果實驗者用自定義的、與業(yè)務(wù)認(rèn)知不一致的指標(biāo)，來說明實驗效果、推動業(yè)務(wù)灰度，這種方式往往難以被采納。

因此，權(quán)威的評估體系對于對齊大家認(rèn)知，并幫助我們在策略迭代方面作出正確的決策，尤為重要。

3. A/B評估體系構(gòu)建

A/B評估體系的構(gòu)建，要解決A/B平臺兩個核心問題：第一，要有一套用于刻畫流量因子（區(qū)域、騎手、商家）的權(quán)威的、完備的指標(biāo)體系，幫助實驗者完成實驗前的AA分組和實驗后的效果評估；第二，要建立一套科學(xué)的評估方法，幫助實驗者作出正確的決策。

3.1 權(quán)威完備的指標(biāo)體系

指標(biāo)的權(quán)威性體現(xiàn)在：刻畫分流因子，用于實驗前AA分組和證明實驗假設(shè)的指標(biāo)，必須經(jīng)過治理且業(yè)務(wù)認(rèn)知一致，這樣才能對齊認(rèn)知，使得實驗結(jié)果更具說服力；指標(biāo)的完備性體現(xiàn)在：評估體系中的指標(biāo)，不僅要有經(jīng)過第三方獨立生產(chǎn)治理且各業(yè)務(wù)方認(rèn)知一致的治理指標(biāo)，而且還要有實驗者為了更全面的分析，描述實驗過程，自定義的探索指標(biāo)。

整體架構(gòu)

治理指標(biāo)強調(diào)的是指標(biāo)的權(quán)威性和生產(chǎn)的規(guī)范性，而探索性指標(biāo)強調(diào)的是指標(biāo)的多樣性和生產(chǎn)的靈活性。在評估體系中要實現(xiàn)這兩類指標(biāo)的統(tǒng)一，既要包含用于說明實驗效果的治理指標(biāo)，又要包含幫助實驗者更好迭代實驗所需的探索指標(biāo)。

為實現(xiàn)上述的統(tǒng)一，指標(biāo)層面要有分級運營的策略：治理指標(biāo)按照業(yè)務(wù)認(rèn)知一致性和算法內(nèi)部認(rèn)知一致性分別定級為P0、P1，這一類指標(biāo)在生產(chǎn)前必須要有嚴(yán)格的注冊、評審，生產(chǎn)環(huán)節(jié)需要交給獨立的第三方團隊（數(shù)據(jù)團隊）生產(chǎn)，保證指標(biāo)的權(quán)威性，產(chǎn)出后打通指標(biāo)與字段的映射關(guān)系，對用戶屏蔽底層實現(xiàn)邏輯；對于探索性指標(biāo)，定級為P2，強調(diào)的是生產(chǎn)的靈活性和快速實現(xiàn)，因此，它的生產(chǎn)就不宜帶有指標(biāo)注冊和評審等環(huán)節(jié)。

為保證其快速實現(xiàn)，希望基于物理表和簡單的算子配置就可以實現(xiàn)效果分析時即席查詢使用。基于如上的問題拆解，我們進(jìn)行了如下的架構(gòu)設(shè)計：

數(shù)據(jù)集成

為了支持監(jiān)控和分析，在數(shù)據(jù)集成環(huán)節(jié)，我們集成了實驗配置數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)和染色數(shù)據(jù)，以便實驗者在效果評估環(huán)節(jié)不僅可以查看流量指標(biāo)（PV、UV和轉(zhuǎn)化率），也可以深入探索策略變動對業(yè)務(wù)帶來的影響。

對于那些在實驗配置環(huán)節(jié)不能確定流量是否真正參加實驗的場景（例如：選擇了特定區(qū)域進(jìn)行實驗，該區(qū)域產(chǎn)生的單只有滿足特定條件時才能觸發(fā)實驗），我們不能直接通過限制確定的區(qū)域來查看業(yè)務(wù)指標(biāo)。因為此時查看的指標(biāo)并不是真正參與實驗的流量所對應(yīng)的指標(biāo)。因此在數(shù)據(jù)集成環(huán)節(jié)，我們同時將實驗前的實驗配置數(shù)據(jù)和實驗中的染色數(shù)據(jù)（針對每個參與實驗的流量，每次操作所產(chǎn)生的數(shù)據(jù)，都會打上實驗場景、實驗組以及具體的分組標(biāo)記，我們該數(shù)據(jù)為染色數(shù)據(jù)）同步到數(shù)倉。

在數(shù)據(jù)基建環(huán)節(jié)，將業(yè)務(wù)數(shù)據(jù)模型和染色數(shù)據(jù)模型通過流量實體作為關(guān)聯(lián)條件進(jìn)行關(guān)聯(lián)，構(gòu)建實驗粒度模型。

數(shù)據(jù)基建

在數(shù)據(jù)基建層，我們基于指標(biāo)分級運營的思路，由數(shù)據(jù)團隊和算法團隊分別構(gòu)建實體粒度（區(qū)域、騎手、GeoHash）和實驗粒度的實體寬表模型，以滿足P0/P1指標(biāo)和P2指標(biāo)的訴求；為實現(xiàn)指標(biāo)的規(guī)范化建設(shè)和靈活建設(shè)的統(tǒng)一，在物理模型和對外提供應(yīng)用的指標(biāo)池之間，我們提供了元數(shù)據(jù)管理工具和模型配置工具，從而實現(xiàn)離線數(shù)據(jù)快速接入評估體系的指標(biāo)池。

由數(shù)據(jù)團隊建設(shè)的實體寬表模型，對應(yīng)著治理指標(biāo)（P0/P1指標(biāo)），必須在生產(chǎn)后通過元數(shù)據(jù)管理工具完成指標(biāo)與物理字段的映射，將指標(biāo)的加工口徑封裝在數(shù)據(jù)層，對用戶屏蔽物理實現(xiàn)，確保治理指標(biāo)的一致性。由算法團隊獨立建設(shè)的實體寬表模型，對應(yīng)著挖掘指標(biāo)（P2指標(biāo)），為確保其接入評估體系指標(biāo)池的靈活性和方便性，我們在數(shù)據(jù)基建環(huán)節(jié)，通過標(biāo)簽的形式對指標(biāo)口徑做部分封裝，在模型配置環(huán)節(jié)完成指標(biāo)邏輯的最終加工。

元數(shù)據(jù)管理

元數(shù)據(jù)管理層，是實現(xiàn)指標(biāo)權(quán)威性的關(guān)鍵。治理指標(biāo)在本層實現(xiàn)注冊、評審，達(dá)到業(yè)務(wù)認(rèn)知一致性和算法內(nèi)部認(rèn)知一致性的目的。同時，本層還完成了治理指標(biāo)與數(shù)據(jù)基建層物理模型之間的綁定，為后續(xù)的模型配置建立基礎(chǔ)。

模型配置

模型配置工具，是打通物理模型與評估指標(biāo)池的橋梁，它通過輸入組件、操作組件和應(yīng)用組件，將離線數(shù)據(jù)接入到評估體系中，滿足實驗前AA分組和實驗后AB評估的需求。首先，輸入組件可以對應(yīng)不同的數(shù)據(jù)源，既可以接入治理的離線指標(biāo)，也可以接入特定庫下的物理表。其次，操作組件提供了分組操作、算子操作、過濾操作和測試操作，通過分組操作，確定模型包含的維度；通過算子操作，將算子作用在指標(biāo)或標(biāo)簽字段上，在取數(shù)環(huán)節(jié)實現(xiàn)指標(biāo)的二次計算；通過過濾操作，實現(xiàn)數(shù)據(jù)的過濾；通過測試操作，保證模型配置質(zhì)量。最后，應(yīng)用組件可以將配置的模型注冊到不同的應(yīng)用上，針對A/B場景主要是AA分組和AB評估。具體接入流程如下圖所示：

3.2 科學(xué)權(quán)威的評估方式

評估報告的可靠和權(quán)威性主要體現(xiàn)在兩個方面：一是評估指標(biāo)的可靠性和權(quán)威性；二是評估方式的科學(xué)性。在上一節(jié)中，我們重點討論了如何構(gòu)建可靠權(quán)威的指標(biāo)體系。在這一節(jié)，我們重點討論如何進(jìn)行科學(xué)的評估。

在討論科學(xué)評估之前，我們再重溫一下A/B實驗的定義：A/B實驗，簡單來說，就是為同一個目標(biāo)制定兩個版本或多個版本的方案，在同一時間維度，分別讓組成成分相同（相似）的A/B群組分別采用這些版本，收集各群組的體驗數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，最后分析、評估出最好版本，正式采用。其中A方案為現(xiàn)行的設(shè)計（稱為控制組）， B方案是新的設(shè)計（稱為實驗組）。分析A/B實驗的定義，要實現(xiàn)科學(xué)權(quán)威的評估，最重要的兩點在于：

• 第一，確保在實驗前分出無差別的實驗組和對照組，避免因流量分配不平衡導(dǎo)致的AB群組差異過大，最終造成對于實驗結(jié)果的誤判；

• 第二，確保對實驗結(jié)果作出準(zhǔn)確的判斷，能夠準(zhǔn)確的判斷新策略相對于舊策略的優(yōu)勢是不是由自然波動引起的，它的這一優(yōu)勢能否在大規(guī)模的推廣中反映出來。

無論是實驗前確保實驗組和對照組流量無顯著性差異，還是實驗后新策略較舊策略的指標(biāo)變動是否具有統(tǒng)計上的顯著性，無一例外，它們都蘊含著統(tǒng)計學(xué)的知識。接下來，我們重點論述一下A/B實驗所依賴的統(tǒng)計學(xué)基礎(chǔ)以及如何依據(jù)統(tǒng)計學(xué)理論做出科學(xué)評估。

假設(shè)檢驗

兩個假設(shè)

A/B實驗是一種對比試驗，我們?nèi)Χㄒ欢ǖ牧髁窟M(jìn)行實驗，實驗結(jié)束后，我們基于實驗樣本進(jìn)行數(shù)據(jù)統(tǒng)計，進(jìn)而驗證實驗前假設(shè)的正確性，我們得出這一有效結(jié)論的科學(xué)依據(jù)便是假設(shè)檢驗。假設(shè)檢驗是利用樣本統(tǒng)計量估計總體參數(shù)的方法，在假設(shè)檢驗中，先對總體均值提出一個假設(shè)，然后用樣本信息去檢驗這個假設(shè)是否成立。我們把提出的這個假設(shè)叫做原假設(shè)，與原假設(shè)對立的結(jié)論叫做備擇假設(shè)，如果原假設(shè)不成立，就要拒絕原假設(shè)，進(jìn)而接受備擇假設(shè)。

兩類錯誤

對于原假設(shè)提出的命題，我們需要作出判斷，要么原假設(shè)成立，要么原假設(shè)不成立。因為基于樣本對總體的推斷，會面臨著犯兩種錯誤的可能：第一類錯誤，原假設(shè)為真，我們卻拒絕了；第二類錯誤，原假設(shè)為偽，我們卻接受了。顯然，我們希望犯這兩類錯誤的概率越小越好，但對于一定的樣本量n，不能同時做到犯這兩類錯誤的概率很小。

在假設(shè)檢驗中，就有一個對兩類錯誤進(jìn)行控制的問題。一般來說，哪一類錯誤所帶來的后果嚴(yán)重、危害越大，在假設(shè)檢驗中就應(yīng)該把哪一類錯誤作為首要的控制目標(biāo)。在假設(shè)檢驗中，我們都執(zhí)行這樣一個原則，首先控制犯第一類錯誤的概率。這也是為什么我們在實際應(yīng)用中會把要推翻的假設(shè)作為原假設(shè)，這樣得出的結(jié)論更具說服力（我們有足夠充分的證據(jù)證明原來確定的結(jié)論是錯誤的），所以通常會看到，我們把要證明的結(jié)論作為備擇假設(shè)。

T檢驗

常見的假設(shè)檢驗方法有Z檢驗、T檢驗和卡方檢驗等，不同的方法有不同的適用條件和檢驗?zāi)繕?biāo)。Z檢驗和T檢驗都是用來推斷兩個總體均值差異的顯著性水平，具體選擇哪種檢驗由樣本量的大小、總體的方差是否已知決定。在樣本量較小且總體的方差未知的情況下，這時只能使用樣本方差代替總體方差，樣本統(tǒng)計量服從T分布，應(yīng)該采用T統(tǒng)計量進(jìn)行檢驗。T統(tǒng)計量具體構(gòu)造公式如下圖所示，其中f是T統(tǒng)計量的自由度，S1、S2是樣本標(biāo)準(zhǔn)差。

T檢驗的流程是，在給定的棄真錯誤概率下（一般取0.05），依據(jù)樣本統(tǒng)計量T是否落在拒絕域來判斷接受還是拒絕原假設(shè)。實際上在確定棄真錯誤概率以后，拒絕域的位置也就相應(yīng)地確定了。

使用T統(tǒng)計量進(jìn)行判斷的好處是，進(jìn)行決策的界限清晰，但缺陷是決策面臨的風(fēng)險是籠統(tǒng)的。例如T=3落入拒絕域，我們拒絕原假設(shè)，犯棄真錯誤的概率為0.05；T=2也落入拒絕域，我們拒絕原假設(shè)，犯棄真錯誤的概率也是0.05。事實上，依據(jù)不同的統(tǒng)計量進(jìn)行決策，面臨的風(fēng)險也是有差別的。為了精確地反映決策的風(fēng)險度，我們?nèi)匀恍枰狿值來幫助業(yè)務(wù)來做決策。

利用P值決策

P值即統(tǒng)計功效函數(shù)，當(dāng)原假設(shè)為真時，所得到的樣本觀察結(jié)果或更極端的結(jié)果出現(xiàn)的概率。如果P值很小，說明這種情況發(fā)生的概率很小，但是在這次試驗中卻出現(xiàn)了，根據(jù)小概率原理，我們有理由拒絕原假設(shè)，P值越小，我們拒絕原假設(shè)的理由越充分。P值可以理解為犯棄真錯誤的概率，在確定的顯著性水平下（一般取0.05），P值小于顯著性水平，則拒絕原假設(shè)。

基于假設(shè)檢驗的科學(xué)評估

圍繞著科學(xué)評估要解決的兩個問題，實驗前，針對圈定的流量使用假設(shè)檢驗加上動態(tài)規(guī)劃算法，確保分出無差別的實驗組和對照組；實驗后，基于實驗前選定的用于驗證假設(shè)結(jié)論的指標(biāo)，構(gòu)造T統(tǒng)計量并計算其對應(yīng)的P值，依據(jù)P值幫我們做決策。

AA分組

首先看如何解決第一個問題：避免因流量分配不平衡，A/B組本身差異過大造成對實驗結(jié)果的誤判。為解決該問題，我們引入了AA分組：基于實驗者圈定的流量，通過AA分組將該流量分為無顯著性差異的實驗組和對照組。我們這樣定義無顯著性差異這一約束：首先，實驗者選取的用于刻畫實驗流量的指標(biāo)，在實驗組和對照組之間無統(tǒng)計上的顯著性（即上節(jié)所描述的基于均值的假設(shè)檢驗）；其次，在所分出的實驗組和對照組之間，這些指標(biāo)的差值最小，即一個尋找最優(yōu)解的過程。從實驗者的實驗流程看，在實驗前，圈定進(jìn)入該實驗的流量，然后確定用于刻畫實驗流量的指標(biāo)，最后調(diào)用AA分組，為其將流量分成合理的實驗組和對照組。

A/B效果評估

A/B效果評估是實驗者在實驗后，依據(jù)評估報告進(jìn)行決策的重要依據(jù)。因此，我們在實驗后的效果評估環(huán)節(jié)，效果評估要達(dá)成三個目標(biāo)即權(quán)威、靈活性和方便。

首先，權(quán)威性體現(xiàn)在用于作出實驗結(jié)論所依賴的指標(biāo)都是經(jīng)過治理、各方達(dá)成一致的指標(biāo)，并且確保數(shù)據(jù)一致性，最終通過假設(shè)檢驗給出科學(xué)的實驗結(jié)論，幫助實驗者作出正確的判斷。其次，靈活性主要體現(xiàn)在采用列轉(zhuǎn)行的形式，按需自動生成報表告別“煙囪式”的報表開發(fā)方式。第三，方便主要體現(xiàn)在不僅可以查看用于說明實驗效果的指標(biāo)，還可以選擇查看接入到評估體系里的任意指標(biāo)；不僅可以查看其實驗前后對比以及趨勢變化，還可以做到從實驗粒度到流量實體粒度的下鉆。效果如下圖所示：

技術(shù)實現(xiàn)

不管是實驗前的AA分組，還是實驗后的效果評估，我們要解決的一個核心問題就是如何靈活地“取數(shù)”，為我們的AA分組和AB效果分析提供一個靈活穩(wěn)定的取數(shù)服務(wù)。因此，我們整個架構(gòu)的核心就是構(gòu)建穩(wěn)定、靈活的取數(shù)服務(wù)，具體架構(gòu)如下圖所示。離線建模和指標(biāo)模型管理完成數(shù)據(jù)和元數(shù)據(jù)建設(shè)，建立權(quán)威完備的指標(biāo)體系；中間的取數(shù)服務(wù)作為上層各應(yīng)用服務(wù)和指標(biāo)體系的“橋梁”，為上層各應(yīng)用服務(wù)提供其所依賴的指標(biāo)。

4. 總結(jié)與展望

目前，A/B實驗已成為許多互聯(lián)網(wǎng)公司評估其新產(chǎn)品策略和方法的“金標(biāo)準(zhǔn)”，在美團配送業(yè)務(wù)場景下，它被廣泛應(yīng)用于調(diào)度策略、定價策略、運力優(yōu)化、ETA時間預(yù)估等業(yè)務(wù)場景，為我們的策略迭代制定數(shù)據(jù)驅(qū)動型決策。特別是針對配送場景下這種策略之間相互影響，請求不獨立場景下的A/B實驗，結(jié)合配送技術(shù)團隊的具體實踐，跟大家分享了我們目前的解決思路。

最后再補充一點，在A/B實驗領(lǐng)域，實驗的流量規(guī)模應(yīng)該有足夠的統(tǒng)計能力，才能確保指標(biāo)的變化有統(tǒng)計意義的。為了更好地達(dá)到這個目標(biāo)，未來我們將通過輔助工具建設(shè)，在實驗前，依據(jù)實驗者所關(guān)注的指標(biāo)以及敏感度給出流量規(guī)模的建議，方便實驗者在實驗前快速地圈定其實驗所需的流量。

5. 作者簡介

王鵬，美團技術(shù)專家，2016年加入美團。

啟政，美團高級工程師，2018年加入美團。

連恒，美團高級工程師，2016年加入美團。

----------  END  ----------

招聘信息

配送數(shù)據(jù)團隊負(fù)責(zé)美團日千萬級訂單、百萬級騎手的配送業(yè)務(wù)的數(shù)據(jù)支撐和創(chuàng)新工作，是業(yè)務(wù)運營和發(fā)展的核心團隊之一。團隊中主要有數(shù)據(jù)應(yīng)用、數(shù)據(jù)服務(wù)、實時計算、數(shù)據(jù)倉庫、數(shù)據(jù)治理、A/B實驗平臺建設(shè)等各個數(shù)據(jù)方向的崗位，歡迎各位小伙伴的加入，共同賦能商業(yè)，創(chuàng)造更加激動人心的價值。感興趣的同學(xué)可投遞簡歷至：tech@meituan.com（郵件標(biāo)題注明：美團配送數(shù)據(jù)團隊）