我們?cè)谒⑽⑿藕臀⒉┑臅r(shí)候，有時(shí)候會(huì)驚嘆廣告非常精準(zhǔn)——“就是我想要的！”，有時(shí)候又會(huì)感覺(jué)廣告極其不靠譜——“我怎么可能點(diǎn)呢？”，所有的這些背后，廣告的工程師們已經(jīng)做了他們最大的努力——

即便在我們看來(lái)并不精準(zhǔn)，但在所有定向給你的廣告中，他們已經(jīng)挑出機(jī)器認(rèn)為你最可能點(diǎn)的廣告，而這背后依賴(lài)的就是CTR預(yù)估技術(shù)。

CTR預(yù)估是競(jìng)價(jià)廣告核心的邏輯之一，很多人認(rèn)為CTR預(yù)估非常高深，根本搞不清其中的邏輯，的確，CTR預(yù)估作為一個(gè)純技術(shù)的模塊，要做一個(gè)簡(jiǎn)單的科普并不容易。

致力于用簡(jiǎn)潔語(yǔ)言描述復(fù)雜問(wèn)題的衛(wèi)夕今天嘗試用人話(huà)來(lái)解釋CTR預(yù)估的來(lái)龍去脈，放心，本文不會(huì)涉及到任何高深難懂的公式和技術(shù)邏輯，看得懂中文的同學(xué)都能明白其中的邏輯。

一、CTR在競(jìng)價(jià)廣告系統(tǒng)中起神馬作用？

CTR（Click-Through-Rate）為點(diǎn)擊率，它是互聯(lián)網(wǎng)廣告中最基本的概念，我們先來(lái)看看點(diǎn)擊率對(duì)于一個(gè)競(jìng)價(jià)廣告系統(tǒng)而言意味著神馬？

我們先來(lái)做一道簡(jiǎn)單的題目——阿迪和耐克作為廣告主來(lái)競(jìng)價(jià)，阿迪出2塊錢(qián)一個(gè)點(diǎn)擊，耐克出1塊錢(qián)一個(gè)點(diǎn)擊，假如微信廣告平臺(tái)有100次曝光，它應(yīng)該給誰(shuí)？阿迪還是耐克？有人說(shuō)，當(dāng)然是給阿迪啊，它出的價(jià)錢(qián)高。

這個(gè)答案是不對(duì)的，如果阿迪的點(diǎn)擊率為1%，耐克的點(diǎn)擊率為5%，那么給阿迪能產(chǎn)生1個(gè)點(diǎn)擊，每個(gè)點(diǎn)擊1塊錢(qián)，微信能賺2塊；給耐克則產(chǎn)生5個(gè)點(diǎn)擊，每個(gè)點(diǎn)擊1塊，微信能賺5塊，廣告平臺(tái)不傻，當(dāng)然要給耐克！

好，從這個(gè)簡(jiǎn)單的案例中，我們可以看出幾點(diǎn)：

1.廣告平臺(tái)關(guān)心自己的流量?jī)r(jià)值——即自己的流量曝光賣(mài)的貴還是便宜,一般用ECPM(earning cost per mille)這個(gè)指標(biāo)來(lái)衡量，即每1000次曝光帶來(lái)收入。

2.廣告主一般按點(diǎn)擊進(jìn)行扣費(fèi)，即廣告主通常關(guān)心結(jié)果，出價(jià)原則就看一個(gè)點(diǎn)擊需要花多少錢(qián)。

3.廣告平臺(tái)需要把點(diǎn)擊出價(jià)轉(zhuǎn)化成ECPM進(jìn)行扣費(fèi)和排序。

4.CTR架起了從點(diǎn)擊到曝光的一座橋梁，為排序提供基礎(chǔ)。

總結(jié)起來(lái)就是一個(gè)簡(jiǎn)單的公式——ECPM=1000*CTR*點(diǎn)擊出價(jià)，在上面這個(gè)案例中阿迪的ECPM=1000*1 %*2=20，而耐克的ECPM=1000*5%*1=50，顯然耐克的ECPM大于阿迪的，因此耐克會(huì)在這次競(jìng)價(jià)中勝出。

從這個(gè)案例中我們可以看到CTR是為廣告排序用的，而排序本身就是競(jìng)價(jià)廣告的核心，因此CTR預(yù)估也是競(jìng)價(jià)廣告的核心技術(shù)之一。

不僅廣告系統(tǒng)需要CTR預(yù)估來(lái)排序，推薦系統(tǒng)也需要CTR預(yù)估來(lái)排序，因此CTR預(yù)估應(yīng)用其實(shí)比我們想象的要更加廣泛：

YouTube、亞馬遜、今日頭條等等涉及到個(gè)性化推薦的系統(tǒng)都會(huì)應(yīng)用到CTR預(yù)估，即他們要把你最可能點(diǎn)的內(nèi)容推薦給你。

而廣告系統(tǒng)的CTR預(yù)估在具體的數(shù)值上比推薦系統(tǒng)要求更高，比如推薦系統(tǒng)可能只需要知道A的CTR比B大就可以排序了，而廣告由于不是直接用CTR進(jìn)行排序，還加上了出價(jià)，因此廣告系統(tǒng)不僅要知道A的CTR比B大，而且還需要知道A的CTR比B的CTR大多少。

二、為什么要進(jìn)行CTR預(yù)估？

到這里大家已經(jīng)明白CTR的重要性了，即CTR是廣告排序的前提，它連接了點(diǎn)擊和曝光，這時(shí)候大家又會(huì)有一個(gè)新的問(wèn)題：那CTR為什么要預(yù)估呢？多少投放一點(diǎn)不就知道了它的CTR了嗎？

“多少投放一點(diǎn)不就知道了它的CTR了嗎？”這句話(huà)大體上沒(méi)錯(cuò)，但事情遠(yuǎn)沒(méi)有這么簡(jiǎn)單，我舉一個(gè)例子你就知道了。

假如廣告平臺(tái)有四個(gè)廣告主來(lái)投廣告，這個(gè)廣告平臺(tái)總共有4000個(gè)用戶(hù)，這四個(gè)廣告主分別為賣(mài)布娃娃的、賣(mài)游戲機(jī)的、賣(mài)西裝的和賣(mài)高跟鞋的，出價(jià)都是1塊錢(qián)一個(gè)點(diǎn)擊。

這時(shí)候我們不知道CTR的情況下，我們應(yīng)該怎么辦，于是我們?cè)囃读艘幌拢總€(gè)廣告投了100個(gè)曝光，最后發(fā)現(xiàn)他們的CTR都是25%，出價(jià)一樣、CTR一樣。

按照我們上面的公式，ECPM就一樣，而我們按ECPM來(lái)排序，因此我們就沒(méi)辦法排序——每個(gè)人ECPM都相同，因此最終就只能在廣告平臺(tái)隨機(jī)出這四個(gè)廣告了。

ECPM=1000*CTR*點(diǎn)擊出價(jià)

但我們回去看一看實(shí)際情況，這個(gè)25%的點(diǎn)擊率是如何發(fā)生的我們就能明白總體CTR是不靠譜的，真相是平臺(tái)總共有4000個(gè)用戶(hù)，而他們均勻分成了四組：

分別是1000為成熟男人；1000成熟女人、1000少女、1000少男，這四個(gè)人群只點(diǎn)擊他們喜歡的東西，如成熟男人只點(diǎn)擊西裝，他們對(duì)自己喜歡的東西的點(diǎn)擊率為100%，對(duì)自己不喜歡的點(diǎn)擊率為0%，當(dāng)我們隨機(jī)投放的時(shí)候，每個(gè)人的點(diǎn)擊率都是25%。

好，現(xiàn)在你看到了，直接拿試投這個(gè)點(diǎn)擊率去預(yù)估導(dǎo)致的結(jié)果就是用群體數(shù)據(jù)代表了個(gè)體差異，即當(dāng)一位成熟男人來(lái)請(qǐng)求廣告的時(shí)候，我們會(huì)認(rèn)為投給他一個(gè)布娃娃和投給他一套西裝沒(méi)有任何區(qū)別。

因?yàn)樵谠囃峨A段布娃娃和西裝的整體點(diǎn)擊率都是25%，盡管實(shí)際上他們的點(diǎn)擊率有天壤之別，一個(gè)是100%、另一個(gè)是0%。

因此，當(dāng)我們通過(guò)特征差異能正確地個(gè)性化預(yù)估CTR的時(shí)候，我們才能正確地排序，當(dāng)一位成熟男人來(lái)請(qǐng)求廣告的時(shí)候，西裝這個(gè)廣告主就會(huì)在競(jìng)價(jià)中勝出，因?yàn)槲覀冎浪腃TR100%高于布娃娃、高跟鞋、游戲機(jī)的0%。

所以從這個(gè)案例中我們就能明白，不能直接籠統(tǒng)地看試投的點(diǎn)擊率，而應(yīng)該有針對(duì)性地針對(duì)個(gè)體單獨(dú)預(yù)估，試投這個(gè)階段依然存在，但我們會(huì)通過(guò)某個(gè)模型用交叉特征地看每一個(gè)個(gè)體的點(diǎn)擊率，從而下一個(gè)擁有該特征的人群來(lái)訪(fǎng)問(wèn)的時(shí)候，我們就能相對(duì)更加準(zhǔn)確地預(yù)估了。

同時(shí)，我們也從上面的案例中發(fā)現(xiàn)，正確預(yù)估提升了CTR，從原來(lái)的25%提升到了100%，同樣廣告平臺(tái)的收入也會(huì)提升，這就是CTR預(yù)估的意義。

三、CTR預(yù)估是如何進(jìn)行的？

通過(guò)這個(gè)案例我們看到，至少有三個(gè)特征決定了一個(gè)廣告的點(diǎn)擊率——廣告主行業(yè)、用戶(hù)的年齡、用戶(hù)的性別，事實(shí)上，在實(shí)際的廣告系統(tǒng)中，有無(wú)數(shù)的因素決定了廣告的點(diǎn)擊率，我們把這些因素主要分成3類(lèi)——

第一是廣告主側(cè)，比如廣告創(chuàng)意、廣告的表現(xiàn)形式、廣告主行業(yè)等，一個(gè)勞斯萊斯的廣告和一個(gè)可口可樂(lè)的廣告點(diǎn)擊率肯定有天壤之別。

第二是用戶(hù)側(cè)，如人群屬性，以上的案例是年齡和性別，事實(shí)上，決定創(chuàng)意的因素人群屬性極其多——年齡、性別、地域、手機(jī)型號(hào)、WiFi環(huán)境、興趣........

第三是廣告平臺(tái)側(cè)，比如不同的廣告位、投放時(shí)間、流量分配機(jī)制、頻次控制策略等。

這些決定因素在CTR預(yù)估中被稱(chēng)之為特征，而CTR預(yù)估的第一步就是“特征工程”，即把這些特征找到并數(shù)據(jù)化。

特征工程是一件復(fù)雜的工程，光判斷不同特征能否對(duì)CTR產(chǎn)生影響就是一個(gè)浩大的工程，特征工程的攻城獅們第一步得列出來(lái)不同的特征可能對(duì)CTR產(chǎn)生影響，這有時(shí)候靠直覺(jué)，有時(shí)候靠經(jīng)驗(yàn)，

確定了特征之后就需要對(duì)這些特征進(jìn)行處理——即把特征數(shù)據(jù)化，比如把所有的特征變成0和1的二值化，把連續(xù)的特征離散化，把特征的值平滑化、把多個(gè)特征向量化.......

以上這一段看不懂?看不懂沒(méi)關(guān)系，你只需要明白，所有的這些特征都會(huì)被攻城獅們編碼變成一串可計(jì)算的數(shù)組就行，特征工程是一項(xiàng)重要的基礎(chǔ)工作，像今日頭條、百度這樣的廣告平臺(tái)都有一個(gè)龐大的團(tuán)隊(duì)來(lái)做特征工程的工作。

好，特征工程完成之后就開(kāi)始建立模型了，很多同學(xué)看到“模型”二字就開(kāi)始皺眉頭了，沒(méi)關(guān)系，你可以這樣理解模型：

模型就是一個(gè)黑盒子，在盒子的一方我們輸入一大堆參數(shù)，盒子的另一端就會(huì)輸入一個(gè)CTR的值。

比如我們輸入這樣的參數(shù)：一個(gè)高跟鞋廣告主、投放給北京地區(qū)、年齡20-30歲、對(duì)財(cái)經(jīng)感興趣的女性用戶(hù)，在周末投放在微信的朋友圈第三位.......請(qǐng)給出一個(gè)CTR的值。模型就會(huì)根據(jù)不同特征的值計(jì)算出一個(gè)值。

至于它是如何計(jì)算的，非技術(shù)同學(xué)理解起來(lái)難度會(huì)非常大，我們可以簡(jiǎn)單理解為CTR是無(wú)數(shù)特征的一個(gè)函數(shù)，CTR=f(x1,x2,x3,x4,x5……),而模型就是選擇神馬樣的函數(shù)來(lái)進(jìn)預(yù)測(cè)。

我舉個(gè)大家最容易理解的線(xiàn)性函數(shù)：CTR=ax1+bx2+cX3+dx4+ex5……（這只是一個(gè)假設(shè)，實(shí)際上模型要比這個(gè)復(fù)雜N多倍）。

每一個(gè)函數(shù)都有相應(yīng)的參數(shù)（ 比如剛剛案例中的a、 b、c、d），而這些參數(shù)是如何確定的呢，就需要?dú)v史數(shù)據(jù)進(jìn)行訓(xùn)練，就是把已經(jīng)知道的一些數(shù)據(jù)去喂這個(gè)模型，模型根據(jù)這些數(shù)據(jù)不斷地調(diào)整參數(shù)，喂的越多調(diào)教的就越準(zhǔn)確，最終預(yù)測(cè)的效果也就越好。

在所有的這些特征中，有些特征影響因子會(huì)大一些，有一些會(huì)小一些，比如搜索廣告中，搜索關(guān)鍵詞和廣告關(guān)鍵詞匹配程度就是一個(gè)影響因子極大的因子、歷史CTR也是一個(gè)影響因子極大的因子，其他因子會(huì)有不同程度上的影響。

工程師們每天的工作就是嘗試新特征、嘗試新模型、訓(xùn)練不同的模型參數(shù)，以便讓CTR預(yù)估更加準(zhǔn)確，谷歌、Facebook、阿里、百度這些公司的工程師已經(jīng)在這些領(lǐng)域發(fā)表了很多篇頂級(jí)論文。

四、如何評(píng)估CTR預(yù)估的效果？

好，接下來(lái)的一個(gè)問(wèn)題，如何評(píng)估CTR預(yù)估的效果？工程師們會(huì)有特定的指標(biāo)去衡量效果，對(duì)于非技術(shù)同學(xué)，有人會(huì)直觀地說(shuō)，那當(dāng)然是看CTR有沒(méi)有變高啊：

正確預(yù)估CTR不就是為了把真正高CTR的廣告挑出并展示出來(lái)么，錯(cuò)誤地預(yù)估——把高的CTR低估或把低的CTR高估都會(huì)讓高的CTR不會(huì)排在最前面，從而會(huì)降低CTR。

這個(gè)說(shuō)法在推薦系統(tǒng)中是成立的，但在廣告系統(tǒng)里是不準(zhǔn)確的，因?yàn)閺V告的排序不僅僅是CTR排序，它還綜合了出價(jià)進(jìn)行排序，即ECPM進(jìn)行排序，有時(shí)候CTR預(yù)估準(zhǔn)確，反而（實(shí)際）CTR會(huì)降，我們看一個(gè)實(shí)際的例子：

這一大堆數(shù)字大家可能看不懂，我們只需要明白以下幾個(gè)邏輯就能看懂了：

1.廣告通過(guò)預(yù)估ECPM的大小來(lái)判斷誰(shuí)勝出，而預(yù)估ECPM等于預(yù)估CTR*出價(jià)，在這個(gè)案例中，圖一CTR預(yù)測(cè)正確，阿迪的預(yù)測(cè)CTR30高于耐克的20因而勝出。

2.廣告實(shí)際ECPM是勝出者的ECPM，因?yàn)閺V告平臺(tái)把所有的曝光都給了勝出者，它等于勝出者的實(shí)際CTR*出價(jià)。

3.圖二里把耐克的CTR從2%錯(cuò)誤地預(yù)估到了4%，導(dǎo)致其預(yù)測(cè)ECPM高而勝出，而實(shí)際上投放出來(lái)的CTR為2%。

4.這個(gè)情況中，預(yù)測(cè)正確反而CTR低，預(yù)測(cè)錯(cuò)誤反而CTR高，但是沒(méi)關(guān)系圖一預(yù)估正確的情況下實(shí)際的ECPM30高于圖二預(yù)測(cè)錯(cuò)誤ECPM20。

所以從這個(gè)案例中我們可以看到，從結(jié)果指標(biāo)來(lái)看，ECPM是衡量CTR預(yù)估最為重要的指標(biāo)，當(dāng)然，在實(shí)際的實(shí)踐過(guò)程中，CTR預(yù)測(cè)正確通常ECPM、CTR、收入這些指標(biāo)通常都會(huì)漲。

另外一個(gè)很簡(jiǎn)單的方法就是把預(yù)估CTR和真實(shí)CTR直接進(jìn)行對(duì)比，由于預(yù)估CTR針對(duì)每一次廣告展示都會(huì)預(yù)估，比如這一次預(yù)估CTR為2%，但單次廣告真實(shí)CTR只有兩個(gè)結(jié)果，點(diǎn)或不點(diǎn)，即100%、0%，所以看單次結(jié)果是沒(méi)有意義的，我們應(yīng)該從一個(gè)群體來(lái)看——

將每一次廣告曝光按照預(yù)測(cè)的CTR從小到大排序，然后按某個(gè)單位（比如每10000個(gè)曝光）分別統(tǒng)計(jì)平均預(yù)估CTR和實(shí)際CTR，就能知道預(yù)測(cè)CTR的準(zhǔn)確程度了