DSP 及 RTB 基本概念、原理、理论及应用介绍

这是一份关于精准广告投放技术的演示稿，从基本概念、到原理实现到具体的市面上的大厂框架进行了详细的剖析。

正文

IR researchers, for example, are facing the challenge of deﬁning the relevancy of underlying audiences given a campaign goal, and consequently, developing techniques to ﬁnd and ﬁlter them out in the real time bid request data. For data miners, a fundamental task is identifying repeated patterns over the large-scale streaming data of bid requests, winning bids and ad. For machine learners, an emerging problem is telling a machine to react to a data stream, i.e., learning to bid cleverly on behalf of advertisers and brands to maximise conversions while keeping costs to a minimum

Behavioral targeting（行为定位广告） comprises a range of technologies and techniques used by online website brands, publishers and advertisers aimed at increasing the effectiveness of marketing and advertising using user web-browsing behavior information.

RTB的定义
RTB通过透明公平的拍卖机制，把对的广告展示给对的用户，整个竞价过程发生在广告展示前的一瞬间。
在RTB环境中，不论是对广告主还是对开发者而言，拍卖都被认为是一种公平而透明的方式。它能自动在正确的时间，将合适的广告以拍卖双方达成一致的合理价格推送给正确的受众。

拍卖的定义
拍卖是一个过程，即：潜在的竞价者对某一商品提交自己的出价，然后由拍卖方从所有出价中选出最高价，该出价者将成为获得商品的中标者。
广告交易平台和供应方平台（SSP）与多个需求方平台（DSP）对接，利用拍卖，尤其是次高价投标拍卖（Second-price auction）机制，实时抛售广告展示机会，实现市场的供需平衡。

第一种，也是最基础的一种交易方式被称为PDB，即Private Direct Buy（私有直接购买），这种方式简单讲，是一对一（1v1）的购买方式。这种购买方式，与我们传统的广告采买方式基本上没有区别，即广告主找媒体确定好广告位置和价格，然后按照排期规定的时间进行广告投放。在传统方式中，广告排期（spot plan）是这个交易过程的关键，而在PDB中，也完全如此。 PDB这种方式，是广告主最容易接受的方式。首先，与传统采买方式一致意味着广告位资源是预先保证的，一旦排期确定，PO（purchase order）下达，广告位资源就肯定不可能易主。再者，不改变传统的广告采买过程意味着内部的组织和工作流程都不需要发生什么变化，因此也就没有“政治”问题（你懂的）。更何况，在此之上还能实现程序化的好处，有百利而无一害，何乐不为。 PDB方式支持传统的CPD（Cost Per Day）的广告采买方式，也支持CPM（Cost Per Milli，即广告被千次曝光所需的成本）和CPC（Cost Per Click）的方式。

Data exchanges(DX),also called Data Management Platforms(DMP), serve DSP, SSP and ADX by providing user historical data (usually in real-time) for better matching.

Supply side platforms (SSP) serve publishers by registering their inventories (impressions) from multiple ad networks and accepting bids and placing ads automatically;

Demand side platforms (DSP) serve advertisers or ad agencies by bidding for their campaigns in multiple ad networks automatically;

When a user visits a webpage, an impression is created on publisher’s website. While the page loads, 1. An ad request is sent to an ad exchange through an ad network or a SSP; 2. The ad exchange queries DSPs for advertisers’ bids; 3. The DSP can contact data exchanges for the 3rd party user data; 4. If the advertiser decides to bid, the bid is generated and submitted (for example, the user is interested in travel, a travel related advertiser, e.g. booking.com, could expect the user to convert to their campaign and may be willing to bid higher); 5. The winner is selected at ad exchanges (largely based on the second price auction), then selected at SSP if the SSP sends the bid request to multiple ad exchanges; 6. The winning notice is sent to the advertiser; 7. Following the reversed path, the winner’s ad (creative, i.e., the text, picture,or video that the advertiser wants to show to users)is displayed on the webpage for the speciﬁc user; 8. The tracker collects the user’s feedback, determining whether the user clicked the ad and whether the ad led to any conversion.

Different visitors behave differently on your website. The traffic you get on your website is composed of visitors with different intentions: some are on your website for purchasing your products, some are there for joining your organization (finding careers page), some are there for simply researching, and others are probably there by mistake and have not even tiny interest in what you are selling. Most websites and landing pages on the Internet are same for all these different kinds of visitors. That is why we see websites crammed with multiple call-to-actions (buy now, sign up for newsletter, free trial, like us on Facebook, and what not). These websites try appealing to all sorts of visitors, but finally, end up appealing nobody.

追踪用户行为：DSP公司通常会在广告主的网站上埋点（即放上一个1×1的不可见像素），这样当互联网用户第一次访问广告主的网站时，就会得到DSP公司的一个cookie，这样DSP公司就可以追踪到这个网民的在广告主网站上的行为了(这些数据也叫action data)。DSP公司还会和第三方的网站合作（例如：新浪，腾讯），在他们的网站上也埋点，或者向DMP购买网民行为数据，这样就可以追踪到网民在这些网站上的行为了(这些数据也叫mapping data)。这里值得一提的是，DSP公司对某一个用户记录的cookie和第三方网站或DMP或exchange记录的cookie是不一样的，这里需要一个叫Cookie Mapping的过程，这不是本文重点，以下假设DSP已经做好了Cookie Mapping，每个用户有一个唯一的id标识。

受众选择（audience selection）: m6d对每一个campaign(即每一个广告主的每个推广活动), 训练一个audience selection model, 该模型以在广告主的网站上发生转化行为（转化行为可以是注册成为用户，点击某个特定页面，购买产品。每个广告主对转化的定义不一样）的用户为正例，没有发生转化行为的用户为负例（是的，正负例很不均匀，通常要做采样和结果修正）。得到模型后，对所有的用户预估对这个campaign的转化概率p(c | u),即该用户u有多大的概率会在广告主的网站上发生转化行为（c表示conversion），去掉大多数转化概率非常小的用户，将目标用户根据转化概率高低分到不同的segments中。这样我们对每个campaign就找到了很多的目标用户，而且这些用户根据他们的质量高低，被分别放在不同的segments中。

通知exchange: DSP将这些目标用户的cookie告诉exchange，这样当有这些cookie的请求来的时候，exchange才会来向DSP的服务器发送请求。

Segment管理：通常DSP公司会有账户管理员（运营人员），他们人工来对每个campaign的做一些设定。他们根据每个campaign所属的行业特点，经济状况，决定开启哪些segments，关掉哪些segments。例如：对没钱的小公司的campaign, 那些用户转化概率小一些的segment就不要投广告了。他们还需要对每个segment设定一个基础出价（base price）。账户管理员可以拿到每个segment的平均预估转化概率，来辅助他们设定基础出价。这一步也是人工影响投放策略最主要的地方。

进行实时竞价：当exchange把请求发过来的时候，DSP会拿到以下信息：当前广告位的信息，当前用户的cookie和基本信息。DSP需要在100ms内，根据对当前用户的理解，并且考虑当前广告位，根据自己的bidding算法，来要决定是否要买这次展现，投放哪个campaign的广告，出价是多少（bidding），并向exchange返回出价信息？如果超过时间DSP没有响应，则exchange默认DSP放弃这次竞价。

展现广告：如果赢得了展现机会，则DSP返回创意，用户就会在该广告位看到该创意。

追踪转化：因为DSP在广告主的网站上埋了点，就能知道用户是否在这次展现之后进行了转化行为。根据这些数据统计转化率，每个转化平均成本等指标，汇总成报告给广告主。

A user is typically identiﬁed by an HTTP cookie.
A cookie, in the form of a small piece of data, is sent from a website and stored in the user’s Web browser the ﬁrst time the user browses a website.
In the context of display advertising, each service provider would act as a single domain tobuilduptheirownuserIDsystemsacrossanumberoftheirclientwebsites

SSP强制发送一个重定向请求，该重定向请求带上新网站的cookie ID
cookie-sync发生在竞价之后而不是之前的原因主要是考虑到时延和用户体验。如果用户user123 需要访问10个DSP，等待所有的DSP为自己创建cookie并将SSP cookie ID 和 DSP cookie ID的映射保存到DSP自己的数据库中，然后在开始广告竞价，这将显著地延缓整个竞价过程。

in step (1), the browser makes a request from the pixel tag to ad.bidder.com and includes in this request any tracking cookies set by ad.bidder.com. If the user is new to ad.bidder.com, it sets its ad.bidder.com cookie. In step (2), the tracker from ad.bidder. com retrieves its tracking ID from the cookie and, instead of returning the required 1x1 pixel, redirects the browser to ad.exchange.com using http 302 redirect and encoding the tracking ID into the URL as a parameter. (3) The browser then makes a request to ad.exchange.com, which includes thefullURLad.bidder.comredirectedtoaswellas ad.exchange.com’sown trackingcookie(ifoneexists). (4)ad.exchange.comreturnstherequired1x1 pixel and can now link its own ID associated with the user to ad.bidder. com’s ID and create a record in its match table.

广义二阶定价
次价密封投标拍卖：出最高价者所得，但支付价格是第二个开价人做开的价格。
优点：传统的竞价的最优出价都取决于他对其他人出价的预期，所以常常不会展示自己对拍卖物的真实评价。

占优策略的定义：在不考虑其他竞标者如何竞价的情况下，占优策略是对竞价者更有利的策略。

降低出价的定义：指竞价者对商品的出价低于他们认为真正合理的估值。在程序化交易中，这个商品就是指广告展示机会。

哈佛大学工商管理专业副教授Benjamin Edelman在题为《Internet Advertising and the Generalized Second Price Auction: Selling Billions of Dollars Worth of Keywords》中的研究报告中指出，“讲真话”来源于传统的次高价投标拍卖以及在搜索广告中被广泛使用的VGC拍卖。

哥伦比亚大学商科助理教授Santiago Balseiro在《Competition and Yield Optimization in Ad Exchange》中表示，在次高价投标拍卖中，“讲真话”对于广告主而言可能并不是一个占优策略。