白标数据采集意味着你的客户以你的品牌、按你的条款接收数据,发票上写的是你的名字。他们不与底层基础设施签约,看不到它,而且在大多数情况下也不想看到。
这种安排在商业上很直接,但它改变你所承担的义务,程度超出大多数代理机构的预期。一旦你把自己的品牌打在某个数据集上,你就不再是一家使用代理网络的公司,而成为数据的正式提供方。可靠性、来源可追溯性、合规性和持续性,全都由你来负责。
本指南讲述这在实践中意味着什么,以及如何组织一个账户,让它承载多个客户,同时确保客户之间彼此互不接触。
“一个账户”指的是一个登录入口,不是一个共用池
这一点值得立刻讲清楚,因为这句话本身含糊不清,理解错了会造成实际损害。
有效的做法是:为你的代理机构建立一个 Shifter 账户,一个登录入口,一个供应商关系,一个地方查看所有信息,同时每个客户在其下都拥有自己独立的工作区和独立的套餐。
无效的做法是:所有客户的采集流量都跑在同一个共享套餐下。这种方式无法告诉你每个客户的成本是多少,会让某个客户的用量激增消耗掉另一个客户的额度,并且在客户下线时需要手动拆分,十分麻烦。
第一种安排的具体机制,包括工作区、角色、侧边栏切换器和按套餐计量的用量,在面向多客户的子账户与用量追踪一文中有详细说明。简而言之就是:始终为每个客户配置一个套餐,并在计费或客户访问权限有必要的情况下,为每个客户建立一个工作区。
当你的品牌出现在数据上时,你要承担什么
有五件事会转移到你这一边。
可靠性。 无论某个门户网站昨晚是否改动了页面结构,客户的报告都要按时交付。你需要监控、告警和后备方案,因为”我们的供应商出了问题”这句话,白标提供方是没有资格说的。
来源可追溯性。 当客户对某个数字提出质疑时,你必须能够说明它是在何时何地被观测到的。这意味着每一份交付物都要附带市场、观测点、时间戳和采集方法。将这一点作为一等字段处理的理由,在观测点标准一文中有说明。
合规性。 客户的义务不会止步于你的品牌之下。如果客户是数据控制者,而你是代表其进行处理的处理者,相关责任会转移到你身上。
持续性。 如果你失去了某个数据源、某个市场或某份合同,客户所体验到的就是你这边的服务中断。
支持。 你是一线支持。客户会问你为什么数字变了,而答案不能是转发一张工单了事。
以上这些都不是不做白标的理由,而是要正确定价的理由,这一点在最后一节讲述。
合规责任不会因为你的品牌而消失
这是最常被忽略的部分,也最有可能在客户的采购审查中浮出水面,而不是在你自己的规划阶段被发现。
如果你的客户是数据控制者,而你是处理者,你的数据处理协议(DPA)通常会要求你披露分处理者,并在更换分处理者前提前通知。你用于采集数据所依赖的基础设施,可能就落在这个定义范围内。白标品牌只是一种商业安排,不是法律上的挡箭牌:它不能消除你合同中所产生的披露义务。
这带来两个实际后果。签署客户的 DPA 之前先阅读它,看清楚其中关于分处理者、通知期限和审计权利的条款,因为这些条款决定了你能在多大自由度上更换自己的技术栈。同时,持续维护一份内部记录,列明你的采集流程依赖什么,这样当客户问起时,答案只需几分钟,而不是一周。
与此相关、也常被混淆的一点是:请求的出口位置,不等于你的数据被处理或存储的位置。客户问”我们的数据是不是在欧盟”时,问的是你的处理流程,而不是你的出口位置。这一区别在数据驻留地不等于代理位置一文中有阐述,最好在客户提出这个问题之前就弄清楚,而不是在通话过程中才现学。
账户结构搭建
具体的操作设置很简单,但严格按照它执行,才能让后续的一切变得容易。
每个客户一个套餐。 没有例外。用量是按套餐上报的,所以共享套餐意味着你事后永远无法归因成本。
在值得的地方为每个客户建立工作区。 那些希望拥有独立计费关系、希望查看自己用量情况,或者规模大到其超额用量不应占用共享额度的客户,都适用这一点。请记住,工作区内的所有人都能看到工作区内的一切信息,因此某个客户联系人只能属于他们自己的工作区。
凭证按客户分开。 每个套餐都有自己的凭证。将凭证按客户存放在你的密钥管理器中,每个客户的任务只使用该客户自己的凭证,绝不为了图快而借用一个客户的套餐去完成另一个客户的任务。这一个看似省事的做法,恰恰是归因悄然失效的原因。
会话 ID 按客户加前缀。 面板本身不会按会话标识符来拆分用量,但你自己的日志可以做到。sid-acme-listings-04 这样写不需要任何成本,却能让你自己的调试工作变得清晰可读。
每份交付物都记录观测点。 这不仅仅是为了应对争议。当同一类别下的两个客户询问为什么他们的数字不同时,观测点通常就是答案。
在 Shifter 网关中,客户前缀和市场信息都保存在针对 p.shifter.io:443 的凭证里:
customer-USERNAME-country-de-city-berlin-sid-acme-de-07-ttl-600:PASSWORD对于独立请求可以省略 sid,网关会按请求轮换出口;若要在一个多步骤任务中保持同一个出口,则加上 sid,并用 ttl 设置保持时长。这里的取舍在粘性代理与轮换住宅代理一文中有说明,请求节奏的问题则在速率限制与请求节流一文中讨论。
为交付物定价,而不是为流量定价
白标定价中最常见的错误,是按流量成本加成来转售带宽,卖给那些根本不是在购买带宽的客户。你的客户购买的是一份报告、一条数据流或一个仪表盘。他们没有办法评估按 GB 计价的价格,也没有兴趣去学习。
按交付物定价,而在真正驱动成本的指标上管理你自己的利润:每条可用记录所消耗的 GB 数。一个传输量较小、但返回的数据被封锁或地理位置错误的工作流,其每条有效交付记录的成本,反而比一个传输量更大但能正常工作的工作流更高。相关的预测方法在住宅代理带宽预测一文中有说明。
有三个习惯有助于保护利润。每周而不是等到出账单时审查每个客户的消耗情况。将范围变更当作范围变更来对待,因为客户经常在一封邮件里随口增加市场或提高频率,却并不指望因此进行价格协商。并且预先为每个客户决定好,超额用量应该继续流转,还是应该暂停任务。
持续性与下线流程
这两件事都要提前规划,而不是等到需要时才想起来。
关于持续性:按客户、按数据源监控采集成功率,这样一个正在退化的数据源在客户察觉之前就能被发现。清楚哪些交付物依赖单一数据源,因为这些是最容易出问题、也最难挽回的部分。
关于下线:移除一个客户应该是一份清单,而不是一次调查。撤销该客户在所有任务中的凭证,关闭或转移他们的套餐,将其人员从工作区中移除,并在合同中就历史数据的处理方式达成一致。如果某个客户拥有自己的工作区,这在很大程度上就是他们自己的操作,这也是对规模较大的客户采用这种结构的又一个理由。
常见问题
如果客户规模较小,我能否让几个客户共用一个套餐?
可以,但你将无法说清其中任何一个客户的成本是多少,也无法遏制用量激增。如果用量确实非常小,节省下来的成本也很有限,而归因能力的丧失却是永久性的。
我是否必须告诉客户我用的是什么基础设施?
这取决于你的合同,而不是你的品牌形象。许多客户的 DPA 都要求披露分处理者以及变更通知。请查阅你已签署的协议。
一个代理机构账户能承载多少客户?
一个登录入口可以属于许多工作区,通过侧边栏进行切换。席位数量的限制是按工作区计算的,而不是按你所涉及的工作区数量计算的。
白标交付物中应该包含什么?
数据本身,加上足够用来为其辩护的来源信息:市场、观测点、观测时间戳和采集方法。你的品牌印在封面上,但方法仍然必须在其下真实存在。
结论
白标是一种承诺,即这些数据是你能够为之负责的。搭建账户结构,让这份承诺易于兑现:一个代理机构登录入口对应多个工作区,每个客户一个套餐、没有例外,凭证和会话标识符按客户分开,并且每份交付物都附带来源信息。
然后按交付物而不是按 GB 定价,每周查看各客户的用量,并在你的技术栈发生变化之前而不是之后阅读客户的 DPA。该网络本身的介绍在住宅代理网络页面,价格在定价页面。