大规模采集公开网络数据的人都见过同一个页面因请求来源不同而表现各异的情况。有时差异体现在价格或库存上。而越来越常见的是一种同意(consent)界面:一个横幅、一堵拒绝墙,或是一个在文章加载前要求付费的界面。
有价值的问题不是同意界面是否存在,而是它们集中出现在哪里、各国之间有何差异,以及你所看到的内容有多少取决于你自身所处的位置,而非网站本身。目前已有几项大规模已发布的抓取研究给出了答案,呈现出的图景远比”cookie 横幅”这个说法所暗示的要复杂得多。
关键要点
- 在31个欧洲国家中,67%的前10,000名网站显示同意界面,但其中只有15%的界面达到了最低合规标准。
- 出现率和合规性是两张不同的地图。西班牙和德国都大量使用横幅,但西班牙的界面有28%的时间达到最低合规标准,德国则为19%。
- 付费或同意(pay-or-okay)压倒性地是一种德国现象:2.28%的德国同意界面提供付费替代方案,而英国仅为0.03%。
- 在一组相同的全球热门网站上,德国访客有73.8%看到横幅,西班牙访客有72.9%看到横幅,发布者几乎把欧盟当作一个二元开关来对待。
- 一项已发布的抓取研究发现,13.9%的欧盟网站向欧盟访客展示的横幅比向美国访客展示的更合规,这意味着单一国家的审计无法描述一个网站的实际行为。
被称为”墙”的三种不同事物
这里的精确区分很重要,因为这三者受到的监管方式不同,衡量方式也不同。
| 界面 | 作用 | 你能否访问内容? |
|---|---|---|
| 同意横幅 | 请求同意,通常带有接受选项,有时也有拒绝选项 | 能,通常在你作答之前就能访问 |
| 拒绝墙 | 突出显示接受选项,隐藏或省略拒绝选项 | 能,但拒绝的点击成本较高 |
| Cookie墙或付费或同意 | 将访问权限与同意或付费订阅挂钩 | 不能,除非做出选择 |
只有第三种真正阻挡了页面访问。前两种影响的是页面加载后的行为,这对于采集数据、想知道普通访客实际得到什么内容的人来说至关重要。
出现率:31个国家,一次抓取
最清晰的国家层面数据来自一项CHI 2025研究,该研究在2024年8月12日至9月4日期间抓取了31个欧洲国家各自前10,000个网站,覆盖了94%的目标域名。总体而言,67%的网站显示了同意界面。
| 国家 | 前10,000网站中显示同意界面的比例 |
|---|---|
| 德国 | 78% |
| 西班牙 | 77% |
| 斯洛伐克 | 77% |
| 奥地利 | 76% |
| 意大利 | 76% |
| 丹麦 | 75% |
| 英国 | 74% |
| 法国 | 73% |
| 罗马尼亚 | 73% |
| 斯洛文尼亚 | 72% |
| 荷兰 | 71% |
| 波兰 | 71% |
| 比利时 | 68% |
| 克罗地亚 | 67% |
| 瑞典 | 66% |
| 匈牙利 | 66% |
| 希腊 | 65% |
| 芬兰 | 64% |
| 爱尔兰 | 64% |
| 葡萄牙 | 64% |
| 卢森堡 | 64% |
| 捷克共和国 | 63% |
| 挪威 | 61% |
| 保加利亚 | 61% |
| 立陶宛 | 61% |
| 拉脱维亚 | 56% |
| 塞浦路斯 | 55% |
| 马耳他 | 49% |
| 爱沙尼亚 | 41% |
| 冰岛 | 39% |
| 列支敦士登 | 34% |
| 所有国家 | 67% |
请仔细注意这里的数据含义。全部31次抓取都是从丹麦的单一站点运行的,因此这张表描述的是各国的网络文化和国家层面执法的效果,而不是身处爱沙尼亚的访客本人会遇到的情况。作者对此有明确说明。这是一张网站的地图,而非访客的地图。
合规性是另一张地图
同一项研究按照一个最低标准对界面进行了评分:接受和拒绝选项都出现在第一层界面上、视觉上具有可比性、没有预先勾选的选项、提供细粒度控制。只有15%的界面达到了这一标准。
| 国家 | 达到最低合规标准的界面比例 |
|---|---|
| 西班牙 | 28% |
| 斯洛伐克 | 25% |
| 意大利 | 23% |
| 法国 | 23% |
| 奥地利 | 21% |
| 英国 | 21% |
| 德国 | 19% |
| 丹麦 | 17% |
| 荷兰 | 9% |
| 爱沙尼亚 | 8% |
| 斯洛文尼亚 | 3% |
德国的横幅使用率比任何国家都高,但达标率却比西班牙低。拥有资源充足的监管机构的荷兰,达标率仅为9%。横幅密度几乎无法告诉你拒绝是否真的可行,而这恰恰决定了页面实际加载的数据内容。
付费或同意主要是德国的故事
来自同一次抓取的付费替代方案数据在各地都很小,但差异极大:
| 国家 | 提供付费替代方案的同意界面比例 |
|---|---|
| 德国 | 2.28% |
| 西班牙 | 1.25% |
| 意大利 | 0.88% |
| 丹麦 | 0.67% |
| 法国 | 0.44% |
| 奥地利 | 0.14% |
| 英国 | 0.03% |
德国的比例大约是英国的76倍。一项IMC 2023研究从不同角度发现了同样的集中现象:在45,000个网站的总体样本中,0.6%使用cookie墙,但在德国前1,000个网站中,这一比例达到8.5%。该研究还发现,使用cookie墙的网站发送的第三方cookie数量是普通横幅网站的6.4倍,跟踪型cookie数量则是42倍,因此这堵墙绝非仅仅是形式上的要求。
这两个数字都是正确的,只是描述了不同的切面。付费或同意在长尾网站中很罕见,但在德国市场的顶端却很常见,而这恰恰是任何监控新闻或媒体内容的人最容易遇到的地方。
同一个网站,不同的墙
这一部分对测量工作而言最为重要。
一项2025年1月的抓取从十个国家访问了一组相同的全球热门网站。德国访客在73.8%的网站上看到了横幅,西班牙访客的比例为72.9%,均远高于非欧盟观测点。在所有十个国家都成功访问到的网站中,119个在所有国家都显示了横幅,97个在任何国家都没有显示。在恰好在两个国家显示横幅的网站中,72个中有68个选择的是德国和西班牙。发布者并非针对每个市场进行调优,而是在开关一个欧盟总开关。
另一项针对2,579个网站的独立抓取于2024年12月进行,分别从巴黎和纽约运行,衡量的是横幅设计而非是否存在。报告显示,13.9%的欧盟网站向欧盟用户展示的横幅比向美国用户展示的更合规。对非欧盟网站而言,这一数字更为惊人:从欧盟观测点查看时,48.4%的情况被判定为合规,而从纽约观测点查看时,这一比例仅为13.5%,不合规率则从29.4%上升到63.0%。同一批网站,同一周内,仅仅是IP不同。
结论不可回避。从一个国家进行的同意审计,描述的只是那一个国家,别无其他。同样的逻辑也适用于年龄验证,它正在成为一个地理合规测试问题,也适用于任何只记录URL而不记录观测地点的数据集,我们在关于建立观测点标准的论证一文中主张弥补这一缺口。
监管机构的立场
各方立场差异之大足以解释上述地图,而且这些立场仍在不断变化,因此请将本节内容视为方向性参考而非建议,具体问题请咨询专业法律顾问。
欧洲数据保护委员会2020年的同意指南认为,服务的访问权限不应以用户同意在其设备上存储或读取信息为条件。2024年4月,应荷兰、挪威和汉堡当局的要求,该委员会发布了第08/2024号意见,针对大型在线平台上的”付费或同意”模式,得出结论:在大多数情况下,此类平台仅通过让用户在接受行为广告和付费之间做出选择,无法获得有效同意,平台应当考虑提供一个无需付费的等效替代方案。其2023年的cookie横幅工作组报告阐述了各方就缺失拒绝选项和预先勾选框问题达成的共识立场,同时也记录了各监管机构并非完全一致的情况。
英国的做法有所不同。英国信息专员办公室(ICO)2025年1月的指南认为,付费或同意模式在经过基于因素的评估后可能是合法的。其截至2025年12月4日的执法数据比任何抓取研究都更能说明问题:在英国前1,000个网站中,979个通过了其合规检查,但只有415个是在未经干预的情况下通过的。564个网站在经过直接沟通后有所改善,21个仍未达标,17起案件已发出初步执法通知。英国最大网站的基线合规率大约为40%,其余的都是在被追问后才有所改进。
这对数据采集意味着什么
如果你正在采集公开网络数据,同意界面会以三种方式影响你的结果,而其中只有第一种是显而易见的。
- 内容访问。 Cookie墙会直接阻挡页面访问。这种情况集中出现在德语新闻和媒体网站上,在其他地方较为罕见。
- 页面构成。 在任何同意点击操作之前,位于受GDPR监管地区的页面所加载的广告和跟踪类第三方资源,远少于其他地区的同一页面。你所测量的关于页面体积、请求数量或跟踪器数量的任何指标,实际上测量的是同意状态。
- 可比性。 如果你的抓取一半来自一个国家,另一半来自另一个国家,你得到的其实是两个互不兼容的数据集,却看起来像是一个数据集。
实际的解决方案并不炫目。从你打算描述的那个国家进行采集,将观测点与URL和时间戳一并记录,并记录你测量时所处的同意状态,因为同意前和同意后是对同一页面的两种不同观测。Shifter的住宅网关将国家参数放在用户名中,因此同一个采集程序可以在不改变其他任何设置的情况下,针对多个市场运行同一份列表:
curl -x customer-USERNAME-country-de-sid-9f3a2b7c-ttl-600:PASSWORD@p.shifter.io:443 \
https://example.com/
国家代码采用ISO 3166-1 alpha-2标准,地区、城市和ASN过滤功能在Full Geo资源池中可用。地理定位文档介绍了具体语法以及各资源池支持的过滤条件。
结论
网络世界并非千篇一律地被”墙”围住。它的围墙呈现出某种模式,这种模式与各国的执法历史相关,而且会根据访客所处的位置做出不同反应。德国的横幅使用率最高,从拒绝行为中获利也最多;西班牙的横幅使用率几乎相同,但做得更为规范;英国最大的网站大多是在监管机构去信之后才基本达标。在这一切之中,有相当一部分网站在悄悄地向来自不同地方的访客展示不同的界面。
最后这一事实才是真正有杀伤力的。任何关于某网站向用户展示什么内容的说法,本质上都是关于某个地点的说法,无论提出这一说法的人是否意识到自己已经选定了一个观测点。
来源与参考文献
- Nouwens, Kristensen, Maalt and Bagge, A Cross-Country Analysis of GDPR Cookie Banners and Flexible Methods For Scraping Them, CHI 2025。抓取时间为2024年8月12日至9月4日,覆盖31个国家各自前10,000个网站。包含出现率、最低合规率和付费替代方案数据表。
- Rasaii, Gosain and Gasser, Thou Shalt Not Reject: Analyzing Accept-Or-Pay Cookie Banners on the Web, ACM IMC 2023。Cookie墙出现率及cookie墙网站的cookie数量数据。
- Yu, Yin and Zimmeck, Global Web, Local Privacy? An International Review of Web Tracking。抓取时间为2025年1月5日至24日,来自十个国家。相同网站集合上的横幅出现率及多国横幅策略数据。
- Grossman, Smith, Borcea and Chen, Using Salient Object Detection to Identify Manipulative Cookie Banners that Circumvent GDPR。抓取时间为2024年12月16日至23日,分别来自巴黎和纽约,涉及2,579个网站。
- 欧洲数据保护委员会,Guidelines 05/2020 on consent under Regulation 2016/679。
- 欧洲数据保护委员会,Opinion 08/2024 on valid consent in the context of consent or pay models,通过日期为2024年4月17日。
- 欧洲数据保护委员会,Report of the work undertaken by the Cookie Banner Taskforce,通过日期为2023年1月17日。
- 英国信息专员办公室,ICO action secures increased cookie compliance,2025年12月4日。
- Shifter,Residential Proxies geo-targeting documentation。国家、地区、城市和ASN定位,以及各资源池的支持情况。