多年来,平台研究领域的一个根本性问题始终是不对称性。数字平台能够观察到其服务上大量的活动,而平台之外的研究人员往往只能使用平台选择公开的数据。
欧盟的《数字服务法案》正在开始改变这种关系。
《数字服务法案》的数据访问框架正在从监管文本转变为可操作的研究基础设施。截至2026年5月19日,数字服务协调员已收到49份合格研究人员身份申请。根据欧盟委员会的说法,这些申请主要涉及社交媒体平台,包括对非法内容、广告透明度和AI功能的研究。
这一点意义重大。但获取平台持有的数据集只是研究问题的一部分。如果研究人员想了解数字平台如何影响欧洲的人们,他们还需要能够从用户界面一侧观察这些平台的方法。官方数据集能够回答一些问题,独立观察能够回答另一些问题。
关键要点
- DSA正在将研究人员访问权限从一项法律原则转变为一种可操作的研究制度。
- 平台提供的数据集与独立的由外而内的观察能够回答不同的、互补的问题。
- X在2026年7月的纠正措施进一步印证了合格研究人员可能需要对公开可用的平台数据进行自动化访问。
- 地理位置、设备、会话状态和时间应被视为研究用户实际体验时的变量。
- 平台问责制的下一阶段将越来越依赖于具有清晰溯源性的可复现观察。
《数字服务法案》数据访问实际改变了什么
DSA建立了几条重要途径,独立研究人员可以借此研究超大型在线平台和超大型在线搜索引擎。
其中一条涉及平台内部数据。根据第40条,经过审核认证的研究人员可以申请获取研究欧盟境内系统性风险以及评估平台风险缓解措施有效性所需的数据。
这一流程已变得更加具体化。2025年7月,欧盟委员会通过了一项授权法案,规定了研究人员访问的技术条件和程序。该法案还创建了一个DSA数据访问门户,研究人员、平台、数字服务协调员及其他相关机构可以通过该门户管理部分流程。
寻求内部数据访问权限的研究人员需要满足重要的保障条件。这些条件包括与研究机构的隶属关系、与商业利益的独立性、适当的数据安全和保密措施、个人数据保护、研究资金披露,以及公布研究结果的承诺。
但DSA也认可另一类证据:公开可用的平台数据。欧盟委员会解释说,符合相关条件的研究人员可以访问超大型在线平台和搜索引擎的公开可用数据,用于研究系统性风险,而无需数字服务协调员的中介。
这一区分很重要。内部数据集能告诉研究人员平台记录了什么。API能告诉他们平台通过该接口提供了什么。透明度存储库能告诉他们平台披露了什么。这些都不一定能告诉研究人员某个欧洲用户在特定国家、特定时刻、在某个特定屏幕上究竟经历了什么。这需要观察。
X案例的重要性超出表面
欧盟委员会对X的执法行动异常清晰地展现了这一区别。2025年12月,欧盟委员会因多项DSA透明度违规对X处以1.2亿欧元罚款。其中之一是未能向研究人员提供适当的公开数据访问权限。欧盟委员会明确表示,X的条款禁止合格研究人员独立访问公开数据,包括通过抓取的方式,其流程为研究欧盟境内的系统性风险制造了不必要的障碍。
从研究方法论的角度来看,接下来的进展更加有趣。2026年7月,欧盟委员会接受了一项行动计划,X在其中承诺改进并加快研究人员审核,为合格研究人员提供免费访问,提供适当数量的数据,并修改其条款,使合格研究人员不再被合同禁止抓取公开可用的数据。
不应将此解读为对不受限制抓取的全面法律授权。研究人员仍需在适用的DSA条件以及其他法律、伦理、隐私和安全要求范围内开展工作。
但这确实确立了一项重要原则。独立收集公开信息不一定是一种游离于平台问责制之外的活动。在适当条件下,它本身可以成为问责基础设施的一部分。欧盟委员会在其他地方也采取了类似立场。在与AliExpress的DSA承诺中,该平台同意让符合第40(12)条标准的研究人员能够通过数据抓取等自动化方法,独立访问和使用公开数据以研究系统性风险。
因此,监管层面的讨论正超越研究人员是否获得API密钥这一简单问题,转向研究人员能否独立研究平台的实际行为。
API告诉你平台展示了什么,观察告诉你用户体验了什么
官方访问权限仍然至关重要。平台持有的数据集可能包含审核历史、内部分类、汇总指标、系统记录,或者外部无法重建的历史信息。研究API可以让大规模分析更容易。广告存储库可以提供关于活动的结构化证据。透明度数据库可以披露有关审核决定和执法活动的重要信息。这些都是由内而外的证据形式。
但问责制也需要由外而内的证据。
考虑一下越来越重要的研究问题类型。马德里的用户在提出特定查询时看到了什么?一则广告在意大利可见但在荷兰不可见吗?政治或商业披露在不同市场之间的呈现是否一致?推荐界面在不同的欧洲国家是否会返回不同的输出?移动端体验是否暴露了桌面端体验没有暴露的信息?平台的变更是否在整个欧盟同步部署?观察到的行为能否在一天、一周或一个月后被复现?
这些问题不一定是关于数据库内部存在什么的问题,而是关于系统在有人与之交互时表现如何的问题。
最强有力的研究设计将越来越多地结合这两种视角。平台报告的数据告诉研究人员系统记录了什么。独立观察有助于确定系统呈现了什么。二者并非天然孰优孰劣,它们衡量的是不同的东西。当两者出现分歧时,这种分歧本身就可能成为一项重要的研究发现。
地理位置是一个研究变量,而不仅仅是一个代理设置
这正是互联网基础设施成为研究方法论一部分的地方。网络平台不一定是统一的环境。地理位置可能影响可用性、广告、语言、界面、搜索输出、监管披露、产品功能以及在线体验的其他元素。
因此,当研究人员说”这就是平台显示的内容”时,会有一个显而易见的后续问题:显示给谁看的,从哪里看的?
在Shifter,我们认为地理位置应该越来越多地被视为一个实验变量。我们的住宅代理网络提供覆盖195多个国家的住宅IP访问权限,并配备地理定位功能,可用于建立受控的互联网观测点。这种基础设施可以支持研究人员从多个明确定义的地理位置观察同一个公开可访问的界面,而不是假设一个连接代表所有欧洲用户的体验。
这并不意味着住宅IP会自动重现人类用户体验的每一个要素。平台可能会考虑IP地理位置之外的许多信号,包括cookie、账户历史、语言设置、设备特征和会话状态。这正是方法论重要的原因所在。地理位置应与这些其他变量一并记录,而不应被视为研究基础设施中一个不可见的属性。
具备监管级别的观察需要方法,而不仅仅是访问权限
一旦由外而内的网络观察开始为监管研究做出贡献,证据标准就必须随之提高。“我们打开了页面,看到了这个”并不是一种方法论。
一次严谨的观察应当附带足够的背景信息,以便另一位研究人员能够理解、质疑并且理想情况下能够复现该观察。这份记录可能包括观察时间戳;目标URL或平台界面;出口国家和城市;相关情况下的ASN或ISP;设备和浏览器配置;语言设置;身份验证状态;账户或会话状态;实验条件;观察到的输出;适当情况下的截图、HTML或结构化证据;重复测试结果;以及验证状态。
实际上,研究人员需要一条针对网络观察的溯源链。我们已在关于观测点标准的论述一文中阐述了该记录应包含的内容。
同样的原则也已经塑造了我们进行基础设施基准测试的方式。我们不会使用不同的请求量、机器或测试条件来比较两个网络,然后将结果视为有意义的。测试使用匹配的请求数量、一致的并发数和目标,以及受控环境。我们还区分了测试窗口期间实际观察到的IP与无法在某一时刻测量的更大规模宣称网络总量。
对平台行为的研究要求同样的严谨性。如果改变了地理位置,就保持其他变量稳定。如果改变了设备类型,就控制地理位置。如果某个令人惊讶的结果只出现了一次,就重复测试。如果某个差异在多次观察中持续存在,就记录下它持续存在的条件。
DSA问责制正在成为一个测量问题。内部数据可以揭示平台记录了什么;由外而内的观察可以检验用户实际体验了什么。最有力的证据将越来越多地来自在受控的、可复现的条件下对两者进行的三角验证。
从抓取基础设施到观察基础设施
代理技术历来从相当操作性的角度被讨论。你能发出多少请求?你能多快地轮换IP地址?你能多可靠地大规模收集信息?
这些问题对许多应用而言仍然重要。例如,我们的网络抓取API旨在消除收集公开网络数据所涉及的大部分基础设施工作,而我们的SERP API则提供跨地理位置和设备的结构化搜索结果。
但还有另一种思考代理基础设施的方式。对研究人员来说,重要的能力可能不仅仅是收集,而可能是受控的存在。
一个研究系统应当能够说明:一次观察代表了来自法国的连接,另一次代表了德国的连接,两者都在一个明确的时间窗口内执行,其余的实验条件都尽可能保持相似。
这将问题从”我们能收集多少网络数据?“转变为”我们能多可靠地复现观察网络时的条件?“这是一个截然不同的基础设施问题。随着DSA研究生态系统的成熟,我们相信这将成为一个更加重要的问题。
DSA研究体系可能是什么样子
一个成熟的平台问责项目很少会依赖单一证据来源。相反,我们预期研究团队将建立分层系统。
| 证据层 | 提供的内容 | 示例 |
|---|---|---|
| 平台提供的证据 | 平台持有或披露的信息 | DSA数据集、官方API、广告存储库、透明度披露 |
| 受控观察 | 来自面向用户服务的可重复证据 | 明确定义的地理观测点、设备配置和会话 |
| 溯源元数据 | 理解和复现某项观察所需的背景信息 | 时间戳、国家和城市、ASN或ISP、设备、语言和会话状态 |
| 比较与验证 | 检验某一结果是孤立现象还是系统性现象 | 跨市场比较、重复测试和受控变量变化 |
| 研究治理 | 围绕负责任的收集和使用的控制措施 | 数据最小化、安全控制、伦理审查和有据可查的目的 |
住宅代理基础设施主要属于受控观察层和溯源层。它不能替代DSA访问权限,也不能取代内部数据集,更不能回答所有研究问题。它的作用是帮助建立和复现一个已知的外部观测点。
这一区分很重要,因为这不应该演变成一场关于API与抓取孰优孰劣的辩论,而应该成为一场关于证据质量的辩论。
下一场透明度辩论将围绕可复现性展开
DSA已经在改变平台必须披露的内容。下一个挑战是确定关于平台行为的说法能否被独立验证。
如果一个平台说某项披露向欧洲用户显示,研究人员能否复现它?如果一个广告存储库报告了一件事,公开界面显示的是另一件事吗?如果研究人员在一个成员国发现了某种推荐模式,它是否会出现在其他地方?如果一个界面在受到监管审查后发生了变化,独立观察者能否记录变化发生的时间和地点?
如果一项研究在六个月后重复进行,是否保留了足够的背景元数据,以便理解差异是来自平台、地理位置、设备还是研究方法?
这些问题正在使平台透明度从简单的披露转向可复现性。这可能是DSA最重要的长期影响之一。它不仅正在创建研究人员可以借以请求数据的机制,也在帮助创造条件,促成一门更加严谨的平台观察科学。
结论
《数字服务法案》的数据访问权限代表了独立研究人员理解欧洲最大在线平台的能力方面的一次重大提升。但平台持有的数据只是一种视角。
要理解数字系统如何影响用户,研究人员还需要从外部观察这些系统:跨国家、跨设备、跨会话、跨界面以及跨时间。
因此,平台问责制的未来不太可能建立在单一证据来源之上。它将依赖于三角验证:平台记录了什么、平台披露了什么,以及独立研究人员能够复现什么。
在Shifter,我们相信地理观测点基础设施可以在第三个类别中发挥有益作用。
如果监管机构和研究人员想要了解欧洲用户如何体验欧洲最大的平台,那么观察这些平台所使用的地理位置就不是一个技术性的脚注,而是证据的一部分。
本文仅供一般性信息参考,不构成法律建议。