招聘职位是网络上最丰富的公开数据集之一。大规模地读取它们，能告诉你企业在招什么、在哪里扩张、哪些技能有需求，以及市场给多少钱，这是人才寻源、薪资对标、人力规划和竞争情报背后的原材料。但有一个会悄无声息地拖垮大多数采集尝试的陷阱：就业数据是按位置投递的，而各大招聘平台防守森严。 Indeed 展示给芝加哥求职者的，与展示给柏林求职者的不同；薪资语境、职位集合，乃至哪些岗位会出现，都因市场而异。
这就把就业市场数据采集变成了一个访问问题。试着从一个数据中心 IP 或单一办公位置去抓取某个招聘平台，你会被封、被弹 CAPTCHA，或者被投喂一个市场的职位、还被告知那就是全貌。这正是住宅代理登场之处：它们让你完全像任何一个市场里的真实求职者所看到的那样去采集招聘职位，而这是让数据集得出完整、正确结果的唯一办法。下面讲怎么做，以及为什么它要紧。
“就业市场数据”究竟涵盖什么
其核心，是跨越那些发布岗位的招聘平台和企业招聘页，系统性地采集公开的招聘职位及其内部的信号：
- 职位与岗位细节 —— 职位名称、公司、地点、描述、资历级别，以及所列的技能和要求。
- 薪酬 —— 所公布的薪资区间和福利，是薪酬对标的支柱。
- 招聘量与速度 —— 一家公司或一个行业在发布多少岗位、发布得有多快，是扩张或收缩的领先信号。
- 地点与工作模式 —— 企业在哪里招人，以及岗位是远程、混合还是现场。
团队用它来做招聘与人才寻源（哪些公司在招你所经手的岗位）、薪酬与人力资源分析（按岗位和市场的薪资带）、劳动力市场与人力研究（技能需求和招聘趋势）、竞争情报（对手的招聘暴露其路线图，这与另类数据中的招聘信号有所重叠），以及 B2B 潜客开发（一家在招人的公司往往是一个购买信号，见用于 B2B 线索生成的代理）。这一切都取决于捕获那个市场里一个真实求职者实际看到的内容。而他看到什么，完全取决于他看起来在从哪里搜索。
为什么这是一个代理问题
就业数据的三个特性，使其采集成为一个直接落在代理层上的问题。
就业结果是按地理投递的。 平台会把职位适配到求职者的位置：同一个查询在每个国家或城市返回不同的岗位、不同的薪资语境和不同的结果集，而且许多平台默认采用访客被检测到的位置。如果你所有的采集都从一个地方运行，你度量的是一个市场的就业数据，却把它当成通用的，而这对你所覆盖的其余每一个市场都只是错误的。要看到一个市场真实的职位和薪资数据，需要从那个市场去查询，而这正是城市级定位的意义所在。
各大平台防守森严。 LinkedIn、Indeed、Glassdoor 以及各大招聘平台运行着激进的反机器人系统。一个数据中心 IP 一眼就会被标记，然后得到一个 CAPTCHA、一次封锁，或一堵登录墙，于是你记录下来的是机器人版本，而不是一个求职者看到的真实职位。（为什么爬虫会被封讲解了其中的机制。）住宅 IP 带着真实用户的信任，所以你看到的是一个真实求职者所得到的完整、公开的职位。
速度与对标需要完整性。 招聘速度和薪酬基准都是时间序列，即同一批岗位、公司和市场，随时间被一致地度量。跨越众多平台和市场去采集这些，是海量的请求。从少数几个 IP 出发，你会触发速率限制，得到一个片面、有偏的样本，而你的趋势线会恰好在某个平台设阻的地方出现缺口，而这正是会打破一个基准的那些断点。
这三者的解法是同一个：从看起来像每个目标市场里真实求职者的 IP、完整且持续地采集。
住宅代理在哪里契合
住宅代理把你的请求经由真实的消费者 IP 路由，于是招聘平台回应你的方式，就如同回应一个真正的本地求职者。专门就就业市场数据而言，这解锁了：
真实的职位，而非机器人版本。 因为住宅 IP 带着真实用户的信任，你捕获的是真实求职者看到的那些真实公开职位、薪资区间和结果集，而不是给可疑流量的那个降级、被封或加了登录墙的版本。
精准的按市场覆盖。 借助细化到国家和城市的地理定位，你可以作为每个市场里的求职者去采集就业数据，美国的岗位和薪酬来自美国，德国的职位来自德国，每一份都按观察点标注。现在你的薪资基准和招聘趋势数据，建立在真实的按市场结果之上，而不是一个被外推的单一位置。
完整、连续的序列。 一个庞大的轮换池会把请求分散开，让你可以随时间跨越众多平台和市场追踪众多岗位而不被封锁，让你的招聘速度和对标序列保持完整而非零碎。（与用于数据采集的住宅代理中相同的采集质量原则在此适用，而如何用网络抓取构建数据集涵盖了如何结构化结果。）
简单地说：住宅代理把”我们办公室碰巧看到的职位”变成了”一个真实求职者在我们所覆盖的每一个市场里看到的职位”。
它是如何运作的
在 Shifter gateway 上，你通过把市场编码进代理用户名来定位它，一个端点，没有 IP 列表需要管理：
# 作为美国的求职者采集职位curl -x customer-USERNAME-country-us:PASSWORD@p.shifter.io:443 https://job-board.example/search
# 当职位和薪酬是本地化的时，收窄到某个城市curl -x customer-USERNAME-country-de-city-berlin:PASSWORD@p.shifter.io:443 https://job-board.example/search为宽泛、持续的采集在池中轮换；当某个平台流程在翻页结果中需要一致的身份时，保持一个粘性会话。同一个 gateway，每个请求不同的定位，为你团队运行的任何采集与分析管道供料。因为 IP 质量塑造着你被投递什么，理解 IP 信誉有助于你把数据集保持干净。持续被封而非偶尔被封，指向的是 IP 质量或请求行为，而非地理，见如何在抓取时避免被封。
负责任地使用
这是对就业数据最要紧的一部分：采集公开的招聘职位，而不是人。招聘平台会把公开职位与个人数据、候选人简介、简历和评论者身份混在一起，而那些个人信息不是可取之物。守住公开职位和聚合信号，遵守每个平台的条款和速率限制，不要削弱你所查询的站点，并远远避开个人数据。招聘平台的条款往往严格，围绕个人数据的法律图景也是真实存在的，见网络抓取合法吗，并对任何不确定的事项获取意见。代理改变的是一个请求从哪个 IP 发出，而不是你是否应该发出它；我们的可接受使用政策是 Shifter 上何为允许的权威依据。
常见问题
我为什么需要代理来获取就业市场数据？ 因为招聘平台按位置投递职位，并对机器人严防死守。从一个位置或一个数据中心 IP 出发，你只看到一个市场的职位（或一个被封/CAPTCHA/登录墙的版本）。住宅代理让你作为每个市场里的真实求职者去采集，于是你所捕获的职位和薪酬数据就是真实的、按市场的。
就业数据真的会因市场而变化这么大吗？ 是的。职位集合、薪资语境，乃至哪些岗位会出现，都因国家和城市而异，而平台往往默认采用求职者的位置。从一个地方去采集，给你的是一个市场的答案，并歪曲了其余所有地方。
我能这样采集候选人简介或简历吗？ 不能。那是个人数据，属于禁区。就业市场数据指的是公开的招聘职位和聚合的招聘信号，不是人们的个人信息。把采集守在公开职位上，并对任何涉及个人数据的事项获取法律意见。
招聘平台该用住宅代理还是数据中心代理？ 住宅。各大平台会检测并区别对待数据中心 IP，所以数据中心给你的是封锁、CAPTCHA 或登录墙。住宅 IP 看到的是一个真正的求职者会看到的真实、公开、地理精准的职位。
抓取招聘职位合法吗？ 公开的招聘职位通常是面向公众的数据，只要负责任地采集，尊重条款和速率限制、回避个人数据，大体上没有问题。个人数据那一侧才是它在法律上变得敏感之处。代理不会改变底层活动的合法性；对任何不确定的事项请获取法律意见。
底线
招聘职位对于招聘、薪酬和市场情报是一座金矿，但前提是数据就是一个真实求职者所看到的数据，而因为平台按位置投递职位、并对机器人严防死守，从一个办公室 IP 去采集，给你的是一个市场的切片，却被打扮成了全貌。要做对，你必须在每个目标市场里作为一个真实求职者去采集，完整且持续地采集，而这正是住宅代理所提供的：真实的公开职位、地理精准的覆盖，以及用于速度和对标的不间断序列，而且不被封锁。
如果你的团队与招聘或劳动力市场数据打交道，一个优质的住宅代理网络就是让数据集准确而完整的那一层访问，且是在公开职位上负责任地采集的。池的质量决定了那份覆盖有多完整，所以在评估时值得理解 IP 信誉。定价页面有按 GB 计费的套餐，可以拿它对着你在意的平台和市场试用。