求人情報は、ウェブ上でも特に豊富な公開データセットのひとつです。大規模に読み解けば、どの企業が何を求めて採用活動をしているか、どこで事業を拡大しているか、どのスキルの需要が高いか、市場での相場はどれくらいか、つまりタレントソーシング、給与ベンチマーク、人員計画、競合インテリジェンスの基盤となる原材料がわかります。しかし、これを収集しようとする多くの試みを密かに台無しにする落とし穴があります。求人データは地域ごとに配信され、大手求人サイトは厳重に防御されているという点です。IndeedがシカゴのジョブシーカーとBerlinのジョブシーカーに見せる内容は異なり、給与の文脈、掲載される求人セット、さらにはどの職種が表示されるかまで、市場によってすべて変わります。
これにより、求人市場データの収集はアクセスの問題になります。データセンターのIPや単一のオフィスの所在地から求人サイトをスクレイピングしようとすると、ブロックされたり、CAPTCHAを要求されたり、ある市場の求人だけを見せられてそれが全体像だと思い込まされたりします。ここでレジデンシャルプロキシの出番です。レジデンシャルプロキシを使えば、任意の市場の本物のジョブシーカーが実際に見るのとまったく同じように求人情報を収集できます。これこそが、データセットを完全かつ正確な形で得る唯一の方法です。以下では、その仕組みと重要性について説明します。
「求人市場データ」が実際にカバーするもの
本質的には、これは求人が掲載される求人サイトや採用ページ全体にわたって、公開されている求人情報とその中のシグナルを体系的に収集することです。
- 求人情報と職種の詳細 — 職種名、企業名、勤務地、職務内容、シニアリティ、そして記載されているスキルや要件。
- 報酬 — 掲載されている給与レンジや福利厚生。給与ベンチマークの基盤となるものです。
- 採用ボリュームと速度 — ある企業や業界がどれだけの数の職種を掲載しているか、どれだけの速さで掲載しているか。これは拡大や縮小の先行指標です。
- 勤務地と働き方のモデル — 企業がどこで採用活動をしているか、そしてその職種がリモート、ハイブリッド、オンサイトのいずれであるか。
チームはこれを、採用・タレントソーシング(自分たちが仲介する職種をどの企業が募集しているか)、報酬・人事分析(職種と市場ごとの給与帯)、労働市場・人材調査(スキル需要と採用トレンド)、競合インテリジェンス(競合の採用状況からロードマップが見えてくる。これはオルタナティブデータにおける採用シグナルと重なります)、B2Bプロスペクティング(採用活動をしている企業はしばしば購買シグナルでもあります。B2Bリードジェネレーションのためのプロキシを参照)のために利用します。そのすべてが、その市場の本物のジョブシーカーが実際に目にするものを捉えることにかかっています。そして彼らが目にするものは、どこから検索しているように見えるかに完全に左右されます。
なぜこれがプロキシの問題なのか
求人データが持つ3つの性質により、その収集はプロキシ層に直結する問題となります。
求人結果はジオサーブされる。 求人サイトは検索者の所在地に合わせて掲載内容を調整します。同じクエリでも、国や都市が異なれば異なる職種、異なる給与の文脈、異なる結果セットが返され、多くのサイトは訪問者の検出された所在地をデフォルトとして使います。収集がすべて一箇所から行われている場合、ある一つの市場の求人データを測定しているにすぎないのに、それを普遍的なものとして扱ってしまうことになり、それはカバーしている他のすべての市場にとって単純に誤りです。ある市場の本物の求人情報と給与データを見るには、その市場から検索する必要があり、これはまさに都市レベルのターゲティングが役立つ場面です。
大手求人サイトは強力に防御している。 LinkedIn、Indeed、Glassdoor、その他主要な求人サイトは、積極的なボット対策システムを運用しています。データセンターのIPは一目でフラグを立てられ、CAPTCHA、ブロック、ログインウォールを課されます。つまり、あなたが記録するのはジョブシーカーが実際に見る求人情報ではなく、ボット向けバージョンです(スクレイパーがブロックされる理由にその仕組みが説明されています)。レジデンシャルIPは実ユーザーとしての信頼を備えているため、実際のジョブシーカーが得るのと同じ、完全で公開された求人情報を見ることができます。
速度とベンチマークには完全性が必要。 採用速度と給与ベンチマークは時系列データであり、同じ職種、企業、市場を時間をかけて一貫して測定する必要があります。多数の求人サイトと市場にわたってこれを収集するには、大量のリクエストが必要です。少数のIPからでは、レート制限に引っかかり、部分的で偏ったサンプルしか得られず、求人サイトが反発した箇所にちょうどギャップが生じます。それはまさに、ベンチマークを壊す不連続性です。
この3つすべてに対する解決策は同じです。各対象市場の本物のジョブシーカーのように見えるIPから、完全かつ継続的に収集することです。
レジデンシャルプロキシが役立つ場面
レジデンシャルプロキシは、リクエストを実際の一般消費者のIPを通してルーティングするため、求人サイトはあなたに対して、本物の現地ジョブシーカーに対するのと同じように応答します。求人市場データに特化して言えば、これにより以下が可能になります。
ボット向けバージョンではなく本物の求人情報。 レジデンシャルIPは実ユーザーとしての信頼を備えているため、疑わしいトラフィックに配信される劣化版・ブロック版・ログインウォール版ではなく、実際のジョブシーカーが目にする公開求人情報、給与レンジ、結果セットそのものを取得できます。
市場ごとの正確なカバレッジ。 国や都市レベルまでのジオターゲティングにより、各市場のジョブシーカーとして求人データを収集でき、米国の職種と給与は米国から、ドイツの求人はドイツから取得し、それぞれ収集地点でラベル付けできます。これにより、給与ベンチマークと採用トレンドデータは、単一の場所からの推測ではなく、市場ごとの本物の結果に基づくものになります。
完全かつ継続的な時系列データ。 大規模なローテーティングプールによりリクエストが分散されるため、ブロックされることなく、多数の職種を多数の求人サイトと市場にわたって時間をかけて追跡でき、採用速度やベンチマークの時系列データを断片的ではなく完全な状態に保てます(データ収集のためのレジデンシャルプロキシと同じ収集品質の原則がここにも当てはまり、ウェブスクレイピングでデータセットを構築する方法では結果の構造化について解説しています)。
簡単に言えば、レジデンシャルプロキシは「たまたま自社のオフィスが目にした求人」を「カバーするすべての市場で本物のジョブシーカーが目にする求人」へと変えます。
仕組み
Shifterのゲートウェイでは、プロキシのユーザー名に市場をエンコードすることでターゲティングを行います。エンドポイントは1つだけで、IPリストを管理する必要はありません。
# Collect job listings as a jobseeker in the UScurl -x customer-USERNAME-country-us:PASSWORD@p.shifter.io:443 https://job-board.example/search
# Narrow to a city when listings and pay are localcurl -x customer-USERNAME-country-de-city-berlin:PASSWORD@p.shifter.io:443 https://job-board.example/search広範かつ継続的な収集にはプールをローテーションさせ、ページネーションされた結果を通じて一貫したIDが必要な求人サイトのフローでは、スティッキーセッションを維持してください。同じゲートウェイでリクエストごとに異なるターゲティングを行い、チームが運用する収集・分析パイプラインに供給します。IPの品質が配信される内容を左右するため、IPレピュテーションを理解しておくことで、データセットをクリーンに保てます。たまにではなく一貫してブロックされる場合は、地域の問題ではなくIP品質やリクエストの挙動が原因です。スクレイピング時にブロックされないようにする方法を参照してください。
責任を持って利用する
これは求人データにとって最も重要な部分です。公開されている求人情報を収集するのであって、人を収集するのではありません。求人サイトは公開求人情報と、候補者プロフィール、履歴書、レビュアーの身元といった個人データを混在させており、その個人情報は収集対象として許容されません。公開求人情報と集計シグナルにとどめ、各求人サイトの利用規約とレート制限を尊重し、問い合わせ先のサイトを劣化させず、個人データには一切近づかないようにしてください。求人サイトの利用規約はしばしば厳格であり、個人データをめぐる法的状況も実際に存在します。ウェブスクレイピングは合法かを参照し、不確かな点については助言を得てください。プロキシはリクエストがどのIPから来るかを変えるだけであり、そのリクエストを行うべきかどうかを変えるものではありません。Shifterで許可されている内容については、利用規約が正式な基準です。
よくある質問
求人市場データになぜプロキシが必要なのですか? 求人サイトが所在地によって求人情報を配信し、ボットに対して厳重に防御しているためです。単一の所在地やデータセンターのIPからでは、ある一つの市場の求人(あるいはブロック・CAPTCHA・ログインウォール版)しか見えません。レジデンシャルプロキシを使えば、各市場の本物のジョブシーカーとして収集できるため、取得する求人情報と給与データは市場ごとの本物のものになります。
求人データは本当に市場ごとにそんなに変わるのですか? はい。掲載される求人セット、給与の文脈、さらにはどの職種が表示されるかまで、国や都市によって異なり、求人サイトはしばしば検索者の所在地をデフォルトとします。一箇所から収集すると、ある一つの市場の答えしか得られず、他のすべての場所については実態と異なるものになります。
この方法で候補者プロフィールや履歴書を収集できますか? できません。それは個人データであり、対象外です。求人市場データとは、公開されている求人情報と集計された採用シグナルを指すのであって、個人の私的情報ではありません。収集は公開求人情報にとどめ、個人データに関わるものについては法的助言を受けてください。
求人サイトにはレジデンシャルプロキシとデータセンタープロキシのどちらを使うべきですか? レジデンシャルです。大手求人サイトはデータセンターのIPを検知し、異なる扱いをするため、データセンターを使うとブロック、CAPTCHA、ログインウォールに直面します。レジデンシャルIPは、本物のジョブシーカーが見るのと同じ、本物の、公開された、地域ごとに正確な求人情報を見ることができます。
求人情報をスクレイピングするのは合法ですか? 公開されている求人情報は一般的に公開向けのデータであり、規約とレート制限を尊重し、個人データを避けるなど責任を持って行う限り、収集自体は概ね問題ありません。個人データに関わる側面は法的に微妙になる部分です。プロキシは基盤となる行為の合法性を変えるものではないため、不確かな点については法的助言を得てください。
結論
求人情報は採用、報酬、市場インテリジェンスにとって宝の山ですが、それは本物のジョブシーカーが目にするデータである場合に限ります。求人サイトは所在地によって求人情報を配信し、ボットに対して厳重に防御しているため、一つのオフィスのIPから収集すると、ある一つの市場の断片を全体像として装ったものしか得られません。これを正しく行うには、各対象市場の本物のジョブシーカーとして、完全かつ継続的に収集する必要があり、これこそがレジデンシャルプロキシが提供するものです。本物の公開求人情報、地域ごとに正確なカバレッジ、そしてブロックされることのない、速度とベンチマークのための途切れない時系列データです。
チームが採用や労働市場データを扱っているなら、品質の高いレジデンシャルプロキシネットワークは、データセットを正確かつ完全にし、公開求人情報を責任を持って収集するためのアクセス層となります。プールの品質がそのカバレッジの完全性を左右するため、評価する際にはIPレピュテーションを理解しておく価値があります。料金ページには、あなたにとって重要な求人サイトや市場に対して試してみるためのGB単位のプランが掲載されています。