ISPプロキシは通常、IPごとに、月単位で購入するため、購入ミスに対して非常に厳しいものになります。誤ったロケーションを選んだり、IPの数を誤ったり、実際にはレジデンシャルではないアドレスを購入したりすると、気づくまで毎回の請求サイクルでそのミスの代償を払い続けることになります。
こうしたミスのほとんどは、購入前の少しの準備と、最初の数日間でのいくつかの確認によって避けられます。このガイドでは、最初に決めるべきこと、確認すべきこと、注意すべき価格の罠について解説します。私たち自身もISPプロキシを販売しているため、自社製品がどこに当てはまるかについても触れますが、以下のチェックはすべてのプロバイダーに当てはまります。
First, make sure ISP proxies are what you need
ISPプロキシは、選択したロケーションにあるレジデンシャルインターネットプロバイダー上で、数週間から数か月にわたって安定したアドレスを提供します。これは、限られた種類の用途に適したツールです。
- 管理しているアカウントに、日々継続してログインし続けること。
- 数分ではなく数時間続くセッション。
- 特定の都市とプロバイダーからサイトがどのように見えるかを確認すること。
多数のサイトから多数のページを収集する場合は、通常ローテーティングのレジデンシャルプールの方が安価で効果的であり、対象によってはそもそもプロキシが不要な場合もあります。ISPプロキシとレジデンシャルプロキシの比較では両者の使い分けを解説しており、レジデンシャルプロキシが不要な場合では、どちらも必要ない場合について解説しています。
Decide three things before you shop
1. How many IPs. リクエスト数ではなく、アイデンティティの数を数えてください。各アカウント、各ストア、各ワーカーがそれぞれ別の世帯のように見えるべきであれば、アイデンティティごとに1つのIPが必要です。「念のため少し多めに」買うことが、小さなプランを大きな請求額に変えてしまう原因になります。アカウントを追加するときにIPを追加してください。
2. Which locations, and how precise. 各アイデンティティがどこにいるように見せたいかを書き出してください。国だけで十分な用途もあります。アカウント運用では通常、そのアカウントが普段ログインする都市が必要です。広告やローカライズの確認では、その都市の特定のインターネットプロバイダー(ASN)が必要になることもあります。国単位でしか販売していないプロバイダーは、都市とISPの両方が必要な場合には不向きです。
3. How long. 作業が1週間で終わるなら、月単位のIPごとのプランは節約額より割高になる可能性があります。無期限に続くのであれば、入門価格よりも安定性とサポートの方が重要になります。
What to check during a trial or refund window
価格ページに書かれている主張は、言うのは簡単です。以下のチェックは1時間程度で終わり、実際に何を購入したのかを教えてくれます。
Is it really residential? 「ISPプロキシ」は、ホスティング会社ではなく、コンシューマー向けのインターネットプロバイダーから出口を持つべきです。各出口IPのネットワークを調べてください。結果にデータセンターの所有者が出てくる場合、サーバーアドレスにレジデンシャル価格を支払っていることになります。
Is it where you were promised? 各出口の国と都市を、注文した内容と照合してください。
How spread out are the addresses? 大半のIPが同じ小さなアドレスブロックに収まっている場合、確認を行う側のサイトからは関連性があるように見え、1つのブロックに関する判断がすべてに影響を及ぼす可能性があります。
以下のスクリプトは、無料のIPジオロケーションAPIであるip-info.comを使用して、トライアル用プロキシのバッチに対してこれら3つのチェックを自動化します。このAPIはネットワークと、それがレジデンシャルかホスティングかを報告します。
from collections import Counter
import requests
def inspect(proxy_url, get=requests.get):
"""Where does this proxy really exit, and on what kind of network?"""
info = get("http://ip-info.com/json", proxies={"http": proxy_url, "https": proxy_url}, timeout=20).json()
return {k: info.get(k) for k in ("ip", "city", "country", "asn", "as_name", "user_type", "connection_type")}
def audit(proxies, expected_country, get=requests.get):
"""Check a batch of trial proxies before you commit to a provider."""
exits = [inspect(p, get) for p in proxies]
subnets = Counter(".".join(e["ip"].split(".")[:3]) for e in exits)
return {
"proxies": len(exits),
"not_residential": [e["ip"] for e in exits if e["user_type"] != "residential"],
"wrong_country": [e["ip"] for e in exits if e["country"] != expected_country],
"distinct_asns": len({e["asn"] for e in exits}),
"largest_subnet_share": round(max(subnets.values()) / len(exits), 2),
}3つのプロキシ(2つはレジデンシャル、1つは誤った国のデータセンターアドレスであることが判明したもの、これは例示です)に対して実行すると、次のように報告されます。
from verify_isp import audit
trial = [
"http://USER1:PASS@isp.example.com:443",
"http://USER2:PASS@isp.example.com:443",
"http://USER3:PASS@isp.example.com:443",
]
print(audit(trial, expected_country="US")){'proxies': 3, 'not_residential': ['198.51.100.5'], 'wrong_country': ['198.51.100.5'], 'distinct_asns': 2, 'largest_subnet_share': 0.67}Does it hold up over a few days? 実際のワークロードを実際のペースで、いくつかのIPを通して実行してください。接続エラー、応答の遅さ、ログインに対するサイトのチャレンジに注意してください。1日の午後だけのテストでは、3日目に現れる問題は隠れたままになります。
Can you get help? トライアル期間中に、具体的な技術的質問をサポートに投げかけてみてください。回答の速さと質は、次に障害が起きたときの予行演習になります。
Pricing traps
| Trap | What it looks like | What to ask |
|---|---|---|
| 「無制限」プランの帯域制限 | IPごとの価格に加え、小さな文字でトラフィック上限が書かれている | このプランで帯域は何らかの形で計測されますか? |
| ロケーション追加料金 | 広告価格が一部の国にしか適用されない | 各ロケーションの料金はいくらですか? |
| 最低契約期間 | 低い月額料金だが長期契約が必要 | 月単位での解約やダウングレードは可能ですか? |
| 交換回数の制限 | 不良なIPを交換できる回数に上限がある | 動作しなくなったIPはどのように交換しますか? |
| 使っていないIPへの支払い | 開始されなかったアカウント用に購入したIP | 先に買わずに、後からIPを追加できますか? |
アドレスが時間とともにどう振る舞うかも確認してください。アドレスが決して変わらないと約束するプロバイダーもあれば、私たちを含め、都市とプロバイダーは固定したまま、その背後にあるアドレスが家庭の回線のように時折更新される場合もあります。どちらが正しいというわけではありませんが、自分の構成が購入したものと一致している必要があります。長時間セッションと永続ログインのためのISPプロキシ設定のガイドでは、それに合わせた構築方法を紹介しています。
Questions about sourcing
ISPおよびレジデンシャルのアドレスにはどこかに出所があり、プロバイダーがそれをどう調達しているかは、信頼性にも自分自身のリスクにも影響します。アドレスがどこから来ているのか、ネットワークの所有者や利用者がその仕組みに同意しているのか、プロバイダーが不正利用にどう対処しているのかを尋ねてください。プロバイダーが倫理的にレジデンシャルIPを調達する方法の解説では、尋ねる価値のある質問と期待すべき回答を紹介しています。
Where Shifter fits
参考までに、私たち自身のISPプロキシが上記の質問にどう答えるかを示します。
- IPごとの販売で、帯域は無制限です。
- 120か国にわたり、IPごとに都市とISP(ASN)を選択できます。
- プランは4IPから始まり、最大200IPまで用意されているため、必要なアイデンティティの数に近い数を購入できます。
- 1つのホストとポートでHTTP(S)とSOCKS5の両方に対応しています。
- 初回購入には3日間の返金保証があり、これが本ガイドのチェックを行うための期間になります。
現在の価格はISPプロキシの価格ページに掲載されています。
FAQ
How many ISP proxies do I need?
別の世帯のように見えるべきアイデンティティごとに1つ、つまりアカウント、ストア、長時間稼働するワーカーごとに1つです。現在持っているアイデンティティの分だけ購入し、成長に合わせて追加してください。
How can I tell whether ISP proxies are really residential?
各出口IPの背後にあるネットワークを調べてください。本物のISPプロキシはコンシューマー向けインターネットプロバイダーから出口を持ちます。ホスティングやデータセンターのネットワークである場合、製品名が何であれ、それはレジデンシャルではありません。
Are ISP proxies worth it for web scraping?
長時間セッション、ログイン、特定ロケーションの確認には価値があります。多数のサイトから多数のページを収集する場合は、通常ローテーティングレジデンシャルプロキシの方が費用対効果に優れます。
What should I test before committing to a provider?
各出口がレジデンシャルかどうか、注文したロケーションにあるかどうか、アドレスがどれだけ分散しているか、実際のワークロードで数日間どのように動作するか、そしてサポートが技術的な質問にどれだけ的確に答えるかです。
The bottom line
価格を見る前に、必要なアイデンティティの数、それぞれがどこにあるべきか、どれくらいの期間必要かを決めてください。トライアルまたは返金保証期間を利用して、すべてのIPがレジデンシャルであり、正しい場所にあり、密集していないことを確認し、実際のワークロードを数日間実行してください。価格については、帯域制限、追加料金、最低契約期間を確認してください。最初の1時間のチェックは、誤ったIPに1年間支払い続けるコストよりもはるかに小さなコストで済みます。