博客
指南、教程与 洞见
从 Shifter 团队了解住宅代理、网页抓取、数据采集策略及行业最佳实践。
知识
知识 3 分钟阅读
从请求到容量:如何在不靠猜测的情况下预测住宅代理带宽
通过实测传输大小、重试次数、地区、设备和增长场景来预测住宅代理带宽。包含公式和实例演算。
数据抓取
数据抓取 1 分钟阅读
《数字服务法》正在将网络观察转变为监管基础设施
《数字服务法》的数据访问权限正在重塑平台研究方式。了解为何受控网络观察与地理观测点对问责制至关重要。
住宅代理
住宅代理 2 分钟阅读
你的住宅代理池只是一个样本,而非整个互联网
庞大的住宅代理池并不能保证数据具有代表性。了解采样设计如何减少数据采样偏差。
住宅代理
住宅代理 2 分钟阅读
廉价住宅代理背后的恶意软件经济:企业买家须知
源自恶意软件的住宅代理可能带来合规、安全和运营风险。了解企业买家在采购前应核实的事项。
数据抓取
数据抓取 1 分钟阅读
如何分析竞争对手的品类结构与产品目录缺口
品类分析首先是一个匹配问题,其次才是比较问题。如何枚举产品目录、诚实地匹配产品,并将真正的缺口与噪音区分开来。
数据抓取
数据抓取 1 分钟阅读
如何追踪竞争对手的促销活动与折扣周期
促销活动是有始有终的事件,而价格快照两端都会错过。如何将促销活动记录为事件,并还原竞争对手的日程安排。
使用场景
使用场景 1 分钟阅读
跨境卖家的选品比价:1688、淘宝与拼多多的数据采集要点
跨境选品需要把国内供货价与海外售价放在同一张表里比较。本文说明如何稳定采集 1688、淘宝和拼多多的价格与库存数据。
知识
知识 1 分钟阅读
如何从公开来源构建人才图谱和组织架构数据
基于公开来源的组织架构图是一种带有置信水平的模型,而不是泄露的文件。哪些来源具有真正的结构性信号,以及界限所在。
数据抓取
数据抓取 1 分钟阅读
抓取社交平台数据进行情感分析而不被封禁
封禁不仅会让你损失数据,还会使情感得分所依据的样本产生偏差。如何可持续地采集社交数据并衡量其中的缺口。