Elena Petrova
数据科学
Elena撰写数据研究与基准测试,以及关于采集数据质量的内容:如何衡量、清洗数据,并构建经得起检验的数据集。
撰写主题
- 数据研究与基准测试
- 数据质量
- 数据集构建
Elena Petrova的文章
-
2026年11月10日 · 知识
作为数据源的网络档案:时光机能告诉你什么,不能告诉你什么
时光机已收录超过一万亿次快照。如何查询它,它的覆盖范围和质量存在哪些不足,以及为何越来越多的网站开始将其拒之门外。
-
2026年11月6日 · 知识
Common Crawl:何时免费爬取数据足够,何时需要自建爬虫
Common Crawl 每月免费发布数十亿个网页。它包含哪些内容,遗漏哪些内容,如何检查你的数据源是否在其中,以及何时需要自行爬取。
-
2026年11月5日 · 知识
同一产品,不同价格:20个国家的地域价格歧视
我们在同一天比较了10款游戏在20个国家的标价。同一款游戏在某个市场的价格最高相差4.1倍。数据、方法与陷阱。
-
2026年11月3日 · 知识
维基百科敦促AI公司使用其付费API,停止抓取行为
维基百科要求AI公司注明来源并使用Wikimedia Enterprise,随后收紧了限制。发生了哪些变化,以及获取数据的正确途径。
-
2026年10月31日 · 知识
2026 年被抓取最多的网站:30 天网页抓取快照
2026 年哪些网站被抓取得最多?我们汇总了 8,186 个现成抓取器、2.398 亿次运行的 30 天公开使用数据,并按需求和运行成功率对目标网站进行排名。
-
2026年10月29日 · 知识
为 LLM 采集多语言和地区性网页数据
如何为 LLM 训练采集多语言和地区性网页数据:按语言规划覆盖范围、寻找本地来源、获取正确的本地版本、识别语言、按语言过滤,并平衡数据配比。
-
2026年10月26日 · 知识
AI 训练数据市场与授权:何时购买,何时自行采集
AI 训练数据市场和授权交易如何运作,授权数据的真实成本是什么,以及决定何时购买数据集、何时自行采集的实用框架。
-
2026年10月24日 · 知识
AI训练流程中的数据溯源:证明你的数据集来源
AI训练数据溯源在实践中的含义:每份文档需要保留的记录、欧盟AI法案摘要的要求,以及如何将其贯彻始终。
-
2026年10月19日 · 数据抓取
重试经济学:重试不再划算的那个尝试次数
每一次重试成功的概率都比上一次更低。如何利用你自己的日志和几行 Python 代码,衡量重试何时不再划算。
-
2026年10月15日 · 住宅代理
住宅代理池中的ASN多样性:如何衡量
一个用于衡量代理池ASN多样性的免费Python脚本:最大网络占比、HHI及有效ASN数量,以及我们对17个网络的基准测试发现。
-
2026年10月11日 · 知识
验证码能阻止机器人吗,还是只是拖慢它们?衡量威慑力与破解率
二十年的研究表明验证码的真相:人类需要花多长时间,机器人和AI代理的破解率有多高,以及为什么它们如今更像是一种成本手段。
-
2026年10月8日 · 数据抓取
有效载荷效率:抓取的页面中有多少是你花钱买的样板内容
我们测量了来自前1000个网站的278个内容页面。你想要的文本大约占HTML的1%,只是浏览器下载内容中极小的一部分。
-
2026年10月7日 · 住宅代理
Shifter现已拥有最大的美国住宅IP活跃池
我们再次对Shifter进行了住宅代理基准测试:在250,000次请求中发现212,212个活跃美国IP,是我们测量的17个网络中最大的美国活跃IP池。