Elena Petrova
データサイエンス
Elenaはデータ調査とベンチマーク、そして収集データの品質について執筆しています。測定方法、クリーニング方法、そして実用に耐えるデータセットの構築方法についてです。
執筆テーマ
- データ調査とベンチマーク
- データ品質
- データセット構築
Elena Petrovaの記事
-
2026年11月10日 · ナレッジ
データソースとしてのウェブアーカイブ: Wayback Machineでわかること、わからないこと
Wayback Machineは1兆件を超えるキャプチャを保有している。その検索方法、カバレッジと品質が不十分な点、そして近年より多くのサイトがアクセスを拒否するようになった理由について。
-
2026年11月6日 · ナレッジ
Common Crawl: 無料のクロールで十分な場合、自前が必要な場合
Common Crawlは毎月数十億ページを無料で公開している。そこに何が含まれ、何が含まれないか、対象サイトが収録されているかを確認する方法、そして自前でクロールすべき場合について。
-
2026年11月5日 · ナレッジ
同一製品、異なる価格:20カ国における地理的価格差別
20カ国で10本のゲームの定価を同じ日に比較した。同じゲームが、ある市場では最大4.1倍の価格になっていた。データ、手法、注意点を紹介する。
-
2026年11月3日 · ナレッジ
WikipediaはAI企業に有料APIの利用を促し、スクレイピングの中止を求めている
WikipediaはAI企業に帰属表示とWikimedia Enterpriseの利用を求め、その後制限を強化した。何が変わったのか、そしてデータへの適切なアクセス方法を解説する。
-
2026年10月31日 · ナレッジ
2026年に最もスクレイピングされているWebサイト:30日間のWebスクレイピング・スナップショット
2026年に最もスクレイピングされているサイトはどこか。既製スクレイパー8,186個と2億3,980万回の実行について30日分の公開利用データを集計し、需要と実行成功率でターゲットをランキングしました。
-
2026年10月29日 · ナレッジ
LLM向けに多言語・地域別のWebデータを収集する方法
LLMの学習用に多言語・地域別のWebデータを集める方法:言語ごとのカバー範囲の計画、現地ソースの発見、正しい現地版の取得、言語判定、言語別フィルタリング、配合バランスの調整を解説します。
-
2026年10月26日 · ナレッジ
AI学習データのマーケットプレイスとライセンス:購入すべきか、自分で収集すべきか
AI学習データのマーケットプレイスとライセンス契約の仕組み、ライセンスデータに実際にかかるコスト、そしてデータセットを購入すべきときと自分で収集すべきときを判断するための実践的なフレームワークを解説します。
-
2026年10月24日 · ナレッジ
AIトレーニングパイプラインにおけるプロベナンス:データセットの出所を証明する
AIトレーニングデータのプロベナンスが実務で意味すること:すべてのドキュメントについて保持すべき記録、EU AI Actのサマリーが求める内容、そしてそれを一貫して引き継ぐ方法。
-
2026年10月19日 · スクレイピング
リトライの経済学:リトライが割に合わなくなる試行回数
リトライを重ねるごとに成功率は下がっていきます。自分のログと数行のPythonを使って、リトライが割に合わなくなるポイントを見極める方法。
-
2026年10月15日 · レジデンシャルプロキシ
レジデンシャルプロキシプールにおけるASNの多様性: その測定方法
プロキシプールのASN多様性を測定する無料のPythonスクリプト:上位ネットワークのシェア、HHI、実効ASN数、そして17ネットワークのベンチマークで分かったこと。
-
2026年10月11日 · ナレッジ
CAPTCHAは本当にボットを止めるのか、それとも遅らせるだけなのか? 抑止力と解読率の測定
CAPTCHAに関する20年間の研究が示すこと。人間が費やす時間、ボットやAIエージェントが解読する頻度、そしてCAPTCHAが今やコストとして機能する理由。
-
2026年10月8日 · スクレイピング
ペイロード効率:スクレイピングしたページのうち、費用を払って取得した定型文はどれくらいの割合か
上位1,000サイトから278件のコンテンツページを測定した。欲しいテキストはHTMLの約1%にすぎず、ブラウザがダウンロードするデータ全体の中ではごくわずかな割合にとどまる。
-
2026年10月7日 · レジデンシャルプロキシ
Shifterが現在、米国レジデンシャルIPプールで最大のライブプールを保有
Shifterをレジデンシャルプロキシのベンチマークで再検証した結果、250,000リクエスト中212,212件がライブの米国IPで、測定した17社のネットワークの中で最大のライブ米国プールとなった。