AIクローラーとスクレイパーが一般的な無効トラフィックの86%増加に寄与

DV Fraud Labの新しい調査によると、2024年後半には、インターネット上で一般無効トラフィック（GIVT）の割合が大幅に増加し、前年比で86%増加し、正確にはほぼ2倍になりました。2024年第4四半期は、月間のGIVT量が20億件以上の広告リクエストに達した初めての時期でもあります。当社のデータによると、この成長パターンは2024年下半期を通じて続いており、2024年12月のGIVT率は2023年12月と比較して約70%増加しています。

では、この増加の要因は何でしょうか？DVデータによると、この増加は、ウェブコンテンツを収集・分析するAI搭載のクローラーやスクレイパーの普及と強く相関していることが分かりました。GIVTは、不正な無効トラフィック（SIVT）のような本質的な悪意のあるものではなく、業界標準や規制によりGIVTによる無駄な広告費から広告主は保護されていますが、正確な測定には有害な結果をもたらす可能性があります。そのため、広告主はキャンペーンのパフォーマンスを向上させ、予算配分を最大限に活用するために、GIVTとSIVTの両方を測定し、回避することが重要です。

GIVTが注目に値する理由、生成型AIがその成長を促進した理由、そして業界がその影響を軽減するためにどの様な対策を講じることができるかを見ていきましょう。

GIVTを理解する：なぜ重要なのか

GIVTは、検索エンジンのクローラー、クリエイティブ監査用ボット、ストレス・テスト用ボット、AIスクレイパー、その他の合法的な目的で使用される自動化ツールなど、一般的なフィルタリング手段を使用して特定できる無効トラフィックです。広告の重複掲載やドメインスプーフィング（なりすまし）などの不正行為を含むSIVTとは異なり、GIVTには通常、悪意がありません。実際、インタラクティブ・アドバタイジング・ビューロー（IAB）とメディア・レーティング・カウンシル（MRC）は、無駄な広告費から広告主を保護するための強固な業界基準と規制を規定しています。MRCは、GIVTを含む無効トラフィックの識別とフィルタリングの基準を定義するガイドラインを策定しており、IABは、これらの基準を実装する方法を概説した詳細な文書を提供しています。パブリッシャー、プラットフォーム、DVのようなベリフィケーションベンダーは、これらのガイドラインに従うことが義務付けられています。その結果、広告がGIVTボットに配信された場合、業界標準では、このトラフィックはレポートから除外され、広告主にはそのインプレッションに対して課金されないことになっています。

しかし、GIVTを放置すると、キャンペーンの評価指標が歪められ、インプレッション数が水増しされ、相違点に関する懸念が生じる可能性があります。そのため、デジタル広告の信頼性と透明性を維持するためには、GIVTの正確な検出と除外が不可欠です。DVは、広告主が課金対象外のトラフィックを管理できるよう、入札前フィルタリングや入札後ブロックなどのソリューションを提供しています。

どうやって生成AIがGIVTを増加させているか

近年、生成AIツールの急速な普及により、AI駆動のクローラーやスクレイパーが大幅に増加しています。 ユーザーの行動をシミュレートするように設計されたこれらのツールは、機械学習モデルのトレーニングや市場動向の収集などの目的で、企業や研究機関、さらには独立系開発者によって広く使用され、貴重なデータを抽出しています。 これらの活動は、実在の人間の関与のないインプレッションを生成することでトラフィック指標を膨らませ、GIVTの増加に寄与する可能性があります。

実際、DVデータによると、2024年に確認されたボットによるインプレッションから発生したGIVTの16%は、GPTBot、ClaudeBot、AppleBotなどのAIスクレイパーに関連するものによって生成されたものでした。一部の GIVT ボットは、Meta AI ボットや AppleBot のように、AI のトレーニングに専念していることを自ら宣言していますが、他のクローラーはさまざまな目的を兼ねています（例えば、検索と AI の両方を代表する GoogleBot など）。この区別は、全体的な増加におけるさまざまな GIVT ボットの相対的なシェアに影響を与えます（例えば、AppleBot の現在の影響は、一部のパブリッシャーがスクレイピングからオプトアウトするという決定によるものです）。

以下のチャートは、2024年12月にGIVTを誘発した主要なクローラーとスクレイパーの相対的な割合を示しています。これは、既知のボットによるインプレッションを測定したものです。

以下では、2024年のAIベースのスクレイピングの全体的な増加が見られます。これにより、広告主がキャンペーンでGIVTを測定し、把握する必要性が高まります。

GIVTを超えて：巧妙なクローラーの増加への取り組み

2024年にGIVTの増加に影響する透明性の高い自己申告型スクレイパーと並行して、個人や組織が意図的に実在の人の訪問者のふりをして運用する、より巧妙なスクレイパーも存在しました。DVは、その行動やデジタル・テレメトリーに基づいて、不明瞭なスクレイパーやクローラーを継続的に特定しています。これらのスクレイパーによる不正なインプレッションは、DV Fraud LabではScorpio詐欺スキームとしてよく知られているSIVTボット詐欺に分類される可能性があります。

以下のチャートは、クローラーとスクレイパーによるトラフィックに焦点を当て、SIVTとGIVTの2024年上半期の傾向を示しています。これらのチャートは、米国の選挙が近づくにつれ、SIVTクローラー（Scorpio不正スキームに関連）とGIVTクローラー（ヘッドレスブラウザから操作）の両方が増加したことを示しています。こうした動きは第4四半期も増加し続け、米国の主要なショッピングホリデーには急増しました。これは、良性および悪性の両方のクローラー/スクレイパートラフィックに典型的な動きです。 Scorpio スキームのような SIVT ボットの場合、Retail Media Networks は、これらの不正なボットを回避することが難しいため、トラフィックへの影響を受ける可能性があります。

下のグラフは、米国大統領選挙の日に、Scorpio クローラーボットによる SIVT 詐欺が急増したことを示しています。

また、選挙に向けて GIVT でも同様の急増が見られます。

DV による GIVT の監査、測定、ブロック方法

DVでは、入札プロセス前後においてGIVTに包括的に対処するためのソリューション一式を提供しています。DVは、MRCから、すべての統合パートナーにおける入札前IVT検出、およびデスクトップ、モバイルウェブ、モバイルアプリ、CTV環境における入札後GIVTおよびSIVTの防止と測定について認定を受けています。この認定の一環として、DVは独立した第三者機関による年次監査に参加しています。以下は、当社が実施している主な手順の一部です：

TAGとIABのリストを活用

DVは、GIVTを特定するための標準リソースとして広く受け入れられているTAG Data Center List、IAB Known Browsers、およびIAB Spiders and Bots Listを積極的に使用しています。DVは、TAGとIABのチームおよびTech Labの貢献者および協力者として、自動化されたトラフィックの最新動向を反映し、その正確性と関連性を高めることに貢献しています。

独自のフィルタリング手法の維持

IABのリストに加え、DVは長年にわたるデータ収集と分析に基づいて構築された独自のGIVTフィルタリング手法を適用しています。この手法は、SIVT検出プロセスを補完し、あらゆる種類の無効トラフィックを包括的にカバーします。

入札前および入札後のソリューションの提供

DVは、入札前および入札後の両方でGIVTに対処するための幅広いソリューションを提供しています。

入札後、弊社のツールは詳細なレポートとインサイトを広告主に提供し、広告主はキャンペーンへのGIVTの影響を特定し、軽減することができます。現在、DVとIVTの契約を結んでいるすべてのクライアントは、入札後にGIVTレポートを受け取ります。

入札後のGIVTをモニタリングで追跡（DVのプラットフォーム向けプログラマティック分析UIのスクリーンショット例）

入札後の測定は貴重なインサイトを提示しますが、入札前の費用をダイナミックに最適化することはできません。一部のベリフィケーションベンダーは、チャネル限定の入札後測定のみを提供しており、広告配信の事前最適化はできません。より洗練された広告主は、チャネル全体にわたる入札前のソリューションを通じて、無効なインプレッションや不適切なコンテンツを回避することで、無駄を削減しようとしています。

DVは、GIVTの入札前回避ソリューションを最初に提供したベリフィケーション企業として業界標準を確立し、メディアバイイングプラットフォームがサポート可能であれば、広告主がGIVTを回避できるよう支援しています。MRCはGIVTを費用が発生したカウントや指標から除外することを求めており、また業界ガイドラインへの準拠の一環として、DVは広告主が不整合を検証できるよう、関連する公開レポートを提出しています。以下は、DVのGIVTに関する公開レポートのスクリーンショットです。モニタリングとブロック用です：

MRCの要件を上回る入札後GIVTブロックは、さらなる柔軟性を提供します。これらのソリューションは、こうしたトラフィックの大部分を回避したい広告主に対して、さらなる防御のレイヤーを提供し、広告配信コストの最適化や、サードパーティの測定プロバイダーへの手数料の支払いを不要にします。新しいクローラーやボットが絶えず出現しているため（IABのリストよりも速いペースで）、一部のGIVTは即座に回避できない場合もありますが、当社の入札前ソリューションは入札が行われる前に、そのようなトラフィックの大部分を防止します。

入札前および入札後の両方のソリューションを活用することで、DVは広告主のキャンペーンの効率と効果を最大限に高め、広告費が確実に本物で質の高いインプレッションに費やされるようにします。

広告主が考慮すべき追加事項

DVサービスを導入すれば、業界標準のリソースが自動的にすべて組み込まれるため、GIVTを回避することができます。しかし、広告主は以下の点についても考慮する必要があります。

1. キャンペーン設定の最適化

DVはGIVTを回避する強力な機能を提供していますが、広告主様がキャンペーン設定を積極的に確認し、最適化することが重要です。GIVTとSIVTのブロックが適用される場合は、確実に有効にしてください。オプションが利用可能であっても、すべてのキャンペーンがGIVTの入札前ブロック用に設定されているわけではありません。

2. プラットフォームの制限を理解する

一部のメディアバイイングプラットフォームでは、現在GIVTの入札前回避がサポートされていない場合があります。また、DVの提携パートナーを通じてブロックやフィルタリングは可能ですが、GIVT回避の有効性は各メディアバイイングプラットフォームの機能に依存します。ユーザーエージェントの検出をサポートするプラットフォームは、GIVT を事前にフィルタリングする機能が優れています。 デマンドサイドプラットフォーム（DSP）は、DV が提供するインテグレーション仕様に従い、定義されたレイテンシおよびロジック要件を遵守する責任があります。 DSP が DV データを迅速に取得できなかったり、ロジックを正しく実装できなかったり、更新されたロジックの仕様を採用しない場合、プレビッド回避の精度に影響します。

ユーザーエージェントストリングは、広告リクエストを行うブラウザ、オペレーティングシステム、デバイスに関する重要な詳細情報を提供し、無効なトラフィックの特定に役立ちます。プラットフォームがユーザーエージェントの検出機能を欠いていたり、優先順位を付けていなかったりすると、特定の種類のGIVTが検知を逃れる可能性があります。一部のプラットフォームは、ADID（Advertising ID）とIPのみのフィルタリングに依存することで十分な効果を上げていますが、ユーザーエージェントの検出機能を追加することで、入札前のフィルタリングが強化され、GIVTに対するより強固な保護が実現します。

広告主は、これらの制限についてアドテクパートナーに積極的に問い合わせ、入札前GIVT回避を完全にサポートするプラットフォームとの連携を優先すべきです。

3. インクルージョンリストでGIVTの課題に対処

一部のメディアバイイングパートナーは、インクルージョンリストのみのアプローチを推奨したり、主にログファイル分析のような入札後測定方法に頼る場合があります。これらの方法は、特に新しい形態がリアルタイムで出現する場合には、GIVTに積極的に対処することができません。インクルージョンリスト内の信頼性の高いパブリッシャーであっても、GIVTは無効トラフィックの主要な要因であり続けます。IABとTAGのリストは貴重なリソースですが、GIVTボットの全範囲をカバーしているわけではありません。このことは、DV独自のGIVT識別と、広告主がGIVTを事前にブロックできる入札前機能の重要性を浮き彫りにしています。この機能は、追加の保護レイヤーを提供します。

今後の展望

デジタル環境が進化するにつれ、無効トラフィックに関連する課題も変化してきます。AIを搭載したボットやスクレイパーの増加により、継続的な警戒とイノベーションの必要性が浮き彫りになっています。DVは今後も、広告主がGIVTを効果的にコントロールするために必要なツールとインサイトを広告主に提供し、すべてのキャンペーンが正確で信頼性の高い結果をもたらすよう努めてまいります。

本記事は、DVのTransparency Centerの一部です。これは、DVのテクノロジーと測定について業界に啓蒙することを目的とした専用ポータルです。主要な問題について詳細な説明、洞察、タイムリーな声明を提供することで、デジタル広告エコシステムにおける信頼と透明性を促進することを目指しています。