クラウドフレア、AI検索時代にクリエイター主導権と収益化を支援

Cloudflare(クラウドフレア)は、「エージェンティックインターネット」の発展に向けた新たな取組みを発表した。

この取組みは、WebサイトのオーナーとAI企業の橋渡しをするための新たな分類体系をはじめ、強化された分析機能や、業界の定義を革新するというパートナーシップで構成。これらにより、Webサイトがより発見されやすくなるようオーナーやAI企業をサポートし、「効率性」と「収益性」を最適化すると謳う。こうした新しい基盤の構築で、クラウドフレアは「社会全体に利益をもたらす、健全で調和がとれた『エージェンティックエコノミー』の構築に貢献する」としている。

AIが入口になる時代　コンテンツに「主導権」

新たな取組みの背景として、インターネットトラフィックの性質の変化が挙げられている。現在、すべてのWebリクエストの半数以上は自動化されたエージェントとボットによるもので、AIは情報へのアクセスとオンライン上での商取引の“新たなインターフェース”になりつつあり、「コンテンツの発見に関するルールも変わりはじめている」と指摘する。

多くのWebサイトのオーナーが、自身のコンテンツがAIシステムに取り入れられることを期待する一方、広告やサブスクリプションが収益源の企業にとって、自社のコンテンツがAIシステムの学習に無料で利用されることは脅威になる。

クラウドフレアは、AIにコンテンツを提供したい場合、簡単かつ効率的にすべきと指摘。一方で、それを望まない場合に向け、AIのアクセスを制限するツールを提供する。

新たなデフォルト分類のテストを実施し、インサイトを提供、AI検索の高速化を図り、「クリエイターのコンテンツがAIの回答生成に利用される場合は、クリエイターが確実に報酬を得られる仕組み」を整える方針。

「目指しているのは、公平な競争環境」とし、Webクローリング効率を最適化すると同時に、知的財産を保護し、「クリエイターとAIの双方が共栄できる『エージェンティックエコノミー』を実現する」としている。

クラウドフレアは、コンテンツクリエイターが主導権を取り戻す「防御」がテーマの2025年の取組みから進化し、今後は「制御」「透明性」「収益化」を新たなテーマに掲げている。

用途をボカした“複合型クローラー”を排除

“透明性が高いAI企業”は現在、ボットの意図を検索用、エージェント利用、学習用という形で明確に区分して運用している。一方で、用途複合型のボットも存在しており、それらは複数の意図を混在させたままクローリングを行なっているという。

クラウドフレアは、こうした複合型ボットの存在が、サイトオーナーにとっても“透明性の高いAI企業”にとっても「非常に迷惑な存在」になっていると指摘。今後2カ月間にわたってテストを実施し、9月15日を期限として“新たなデフォルト設定”と分類を最終決定する。

2026年9月15日以降、新規のCloudflareユーザーと既存ユーザーの新規サイトでは、「広告を掲載しているページに関しては、検索は許可するが、学習とエージェント利用をブロックする」設定がデフォルトになる予定。

用途複合型クローラーは、Webサイトのオーナーに対して検索用、エージェント利用、学習用のクローリング可否の選択権を提示しない場合、広告を掲載しているすべてのページでブロックされる。これらの設定はダッシュボードでいつでも変更可能としている。

現在クラウドフレアの無料プランを使用し9月15日までにダッシュボードで設定を変更しなかったユーザーに対しても、9月15日に同様の変更が適用される。

クラウドフレアは変更の目的について「エージェンティックAI時代における発見可能性を公平かつ透明な方法で再定義しようとしているAI企業と従来型の検索エンジンが、公平に競争できる環境を整えること」と説明している。

AI時代の新ダッシュボード

新たに「Attribution Business Insights」ダッシュボードも導入される。

このダッシュボードでは、セキュリティやITチームだけでなくステークホルダーの誰もが「自社のコンテンツをAIボットがどのように消費しているか」を把握できるようになり、それぞれのAI企業が実際にどれだけの人間によるトラフィックを生み出しているかを追跡できるようになるとしている。これにより、コンテンツ所有者とAI企業などが把握する“データ格差”の解消を図る。

一方、コンテンツの発見の場が検索エンジンからAIによる回答エンジンへと移行するのに伴い、「アンサーエンジン最適化(AEO)」という新たな手法が誕生していることも紹介している。

AEOとは、誰がクローリングしているかだけでなく、AIが生成する回答の中で自身のコンテンツがどのように、どのくらいの頻度で、どの程度目立つ形で引用されているかをAIモデルで把握する方法。クラウドフレアは「AI時代における決定的な計測と最適化のレイヤーを提供する」としている。

AIの無駄なクロールを抑制

AI検索の効率化と、クリエイターの作品が使用された際の報酬の自動支払いについても取組みを進める。

現在、AIモデルや検索エンジンは、ユーザーのクエリに答えるために、鮮度の高いデータを求めて更新されていないWebページを何百万回もクローリングしており、AIクローラーによるクロールトラフィックの50%以上が、更新されていないページの再取得に費やされているという。その結果引き起こされる帯域幅や計算リソースの浪費に見合う優れた回答は得られていないとも指摘している。

クラウドフレアは、Webページの更新有無や、実際に何が変更されたかを把握できる機能を提供。ページを再取得する価値の有無をシグナルで知らせることができ、結果として不要なクローリングを減らし、回答精度を向上させられるとしている。

主要なAI企業と協力してこれらのシグナルをテストしており、情報の鮮度がどれだけ向上できるか、無駄なクローリングがどれだけ削減できるかを測定し、2026年後半には一般提供が開始される予定になっている。

クラウドフレアはまた、クローリングごとに課金するシステム「Pay Per Crawl」の最初のバージョンを2025年に発表し、AI企業によるコンテンツのクローリングに対して、コンテンツのオーナーが料金を請求できる仕組みの提供を開始していた。

今回の取組みの拡大で、この「Pay Per Crawl」は「Pay Per Use」に進化すると発表している。オーナーは、コンテンツが単に取得されたときだけではなく、実際にそれが価値を生み出したときに報酬を受け取れるようにしていく。クラウドフレアはCeramic.aiやYou.comなどのパートナーと協力し、基盤となる共通レイヤーを提供、この原則の市場化に取り組んでいる。