AIクローラーをデフォルトで拒否　クラウドフレアが決定

Cloudflare(クラウドフレア)は、許可や対価なくインターネット上のコンテンツにアクセスするAIクローラーをデフォルトでブロックすると表明した。大手CDNでは初めての試みとしている。

7月1日から、クラウドフレアのサービスを利用するWebサイトの所有者は、AIクローラーにコンテンツへのアクセスを許可するかどうかを選択し、AI企業がAIクローラーを使用して収集したコンテンツをどのように利用するか、決定できるようになる。

すべての新規ドメインは、AIクローラーのアクセスを許可するかどうかを確認され、AIクローラーのアクセスを許可もしくは拒否するかを事前に選択できる。デフォルトでAIクローラーのアクセスを制御できるようになり、Webページの所有者は手動でオプトアウト設定を構成する必要がなくなる。設定は簡単に変更でき、クローリングを許可することも可能。

今回の取り組みでは、AI企業側も、AIクローラーが収集したコンテンツを、学習、推論、検索など、どの目的で使用するかを明確に示せるようになる。

これらの新たなデフォルト設定によって、「コンテンツクリエイターとAIイノベーターの双方の理想を叶え、より持続可能な未来を目指す」としている。

規律なきAIクローラーに懸念

クラウドフレアは発表の中で、現在のAIクローラーについて「無制限にコンテンツをスクレイピング(≒搾取)し続けている」とし、Web上のコンテンツクリエイターから収益を奪うフリーライダーであると指摘。インターネットの発展の原動力となったエコシステムを破壊し、「社会はいずれ損失を被り、インターネットの未来は危険にさらされる」と、強い懸念を表明している。

クラウドフレアはすでに、人間のユーザーとAIクローラーを識別するボット管理ソリューションを開発、スクレイピングを止めさせるオプションとして提供している。今回の取り組みは、より踏み込んだもので、許可ベースのモデルを強制適用するフェーズに入る形。

一方同社は、AIボットの所有者やAIエージェントの開発者が、自身を識別するために用いる新たなプロトコルの開発にも取り組んでいる。

クラウドフレアは、インターネット上の20%のトラフィックの管理と保護を提供している大手CDN(Contents Delivery Network)。