AI学習の意思表示をrobots.txtで共通化へ|草案の意味と各社の対応予定

2026年10月30日、OpenAIはWebサイトのAI学習に関する意思表示を、複数の対応事業者に共通して伝える仕組みへの対応方針を公表しました。実装は今後数カ月を目指すとし、既存のクローラー制御も引き続き尊重すると説明しています。OpenAIの発表

企業のWeb担当者が押さえたいのは、草案の公開日、各社が対応する日、サイト側で設定を見直す日を分けることです。共通の記述を追加しただけで、すべてのAI事業者が同時に対応したと判断することはできません。以下は2026年11月5日時点の公式情報です。

正式標準ではなく、AI学習の用途を伝える草案

今回参照されているのは、10月30日付の「Machine-Readable Training Preference Signal」第00版です。IETF Datatrackerでは個人提出のInternet-Draftとされ、IETFが承認した標準ではない旨が明示されています。草案の登録情報

草案はrobots.txtのUser-Agent欄に __usage_ai-training という用途を示す識別子を書き、パスごとにAI学習への意思を表す方式を提案しています。対象は生成AIモデルの学習済みパラメーターを変更するための利用で、非生成タスク専用のモデルの学習はこの区分に含まれません。草案第3節・第4節

例えば、サイト全体で学習を望まない意思は、次の形で表します。これは草案の意味を説明する例です。

User-Agent: __usage_ai-training
Disallow: /

草案上、User-Agent: * はこの用途の識別子に一致するものとして解釈しません。また、この識別子自体がない場合は、この方式による意思表示がない状態です。記述がないことと、明示的に拒否することは別です。草案第4.2節

学習の意思表示と、ページへのアクセス制限を分ける

草案は、この識別子をクロール動作への指示とはしていません。AI学習という利用目的への意思表示と、クローラーがページを取得する際の制御を分けて扱います。草案第4.4節

そもそもrobots.txtの標準であるRFC 9309も、その規則をアクセス認可の仕組みとは位置づけていません。公開してはいけない情報の保護を、robots.txtへの記述だけに任せることはできません。RFC 9309 第1節

実務では、「ページを取得してよいか」「学習に利用してよいか」「回答の参考情報として使ってよいか」を、運営方針の別項目として整理すると確認しやすくなります。これは各社の設定を見直すための編集部の提案です。

OpenAI・Google・Microsoftの対応予定は異なる

各社が10月30日に示した計画は次のとおりです。対応済みサービスの一覧ではありません。

事業者 公式発表で示した時期 設定を見直す際の要点
OpenAI 今後数カ月での実装を目指す 既存のrobots.txtによるクローラー制御は継続
Google 2027年の対応を目指す Google-Extendedの明示的な指定との関係を確認
Microsoft 2027年2月1日からクロール時に新設定を尊重 旧NoArchive・NoCacheを使う場合は3月1日までの移行手順を確認

OpenAIは実装時に詳細を改めて知らせるとしています。Googleは、Google-Extendedを明示していないサイトが共通の識別子で学習を拒否した場合、Google-Extendedを拒否したものとして扱う計画です。既存の企業別の設定も併用できると説明しています。OpenAIの実装方針、Googleの対応計画

Microsoftは、学習とグラウンディング(AI回答を作る際に情報を参照する利用)を別々に設定する仕組みを案内しています。同社の説明では、これらの用途設定は通常のクロール・インデックス要件を満たすBing検索結果への掲載資格を変えません。ただしAIでの表示機会には影響し得るため、検索とAI回答をひとまとめにして評価しないことが必要です。Microsoftの発表と移行案内

Microsoftの旧設定を使っているサイトの移行条件

Microsoftでは、適用される設定がなければ学習・グラウンディングともに Allow が既定です。旧設定の制限が自動で引き継がれるとは考えず、次の条件を確認してください。

  • 一時的な移行設定の対象は、2026年12月15日時点で NoArchive または NoCache を使うサイトです。同日からBing Webmaster Tools(BWT)で設定できる予定です。
  • グラウンディングの制限を維持するには、2027年3月1日より前に、ページへの新設定とBWTの一時設定の両方が必要です。BWTに登録しない場合、旧設定のあるページは再クロールで新設定を発見されるまでグラウンディングが Allow になります。
  • 一時設定は、ページの再クロールで新設定が見つかった時点、または2027年9月30日の早い方で終了します。期限前の再クロールは保証されません。
  • 学習にはBWTの一時設定がありません。robots.txtまたはページに新しい学習設定を公開する必要があり、3月1日以降、旧タグは学習の制御として尊重されなくなります。新設定はクロールにより有効になります。

このため、学習とグラウンディングの移行を同じ作業として処理せず、それぞれの設定と確認時期を管理する必要があります。Microsoftの移行条件

Web担当者が今まとめておきたい確認事項

当社編集部は、設定変更の前に次の3点を整理することを勧めます。

  1. 現在のrobots.txtとページ側の設定を控え、どの事業者・用途を許可または拒否しているかを一覧にする。
  2. 公開コンテンツのうち、学習への利用方針が異なるパスを洗い出し、Web運用とコンテンツ管理の担当者で方針をそろえる。
  3. 各社の対応開始と移行期限を分けて記録し、実装時の公式案内を確認してから変更内容を決める。

共通化によって運用を簡素にできるかは、各社の実装と自社の既存設定の組み合わせで判断します。特にMicrosoftの旧設定を利用しているサイトは、共通のrobots.txt記述だけで移行が完了すると思わず、ページ単位の設定とBing Webmaster Toolsを含む公式の移行手順を確認してください。

記事一覧へ戻る

ITの困りごとを、
まずはご相談ください。

何から手をつけるか決まっていない段階でも構いません。ご相談内容に応じて、担当者からご連絡します。

まずは相談する

採用へのご応募は採用エントリーからお願いします。