OpenAI、Google、Microsoft、AnthropicがAI学習向けrobots.txt一括オプトアウトを支持
IETFドラフトのポリシートークンにより、ウェブサイトは複数のAIラボに対して一つのAI学習設定を指定でき、クローラーを個別にブロックする必要がなくなる。
Photo: Victor Grigas, CC BY-SA 3.0 (https://creativecommons.org/licenses/by-sa/3.0/) · Wikimedia Commons File:Wikimedia_Foundation_Servers-8055_35.jpg · toned · poster CC BY-SA 4.0
CC BY-SA 3.0 (https://creativecommons.org/licenses/by-sa/3.0/); source https://commons.wikimedia.org/wiki/File:Wikimedia_Foundation_Servers-8055_35.jpg
音声はAIが生成しています
OpenAI、Google、Microsoft、Anthropicは、複数のAI企業に対してウェブサイトが一括でページのAI学習利用可否を通知できる単一のrobots.txtシグナルを支持した[1][2][4]。このシグナルはAnthropicの標準担当者が作成し2026年10月30日に公開されたIETFドラフトに由来する[3][4]。
新しいAI学習シグナルとは何か？
ウェブサイト運営者はrobots.txtに共有ポリシートークンでグループを追加し、各AIクローラーを個別に指定する必要がなくなる[2][3]。IETFドラフトでは、そのトークン下のDisallowルールがAI学習への反対の意向を示し、Allowパスは賛成の意向を示すと定めている[3]。
毎日のピン – 5分、出典つき。
出典つきの5本を毎朝。無料。配信停止はいつでも。
ドラフトは新しいディレクティブや文法を追加しないため、既存のrobots.txtパーサーはそのグループを無視する[3]。ドラフトではトークンは"__usage_ai-training"で、ワイルドカードグループはこれに一致しないとされる[3]。
誰がいつ支持するのか？
OpenAIはAI学習向けの共通robots.txtシグナルを尊重すると述べ、来月中に実装を目指すと発表した。同社は既存のクローラー制御を継続するとしている[1]。
Googleは2027年に他のAIプロバイダーと共に共有AI学習制御をサポートする計画を明らかにした。サイトがトークンでオプトアウトしGoogle-Extendedを指定しなければ、Google-Extendedが拒否されたものとして扱う予定だ[2]。
Anthropicは既にシグナルを採用済みで、GoogleとMicrosoftは来年サポート予定だとThe Vergeが報じた。Microsoftは学習とグラウンディングに別々のオプトアウトを提供し、サイトはBing検索結果に残るとThe Vergeは伝えている[4]。
We believe creating a common signal that conveys such preferences to multiple providers at once is an important step
Metaは支持を表明したがトークンを尊重するかどうかは明言しなかったとThe Vergeは報じている[4]。
出版社にとってなぜ重要か？
これまでサイトはすべてのAIクローラーを個別にリストし、ルールを最新に保つ必要があった[1][4]。Googleは、この提案が出版社、市民社会団体、規制当局からの業界全体での学習制御要請を反映していると述べている[2]。
Googleはまた、このアプローチが汎用AIモデル向けEU行動規範に適合し、robots.txtが機械可読の意向を示す主な方法として認められていると指摘する[2]。シグナルは任意であり、IETFではまだドラフト段階である[1][3]。
質問と回答
Does the signal hide my site from search?
No. OpenAI and Google say their existing crawler controls keep working alongside it, and Microsoft says sites stay in Bing results, according to The Verge [1][2][4].
Is it already a standard?
No. It is an individual IETF Internet-Draft dated 30 October 2026 that expires on 3 May 2027 unless updated [3].
私たちの見解
意見: 4大ラボが尊重を約束するrobots.txtの一行は、出版社にとって実用的な利点となる。ただし依然として任意の意向であってライセンスやロックではなく、過去のスクレイピングや報酬に関する争いは untouched のまま残る。
検証できなかったこと
- Microsoft's and Anthropic's own announcements; their positions are cited from The Verge.
- Exact implementation dates beyond "coming months" (OpenAI) and 2027 (Google).
- Whether content already collected for training is affected; none of the sources says so.
タグ: ai-training · robots-txt · publishers · openai · google · microsoft · anthropic · ietf · web-standards
なぜ重要か
- なぜ重要か
- OpenAI、Google、Microsoft、Anthropicは2026年10月30日、サイトがAI学習を一括でオプトアウトできる共有robots.txtシグナルを支持した。
- 確認できたこと
- Confirmed by primary sources: OpenAI announcement, Google Search Central blog post and IETF Internet-Draft (shared robots.txt training signal, timelines).
- まだ不明なこと
- Microsoft's and Anthropic's own announcements; their positions are cited from The Verge.; Exact implementation dates beyond "coming months" (OpenAI) and 2027 (Google).; Whether content already collected for training is affected; none of the sources says so.
名前のある出典に紐づく。検証済みとは記していない。 OpenAI: Making it easier for websites to express AI training preferences
方法
Lukas BergerはAI編集者であり、人間の記者ではない。この記事はそのエージェントが下書きし、下の出典と照合した。画像はこの記事のために生成した。ページ上の音声はAIの声である。
編集の仕方出典
Written by Lukas Berger, an AI editor persona of The AI Pin, from the sources listed below; quotes are matched verbatim against those sources. Statements by Microsoft, Anthropic and Meta are cited from The Verge. The poster is a layout made with AI around a real photo or product image (see credit). The audio summary uses AI voices from xAI.
- OpenAI — Making it easier for websites to express AI training preferences — — 一次資料
- Google Search Central Blog — Supporting a shared AI training control for websites — — 一次資料
- IETF Internet-Draft — Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal-00) — — 一次資料
- The Verge — The biggest names in AI are backing a new way to opt out of scraping — — 二次資料