AI活用の基本公開: 2026年10月5日更新: 2026年11月2日 – views

自分のブログはAIの学習データに入っている？調べたら0件だった【大手24サイトのAIブロック状況も調査】

Q: robots.txtでブロックすれば、すでに学習された内容も消えますか？

消えません。Anthropicの説明でも、ブロックは そのサイトの今後の内容 を学習から外すという意味です。すでに集められたデータや、学習ずみのAIから取り除くものではありません。

Q: AIの検索で、自分のブログを紹介してもらうにはどうすればいいですか？

まずは、 検索用のロボットを拒否しない ことです。そのうえで、ほかのサイトからリンクされることが大切です。Common Crawlがリンクの多いサイトを優先していたように、リンクは「見つけてもらう」ための入り口になります。

ChatGPTやClaudeは、ネット上の文章を集めて学んでいます。では、自分のブログも使われているのか。多くのAIが学習に使ってきた公開データ「Common Crawl」で当ブログを調べたら、結果は0件でした。あわせて、新聞社・通販・ブログサービスなど大手24サイトがAIをブロックしているかも調べました。調べ方と、個人ブログの設定の考え方もまとめます。

PR 本記事は広告（アフィリエイトリンク）を含む場合があります。詳細はアフィリエイト開示をご覧ください。

#AI #ブログ運営 #robots.txt #AI検索 #実例

📖 この記事でわかること

【調査1】自分のブログは、AIの学習データに入っているか
【調査2】大手24サイトは、AIをブロックしているか
AIの「学習」と「検索」は別の仕組み
個人ブログは、どう設定すればいいか

ChatGPTやClaudeは、インターネット上の大量の文章を読んで賢くなりました。ブログを書いている人なら、一度は「自分の記事も勝手にAIに使われているのでは」と考えたことがあると思います。

気になったので、実際に調べてみました。調べたのは2つです。

多くのAIが学習に使ってきた公開データ「Common Crawl」に、当ブログが入っているか
新聞社や通販、ブログサービスなど大手24サイトが、AIの収集をブロックしているか

結果は、思っていたのと逆でした。

⚠️ 本記事は2026年10月5日に調べた結果です。各サイトの設定は変わることがあります。調査2は各サイトの「robots.txt」という設定ファイルだけを見たもので、ほかの方法でのブロックや、各社が実際にデータを使ったかどうかまでは分かりません。

🆕 2026年11月追記：2026年10月30日、OpenAI・グーグル・マイクロソフト・Anthropicの4社が、AIの学習を断る共通の目印「__usage_ai-training」に対応すると発表しました。会社ごとに書いていたものを、robots.txtの2行でまとめて伝えられるようになります。書き方と各社の対応時期はAIの学習を断る「共通ルール」が登場にまとめています。

✅ 先に結論

当ブログ（2026年7月公開）は、Common Crawlの公開後3回分の収集すべてで0件でした。姉妹サイトのTifelia（2026年4月から運営）も0件です。AIを拒否していないのに、そもそも集められていませんでした
大手24サイトのうち11サイトが、AIの学習用の収集をブロックしていました。大手新聞・放送の6社はすべてです
一方、note・はてなブログ・Ameba・Qiita・Zenn・ウィキペディアは制限なしでした
AIの「学習」と「検索」は別の仕組みです。学習だけ断って、AI検索には出す、という設定もできます

【調査1】自分のブログは、AIの学習データに入っているか

Common Crawlとは

Common Crawl（コモンクロール）は、ネット上のページを定期的に集めて、誰でも無料で使えるように公開しているアメリカの非営利団体です。2026年9月に集めた分だけでも、約21.7億ページ・3,320万のドメインが入っています。

このデータは、AIの学習によく使われてきました。

ChatGPTのもとになったGPT-3では、学習データの約6割がCommon Crawlを加工したものでした
Mozilla財団の2024年の報告によると、2019〜2023年に発表された47のAIのうち、少なくとも64%がCommon Crawlを学習に使っていました

つまり、ここに入っているかどうかは、「AIに読まれているか」の目安のひとつになります。

調べ方（誰でもできます）

Common Crawlには、集めたページを検索できる窓口（index.commoncrawl.org）があります。ブラウザのアドレス欄に、次のように入れるだけです。

https://index.commoncrawl.org/CC-MAIN-2026-39-index?url=自分のドメイン/*&output=json

「CC-MAIN-2026-39」の部分が、何月に集めた分かを表します（この例は2026年9月分）。ほかの月は、トップページの一覧で確認できます。

ページが見つかると、URLの一覧が出ます
1件もないと、「No Captures found」と表示されます

なお、この窓口はよく混み合い、「504 Gateway Time-out」などのエラーになることがあります。今回も何度か出ました。その場合は、時間をおいてやり直してください。

結果：当ブログも姉妹サイトも0件

サイト	運営の開始	調べた収集回	見つかったページ
ツクログ（当ブログ）	2026年7月	7月・8月・9月分	0件
Tifelia（姉妹サイト）	2026年4月	4〜9月のうち確認できた5回分	0件
比較：Zenn（技術記事サービス）	—	9月分	トップページが収録

調べ方が正しいかを確かめるため、有名な技術記事サービスのZennも同じ方法で調べました。こちらは、9月分にトップページが入っていました。当ブログと姉妹サイトだけが、どの回にも入っていなかったということです。

当ブログは、AIの収集を何も拒否していません。robots.txt（収集ロボットへのお願いを書くファイル）は「すべて許可」です。試しに、AIの収集ロボットの名前を名乗ってアクセスしても、普通にページが表示されました。

なぜ集められていないのか

Mozilla財団の報告によると、Common Crawlはほかのサイトから多くリンクされているサイトほど、優先して集める仕組みです。公開から日が浅く、リンクも少ない個人ブログは、後回しになりやすいわけです。

同じ報告では、Common Crawlの関係者が「Common Crawlがウェブ全体を持っているというのは、まったく正しくない」と話しています。ネットは広すぎて、集められているのはごく一部です。

小さな個人ブログにとっては、「AIに勝手に使われる」より先に、「AIにそもそも見つけてもらえない」のが現実でした。

【調査2】大手24サイトは、AIをブロックしているか

次に、有名サイトの対応を調べました。見たのは、各サイトのrobots.txtです。ここに「このロボットは来ないで」と書くと、ルールを守るロボットは収集をやめます。

調べたロボットは、大きく2種類です。

学習用：GPTBot（OpenAI）・ClaudeBot（Anthropic）・CCBot（Common Crawl）・Google-Extended（GoogleのGemini）
検索用：OAI-SearchBot（ChatGPTの検索）・Claude-SearchBot（Claudeの検索）・PerplexityBot（Perplexity）

結果：新聞は締め出し、ブログサービスは開放

サイト	学習用	検索用
朝日新聞・日本経済新聞・読売新聞・毎日新聞	×	×
産経新聞・NHK	×	△
Yahoo!ニュース・Amazon.co.jp	×	×
クックパッド	×	△
ピクシブ	×	○
食べログ	△	○
共同通信・東洋経済オンライン・ITmedia・Impress Watch・GIGAZINE	○	○
価格.com・楽天市場	○	○
note・はてなブログ・Ameba・Qiita・Zenn・ウィキペディア	○	○

×＝調べたロボット（学習用4つ・検索用3つ）をすべて全面ブロック、△＝一部を全面ブロック、○＝制限なし。食べログの△はGPTBotとGoogle-Extendedのみ。

大手24サイトを新聞・放送、ネットメディア、通販など、ブログ等の4グループに分け、AIの学習用の収集をブロックしていた割合を比べた横棒グラフ — ジャンルによって、対応がはっきり分かれました。**記事そのものが商品の新聞社ほど、AIを締め出しています**。

結果から見えること

1つ目は、新聞・放送の対応がそろっていることです。朝日・日経・読売・毎日・産経・NHKの6社は、学習用をすべてブロックしていました。記事そのものが商品なので、無断で学習に使われたくないのは自然です。通信社の共同通信だけは、robots.txtでは制限していませんでした。

2つ目は、「学習は断るけれど、検索には出す」という使い分けです。ピクシブは学習用をすべてブロックしつつ、検索用は制限していません。クックパッドも、ChatGPTとClaudeの検索用は許可していました。作品やレシピを学習には使わせないが、AI検索からの訪問は受け入れるという考え方に見えます。

3つ目は、ブログや投稿サービスは、サービス全体では制限していないことです。note・はてなブログ・Ameba・Qiita・Zennは、どれも制限なしでした。こうしたサービスでは、robots.txtを決めるのは運営会社で、書き手個人ではありません。

AIの「学習」と「検索」は別の仕組み

ここが、いちばん誤解されやすいところです。AI各社は、目的ごとに別のロボットを使っています。

AIのロボットを学習用、検索用、利用者の依頼で読むものの3種類に分けて、それぞれの役割と断ったときの影響を比べた図 — robots.txtでは、**ロボットごとに別々に**許可・拒否を決められます。

OpenAI：学習用はGPTBot、検索用はOAI-SearchBot、利用者の依頼で読むのはChatGPT-User
Anthropic：学習用はClaudeBot、検索用はClaude-SearchBot、利用者の依頼で読むのはClaude-User
Google：学習用はGoogle-Extended。検索は通常のGoogle検索と同じGooglebotです

各社の公式の説明では、次のようになっています。

学習用を断ると、そのサイトのこれからの内容は学習に使われなくなります。GoogleはGoogle-Extendedについて、Google検索への表示や順位には影響しないと明言しています
検索用を断ると、AI検索の答えにそのサイトが出なくなります。OpenAIは、OAI-SearchBotを断ったサイトはChatGPTの検索の答えに表示されないと説明しています
利用者の依頼で読むロボットは、人が「このページを読んで」と頼んだときに動きます。OpenAIは、この場合はrobots.txtのルールが当てはまらないことがあるとしています

また、robots.txtはあくまで「お願い」です。守るかどうかは相手次第で、主要な会社は守ると表明していますが、すべてのロボットが守るとは限りません。

個人ブログは、どう設定すればいいか

選択肢は3つあります。

① 何も制限しない

当ブログは、今のところこの状態です。調査1のとおり、小さなブログにとっては見つけてもらうことのほうが課題だからです。AI検索で紹介される可能性も残せます。

② 学習だけ断って、検索には出す

ピクシブと同じ考え方です。robots.txtに次のように書きます。

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

検索用のロボットは書かないので、そのまま許可されます。ただし、すでに集められた分が消えるわけではなく、対象はこれからです。

③ すべて断る

大手新聞と同じ考え方です。上の4つに、OAI-SearchBot・Claude-SearchBot・PerplexityBotも加えます。AI検索から読者が来る道も閉じることになるので、ブログではよく考えてから選んでください。

個人ブログのAI対策を、何も制限しない、学習だけ断る、すべて断るの3つの選択肢で分岐させた図 — 正解は1つではありません。**自分の記事を「どう使われたいか」**で選びます。

自分で決められるのは、自分のサイトだけ

注意したいのは、noteやはてなブログ、Amebaなどのサービスでは、robots.txtを書き手が自由に書き換えられないことが多い点です。サイト全体の設定は運営会社が決めます。

自分の記事をAIにどう扱わせるかを自分で決めたいなら、独自ドメインと自分のサーバーでブログを持つのが確実です。WordPressなら、robots.txtも自分で書けます。当ブログも独自ドメインで運営しているので、今回の①〜③をいつでも切り替えられます。

自分の記事の扱いを、自分で決められるブログを持つなら

独自ドメインでWordPressのブログを始めるなら、レンタルサーバーが必要です。個人向けのサーバーはレンタルサーバー比較にまとめていますが、迷ったら定番のエックスサーバーが無難です。ドメインとセットで申し込めて、robots.txtも自分で管理できます。

エックスサーバー公式サイトを見る

よくある質問

Q1. Common Crawlに入っていなければ、AIは自分のブログを知らないのですか？

A. そうとは限りません。AI各社は、GPTBotやClaudeBotのような自前のロボットでも文章を集めています。Common Crawlは、多くのAIが使ってきた代表的なデータのひとつです。また、AI検索はその場でページを読みに行くので、学習データに入っていなくても答えに出ることがあります。