robots.txt生成ツールは、クローラーにサイトのどの部分を巡回してよいかを伝える小さなテキストファイルを作成します。基本ルールを選び、ブロックするパスと許可する例外を入力し、サイトマップのURLを追加し、必要に応じてAIの学習用クローラーをブロックします。出力結果をコピーし、robots.txtという名前でサイトのルートに保存してください。
この記事のポイント
- robots.txtが制御するのはクロールであり、インデックスではありません。Googleからページを外すにはnoindexを使います。
- Disallow: / のような1行の誤りで、サイト全体が検索結果から消えることがあります。必ず見直しましょう。
- AIクローラーのブロックは経営判断です。コンテンツを守れる一方で、AIの回答での露出が減る可能性があります。
ファイルの作り方
- 公開中のサイトでは、基本ルールをすべての検索エンジンを許可のままにします。
- 検索に不要なフォルダを1行に1つずつ入力します。/wp-admin/、/cart/、サイト内検索の結果ページなどです。
- 開放しておく必要がある例外を追加します。WordPressなら/wp-admin/admin-ajax.phpです。推奨設定ボタンで両方を自動入力できます。
- クローラーが重要なページをすべて見つけられるよう、サイトマップのURLを貼り付けます。
- 出力結果を https://ドメイン/robots.txt で表示されるように保存します。
クロールとインデックスは別物
これはテクニカルSEOで最も誤解されやすい点です。Disallowはルールを守るクローラーにURLの取得をやめさせますが、他サイトからリンクされていれば、Googleはページの内容なしでURLだけをインデックスすることがあります。検索結果からページを外したいときは、クロールを許可したうえでnoindexのメタタグを追加しましょう。noindexタグはメタタグ生成ツールで作成できます。robots.txtでブロックしながらnoindexを付けても効果はありません。クローラーがタグを読めないからです。
ブロックすべきもの・開けておくべきもの
| 通常ブロックするもの | ブロックしてはいけないもの |
|---|---|
| 管理画面とログインページ | CSSとJavaScriptファイル |
| カート、決済、会員ページ | 画像検索に表示させたい画像 |
| サイト内検索や無限に増える絞り込みURL | 上位表示させたいページ |
| テスト環境(ホスト全体) | サイトマップ |
Googleはブラウザと同じようにページをレンダリングします。CSSやスクリプトを読み込めないと、すべてのページのレイアウトやモバイル対応を誤って評価するおそれがあります。
クロールバジェットと重複URL
大規模なECサイトやポータルサイトでは、並び替え、絞り込み、セッションパラメータによって、ほぼ同じ内容のURLが何千も生まれがちです。クローラーはそこで時間を浪費し、本当に重要なページの巡回頻度が下がります。こうしたパターンをrobots.txtでブロックすれば(例:Disallow: /*?orderby=)、クロールバジェットを節約できます。一方、評価を引き継ぐ必要がある重複ページにはcanonicalタグを使いましょう。シグナルが失われず、正規版に集約されます。
AIクローラーとGEO
GPTBot、ClaudeBot、CCBot、Google-Extended、PerplexityBotなどのボットは、AIモデルや回答エンジンのためにコンテンツを収集しています。ブロックすればコンテンツが学習に使われるのを防げますが、AIアシスタントがあなたのサイトを引用し、リンクする可能性も下がります。AIの回答で紹介されたい企業の多くには、回答エンジン系のボットは許可し、学習専用のボットはケースごとに判断することをおすすめしています。顧客がどこで検索しているかに応じた判断は、当社のGEOサービスでサポートします。
アップロード前後にテストする
アップロード前に、ファイルを1行ずつ読み直しましょう。各User-agentグループは指定したボットにだけ適用され、最も具体的なルールが優先されます。アップロード後は、ブラウザでドメイン/robots.txtを開いて公開されているか確認し、Google Search Consoleのrobots.txtレポートで取得エラーがないかを見ます。サイト移転、テーマ変更、テスト環境の本番公開の後には必ず再確認しましょう。テスト環境のルールがそのまま本番にコピーされることは、私たちが目にする急激なアクセス減少の代表的な原因です。主要なページをページSEOチェッカーで確認し、インデックス可能なままかどうかも確かめましょう。
WordPressの安全な初期設定
多くのWordPressサイトでは、短いファイルが最良です。すべてを許可し、admin-ajax.phpを例外にして/wp-admin/をブロックし、SEOプラグインが生成するサイトマップ(例:/sitemap_index.xml)を指定します。/wp-content/や/wp-includes/はブロックしないでください。Googleがページを表示するのに必要なCSS、スクリプト、画像がそこにあります。何千ものURLを生む絞り込みパラメータのような明確な理由がない限り、ルールは追加しないようにしましょう。短いファイルは確認しやすく、誤って壊すリスクもずっと小さくなります。
無料ツールだけでは足りませんか?
当社チームは10言語のサイトを対象に、SEO監査・改善・成長戦略の立案を行っています。よくある質問
robots.txtはどこにアップロードしますか?
WordPressには最初からrobots.txtがありますか?
robots.txtで非公開ページを隠せますか?
AIクローラーはブロックすべきですか?
変更はどのくらいで反映されますか?
このツールについて:チェック項目と基準値は、Google検索セントラルのドキュメント、Schema.org、IETF/W3Cの標準に基づいており、クライアントサイトで得た知見をもとに毎月見直しています。入力したテキストやURLの記録は残しません。生成・計算ツールはブラウザ上で動作し、チェックツールは当社サーバー経由でページを取得し、再チェックを速くするため結果を数分間だけキャッシュします。ご質問や不具合のご報告はこちらからどうぞ。