無料のrobots.txt生成ツール

robots.txt生成ツールは、クローラーにサイトのどの部分を巡回してよいかを伝える小さなテキストファイルを作成します。基本ルールを選び、ブロックするパスと許可する例外を入力し、サイトマップのURLを追加し、必要に応じてAIの学習用クローラーをブロックします。出力結果をコピーし、robots.txtという名前でサイトのルートに保存してください。

この記事のポイント

  • robots.txtが制御するのはクロールであり、インデックスではありません。Googleからページを外すにはnoindexを使います。
  • Disallow: / のような1行の誤りで、サイト全体が検索結果から消えることがあります。必ず見直しましょう。
  • AIクローラーのブロックは経営判断です。コンテンツを守れる一方で、AIの回答での露出が減る可能性があります。

ファイルの作り方

  1. 公開中のサイトでは、基本ルールをすべての検索エンジンを許可のままにします。
  2. 検索に不要なフォルダを1行に1つずつ入力します。/wp-admin/、/cart/、サイト内検索の結果ページなどです。
  3. 開放しておく必要がある例外を追加します。WordPressなら/wp-admin/admin-ajax.phpです。推奨設定ボタンで両方を自動入力できます。
  4. クローラーが重要なページをすべて見つけられるよう、サイトマップのURLを貼り付けます。
  5. 出力結果を https://ドメイン/robots.txt で表示されるように保存します。

クロールとインデックスは別物

これはテクニカルSEOで最も誤解されやすい点です。Disallowはルールを守るクローラーにURLの取得をやめさせますが、他サイトからリンクされていれば、Googleはページの内容なしでURLだけをインデックスすることがあります。検索結果からページを外したいときは、クロールを許可したうえでnoindexのメタタグを追加しましょう。noindexタグはメタタグ生成ツールで作成できます。robots.txtでブロックしながらnoindexを付けても効果はありません。クローラーがタグを読めないからです。

ブロックすべきもの・開けておくべきもの

通常ブロックするものブロックしてはいけないもの
管理画面とログインページCSSとJavaScriptファイル
カート、決済、会員ページ画像検索に表示させたい画像
サイト内検索や無限に増える絞り込みURL上位表示させたいページ
テスト環境(ホスト全体)サイトマップ

Googleはブラウザと同じようにページをレンダリングします。CSSやスクリプトを読み込めないと、すべてのページのレイアウトやモバイル対応を誤って評価するおそれがあります。

クロールバジェットと重複URL

大規模なECサイトやポータルサイトでは、並び替え、絞り込み、セッションパラメータによって、ほぼ同じ内容のURLが何千も生まれがちです。クローラーはそこで時間を浪費し、本当に重要なページの巡回頻度が下がります。こうしたパターンをrobots.txtでブロックすれば(例:Disallow: /*?orderby=)、クロールバジェットを節約できます。一方、評価を引き継ぐ必要がある重複ページにはcanonicalタグを使いましょう。シグナルが失われず、正規版に集約されます。

AIクローラーとGEO

GPTBot、ClaudeBot、CCBot、Google-Extended、PerplexityBotなどのボットは、AIモデルや回答エンジンのためにコンテンツを収集しています。ブロックすればコンテンツが学習に使われるのを防げますが、AIアシスタントがあなたのサイトを引用し、リンクする可能性も下がります。AIの回答で紹介されたい企業の多くには、回答エンジン系のボットは許可し、学習専用のボットはケースごとに判断することをおすすめしています。顧客がどこで検索しているかに応じた判断は、当社のGEOサービスでサポートします。

アップロード前後にテストする

アップロード前に、ファイルを1行ずつ読み直しましょう。各User-agentグループは指定したボットにだけ適用され、最も具体的なルールが優先されます。アップロード後は、ブラウザでドメイン/robots.txtを開いて公開されているか確認し、Google Search Consoleのrobots.txtレポートで取得エラーがないかを見ます。サイト移転、テーマ変更、テスト環境の本番公開の後には必ず再確認しましょう。テスト環境のルールがそのまま本番にコピーされることは、私たちが目にする急激なアクセス減少の代表的な原因です。主要なページをページSEOチェッカーで確認し、インデックス可能なままかどうかも確かめましょう。

WordPressの安全な初期設定

多くのWordPressサイトでは、短いファイルが最良です。すべてを許可し、admin-ajax.phpを例外にして/wp-admin/をブロックし、SEOプラグインが生成するサイトマップ(例:/sitemap_index.xml)を指定します。/wp-content/や/wp-includes/はブロックしないでください。Googleがページを表示するのに必要なCSS、スクリプト、画像がそこにあります。何千ものURLを生む絞り込みパラメータのような明確な理由がない限り、ルールは追加しないようにしましょう。短いファイルは確認しやすく、誤って壊すリスクもずっと小さくなります。

無料ツールだけでは足りませんか?

当社チームは10言語のサイトを対象に、SEO監査・改善・成長戦略の立案を行っています。
SEOサービスを見る

よくある質問

robots.txtはどこにアップロードしますか?

ドメインのルートです。https://ドメイン/robots.txt で表示される場所に置きます。サブドメインごとに個別のファイルが必要です。

WordPressには最初からrobots.txtがありますか?

WordPressは仮想的なファイルを生成します。実ファイルをアップロードするか、Rank MathやYoastで編集すると置き換わります。

robots.txtで非公開ページを隠せますか?

いいえ。ファイルは誰でも見られ、ルールを守るボットへのお願いにすぎません。非公開の内容はパスワードやログインで保護してください。

AIクローラーはブロックすべきですか?

目的によります。ブロックすれば学習から守れ、回答エンジンを許可すればAI検索からの露出と流入が期待できます。

変更はどのくらいで反映されますか?

Googleは通常、robots.txtを最大24時間キャッシュします。Search Consoleのレポートから再取得をリクエストできます。

このツールについて:チェック項目と基準値は、Google検索セントラルのドキュメント、Schema.org、IETF/W3Cの標準に基づいており、クライアントサイトで得た知見をもとに毎月見直しています。入力したテキストやURLの記録は残しません。生成・計算ツールはブラウザ上で動作し、チェックツールは当社サーバー経由でページを取得し、再チェックを速くするため結果を数分間だけキャッシュします。ご質問や不具合のご報告はこちらからどうぞ。

1

サイトのSEOを1か月無料でご提供

すべてを含む1か月無料のSEOを提供します:技術分析、競合分析、キーワード調査、お客様の目標設定、SEOの基本、内部SEO、AI検索最適化(GEO)。作業はすべて専任チームが行います。

無料の1か月を始める
WhatsAppで無料相談
تم التصميم والسيو بواسطة قروش السيوواتساب +20 112 057 7167أعلن معنا