robots.txt ファイルの作成とカスタマイズ

robots.txt ファイルは、Webサイト上の Web ページをクロールする方法を Web ロボットに指示するために使用します。Fastly コントロールパネルを使用し、robots.txt ファイルを作成・設定することができます。このガイドの指示に従うことで、Fastly はキャッシュから robots.txt ファイルを提供するようになるため、リクエストはオリジンをヒットしません。

robots.txt ファイルの作成

robots.txt ファイルを作成・設定するには、以下の手順に従ってください。

  1. Fastly コントロールパネルにログインします。
  2. Home ページから、適切なサービスを選択します。検索ボックスで ID、名称、ドメインによる検索が行えます。
  3. Edit configuration をクリックし、アクティブなバージョンをクローンするオプションを選択します。
  4. Content をクリックします。
  5. robots.txt スイッチをクリックして robots.txt のレスポンスを有効にします。

    robots.txt のクイック設定

  6. TXT Response フィールドで、robots.txt ファイルのレスポンスをカスタマイズします。

  7. Save をクリックしてレスポンスを保存します。

  8. Activate をクリックして設定への変更をデプロイします。

手動で robots.txt ファイルを作成・カスタマイズする

robots.txt のレスポンスをカスタマイズする必要がある場合は、以下の手順に従って手動でシンセティックレスポンスと条件を作成することができます。

  1. Fastly コントロールパネルにログインします。
  2. Home ページから、適切なサービスを選択します。検索ボックスで ID、名称、ドメインによる検索が行えます。
  3. Edit configuration をクリックし、アクティブなバージョンをクローンするオプションを選択します。
  4. Content をクリックします。
  5. Set up advanced response をクリックします。

    シンセティックレスポンスのダイアログ

  6. 以下の要領で Create a synthetic response ページの各フィールドに入力します。

    • Name フィールドに適切な名前を入力します。例: robots.txt
    • Status メニューは変更せずにデフォルトの 200 OK にしておきます。
    • MIME Type フィールドに text/plain と入力します。
    • Response フィールドに、User-agent 文字列と Disallow 文字列を少なくとも1つ入力します。上の例では、すべてのユーザーエージェントに (User-agent: * 文字列によって)、/tmp/ ディレクトリや /foo.html ファイル (それぞれ Disallow: /tmp/*Disallow: /foo.html 文字列によって) 配下のクロールを許可しないように指示しています。
  7. Create をクリックします。

  8. 新たに作成されたレスポンスの右側にある Attach a condition リンクをクリックします。

    ロボットの req.url 条件

  9. 以下の要領で Create a condition ページの各フィールドに入力します。

    • Type メニューから、適用したい条件を選択します (例: Request)。
    • Name フィールドに、条件を説明する名前を入力します (例: Robots)。
    • Apply if フィールドに、条件が true か false かを判断するために VCL 内で実行する論理式を入力します。この場合、論理式は robots.txt ファイルの場所になります (例: req.url.path == "/robots.txt")。
  10. Save をクリックします。

  11. Activate をクリックして設定への変更をデプロイします。
注意

カスタムレスポンスの作成方法の詳細については、レスポンスのチュートリアルをご覧ください。

global.prod.fastly.net で robots.txt ファイルをカスタマイズできない理由

ブラウザや curl コマンドでドメインに .global.prod.fastly.net 拡張子を追加すると (例: www.example.com.global.prod.fastly.net)、Fastly のサービスを使って本番サイトがどのように動作するかをテストすることができます。

Google が誤ってこのテスト URL をクロールするのを防ぐために、Fastly は内部 robots.txt ファイルを用意しました。このファイルは Google の Web クローラーが .prod.fastly.net で終わるホスト名の全ページを無視するように指示します。

デフォルトの robots.txt ファイル

この内部 robots.txt ファイルは、ドメインの CNAME DNS レコードが global.prod.fastly.net を指すように設定されるまで、Fastly コントロールパネルにてカスタマイズすることはできません。


翻訳についての注意事項
このガイドは役に立ちましたか?

このフォームを使用して機密性の高い情報を送信しないでください。サポートが必要な場合は、サポートチームまでご連絡ください。このフォームは reCAPTCHA によって保護されており、Google のプライバシーポリシー利用規約が適用されます。