robots.txt ファイルの作成とカスタマイズ

robots.txt ファイルは、Web サイト上の Web ページをクロールする方法を Web ロボットに指示するために使用します。Fastly コントロールパネルを使用し、robots.txt ファイルを作成・構成することができます。このガイドの指示に従うことで、Fastly はキャッシュから robots.txt ファイルを提供するようになるため、リクエストはオリジンをヒットしません。

robots.txt ファイルの作成

robots.txt ファイルを作成・設定するには、以下の手順に従ってください。

  1. Fastly コントロールパネルにログインします。
  2. All services ページから、該当するサービスを選択します。検索ボックスを使用して ID、名前、またはドメインで検索することができます。
  3. Edit configuration ボタンをクリックし、アクティブなバージョンをクローンするオプションを選択します。ドメインページが表示されます。
  4. Content をクリックします。Content ページが表示されます。
  5. robots.txt スイッチをクリックして robots.txt のレスポンスを有効にします。

    robots.txt のクイック設定

  6. TXT Response フィールドで、robots.txt ファイルのレスポンスをカスタマイズします。
  7. Save ボタンをクリックし、レスポンスを保存します。
  8. Activate ボタンをクリックして設定変更をデプロイします。

手動で robots.txt ファイルを作成・カスタマイズする

robots.txt のレスポンスをカスタマイズする必要がある場合は、以下の手順に従って手動でシンセティックレスポンスと条件を作成することができます。

  1. Fastly コントロールパネルにログインします。
  2. All services ページから、該当するサービスを選択します。検索ボックスを使用して ID、名前、またはドメインで検索することができます。
  3. Edit configuration ボタンをクリックし、アクティブなバージョンをクローンするオプションを選択します。ドメインページが表示されます。
  4. Content をクリックします。Content ページが表示されます。
  5. Set up advanced response ボタンをクリックします。Create a synthetic response ページが表示されます。

    シンセティックレスポンスのダイアログ

  6. Create a synthetic response フィールドを以下のように入力します。
    • Name フィールドに適切な名前を入力します。例: robots.txt
    • Status メニューは変更せずにデフォルトの 200 OK にしておきます。
    • MIME Type フィールドに text/plain と入力します。
    • Response フィールドに、User-agent 文字列と Disallow 文字列を少なくとも1つ入力します。上の例では、すべてのユーザーエージェントに (User-agent: * 文字列によって)、/tmp/ ディレクトリや /foo.html ファイル (それぞれ Disallow: /tmp/*Disallow: /foo.html 文字列によって) 配下のクロールを許可しないように指示しています。
  7. Create ボタンをクリックします。新しいレスポンスがレスポンスリストに表示されます。
  8. 新たに作成されたレスポンスの右側にある Attach a condition リンクをクリックします。 Create a new condition ウィンドウが表示されます。

    Robots 向けの req.url 条件

  9. 以下の要領で Create a condition ページの各フィールドに入力します。
    • Type メニューから、適用したい条件を選択します (例: Request)。
    • Name フィールドに、条件を説明する名前を入力します (例: Robots)。
    • Apply if フィールドに、条件が真か偽かを判断するために VCL 内で実行する論理式を入力します。この場合、論理式は robots.txt ファイルの場所になります (例: req.url.path == "/robots.txt")。
  10. Save ボタンをクリックします。
  11. Activate ボタンをクリックして設定変更をデプロイします。

global.prod.fastly.net で robots.txt ファイルをカスタマイズできない理由

ブラウザや cURL コマンドでドメインに .global.prod.fastly.net 拡張子を追加すると (例: www.example.com.global.prod.fastly.net)、Fastly のサービスを使って本番サイトがどのように動作するかをテストすることができます。

Google が誤ってこのテスト URL をクロールするのを防ぐために、Fastly は内部 robots.txt ファイルを用意しました。このファイルは Google のウェブクローラーが .prod.fastly.net で終わるホスト名の全ページを無視するように指示します。

デフォルトの robots.txt ファイル

この内部 robots.txt ファイルは、ドメインの CNAME DNS レコードが global.prod.fastly.net を指すように設定されるまで、Fastly コントロールパネルにてカスタマイズすることはできません。

Back to Top