robots.txt ファイルの作成とカスタマイズ

robots.txt ファイルは、Webサイト上の Web ページをクロールする方法を Web ロボットに指示するために使用します。Fastly コントロールパネルを使用し、robots.txt ファイルを作成・設定することができます。このガイドの指示に従うことで、Fastly はキャッシュから robots.txt ファイルを提供するようになるため、リクエストはオリジンをヒットしません。

robots.txt ファイルの作成

robots.txt ファイルを作成・設定するには、以下の手順に従ってください。

1. Fastly コントロールパネルにログインします。
2. Home ページから、適切なサービスを選択します。検索ボックスで ID、名称、ドメインによる検索が行えます。
3. Edit configuration をクリックし、アクティブなバージョンをクローンするオプションを選択します。
4. Content をクリックします。

5. robots.txt スイッチをクリックして robots.txt のレスポンスを有効にします。

   

6. TXT Response フィールドで、robots.txt ファイルのレスポンスをカスタマイズします。

7. Save をクリックしてレスポンスを保存します。

8. Activate をクリックして設定への変更をデプロイします。

手動で robots.txt ファイルを作成・カスタマイズする

robots.txt のレスポンスをカスタマイズする必要がある場合は、以下の手順に従って手動でシンセティックレスポンスと条件を作成することができます。

1. Fastly コントロールパネルにログインします。
2. Home ページから、適切なサービスを選択します。検索ボックスで ID、名称、ドメインによる検索が行えます。
3. Edit configuration をクリックし、アクティブなバージョンをクローンするオプションを選択します。
4. Content をクリックします。

5. Set up advanced response をクリックします。

   

6. 以下の要領で Create a synthetic response ページの各フィールドに入力します。

   • Name フィールドに適切な名前を入力します。例: robots.txt。
   • Status メニューは変更せずにデフォルトの 200 OK にしておきます。
   • MIME Type フィールドに text/plain と入力します。
   • Response フィールドに、User-agent 文字列と Disallow 文字列を少なくとも1つ入力します。上の例では、すべてのユーザーエージェントに (User-agent: * 文字列によって)、/tmp/ ディレクトリや /foo.html ファイル (それぞれ Disallow: /tmp/* と Disallow: /foo.html 文字列によって) 配下のクロールを許可しないように指示しています。

7. Create をクリックします。

8. 新たに作成されたレスポンスの右側にある Attach a condition リンクをクリックします。

   

9. 以下の要領で Create a condition ページの各フィールドに入力します。

   • Type メニューから、適用したい条件を選択します (例: Request)。
   • Name フィールドに、条件を説明する名前を入力します (例: Robots)。
   • Apply if フィールドに、条件が true か false かを判断するために VCL 内で実行する論理式を入力します。この場合、論理式は robots.txt ファイルの場所になります (例: req.url.path == "/robots.txt")。

10. Save をクリックします。

11. Activate をクリックして設定への変更をデプロイします。

global.prod.fastly.net で robots.txt ファイルをカスタマイズできない理由

ブラウザや curl コマンドでドメインに .global.prod.fastly.net 拡張子を追加すると (例: www.example.com.global.prod.fastly.net)、Fastly のサービスを使って本番サイトがどのように動作するかをテストすることができます。

Google が誤ってこのテスト URL をクロールするのを防ぐために、Fastly は内部 robots.txt ファイルを用意しました。このファイルは Google の Web クローラーが .prod.fastly.net で終わるホスト名の全ページを無視するように指示します。

この内部 robots.txt ファイルは、ドメインの CNAME DNS レコードが global.prod.fastly.net を指すように設定されるまで、Fastly コントロールパネルにてカスタマイズすることはできません。