ログストリーミング:Google Cloud Storage

Fastlyのリアルタイムログストリーミング機能では、Google Cloud Storage (GCS) にログファイルを送信することができます。GCS は、Google のインフラにてデータを保存・アクセスするために使用されるオンラインファイルストレージサービスです。GCS を使用する利点のひとつに、Google BigQueryを使用してログファイルを分析できることが挙げられます。

注意

Fastly ではサードパーティのサービスに関する直接のサポートは行っておりません。詳細については、Fastly のご利用規約をご覧ください。

前提条件

Fastly サービスのログエンドポイントとして GCS を追加する前に、以下が必要です。

  • GCS アカウントの登録
  • Google の Web サイトにてバケットとサービスアカウントを作成
  • Google IAM サービスアカウントの偽装やキーベースのアクセスを使用して、Fastly がログを送信するために使用するアクセスメソッドを設定します。
  • Google Cloud Storage JSON API を有効化

GCS バケットを作成する

ログを格納するために、新しい GCS バケットを作成または既存のバケットを利用することもできます。後で必要になりますので、バケットの名前を記録しておいてださい。GCS バケットの作成方法については、バケット作成に関する Google のガイドをご参照ください。

サービスアカウントを作成する

Google Cloud Platform (GCP) は、Google Cloud リソースへのサードパーティのアプリケーション認証とロールベースのアクセスのためにサービスアカウントを使用します。 新しいサービスアカウントを作成するには、Google Cloud のドキュメントの指示に従ってください。

注意

GCS にログを配信するためにサービスアカウントを作成する場合、上記で作成したバケットのStorage Object Creatorロールをサービスアカウントに割り当てなければなりません。 詳細については、ストレージオブジェクトロールを参照してください。

サービスアカウント作成パネル

サービスアカウントへのアクセスを設定する

Fastly は、GCS バケットのトピックにログを書き込みたい場合、アクセスを必要とします。 Google IAM サービスアカウントの偽装やキーベースのアクセスを使用して、Fastly が GCS バケット にログを送信できるようにすることができます。

Google IAM サービスアカウントの偽装の設定

Fastly でキーを保存することを避けるために、Google IAM サービスアカウントの偽装の使用を選択した場合、上記で作成した同じサービスアカウントを使用することができます。 Google IAM ロール作成に関するガイドでは、この機能の構成の詳細を説明しています。

キーベースのアクセスの設定

キーベースのアクセスの使用を選択した場合、サービスアカウントの認証情報の生成に関する Google のガイドを参照してください。

キーベースのアクセスを設定する場合、JSON 形式を選択する必要があります。 設定を保存すると、作成したばかりのGCS サービスアカウントの認証情報を含む JSON ファイルがコンピュータにダウンロードされます。 テキストエディターでファイルを開き、private_keyclient_email を記録しておきます。

Google Cloud Storage JSON API を有効にする

Fastly ログが GCS バケットに送信するには、Google Cloud Storage JSON API を有効にする必要があります。詳しい情報は、Google の API を有効にする方法をご参照ください。

ログエンドポイントとして GCS を追加

次の指示に従って、ログエンドポイントとして GCS を追加してください。設定の一環として、機密情報の保存を回避するために、Google IAM ロールベースのサービスアカウントの偽装の設定を選択できます。この機能の詳細については、Google IAM ロールの作成ガイドをご覧ください。

  1. 配信サービス
  2. Compute サービス
  1. リモートログストリーミングの設定に関するガイドをご確認ください。
  2. Google Cloud Services エリアで、Create endpoint をクリックします。
  3. Create a Google Cloud Storage (GCS) endpoint フィールドに、以下のように記入します。
    • Name フィールドに分かりやすいエンドポイントの名前を入力します。
    • Placement セクションでは、生成される VCL にログコールが配置される場所を選択します。有効な値は Format Version Defaultwaf_debug (waf_debug_log)None です。詳細については、ログ配置の変更に関するガイドをご覧ください。
    • Log format フィールドには、ログ形式に使用する Apache 形式の文字列や VCL 変数を任意で入力します。詳細については、形式例のセクションをご覧ください。
    • (オプション) Timestamp format フィールドに、ログファイルのタイムスタンプ形式を入力します。デフォルトでは strftime 互換文字列です。詳細については、ログファイルの書き込み先の変更に関するガイドを参照してください。
    • Email フィールドには、client_email Google の Web サイトで作成したサービスアカウントに関連付けられた JSON ファイルに記載されているアドレスを入力します。
    • Bucket nameフィールドに、ログを保存する GCS バケットの名前を入力します。
    • Access Method セクションで、ログ配信の目的で Fastly が Google リソースにアクセスする方法を選択します。有効な値は、User CredentialsIAM Role です。
    • User Credentials を選択した場合は、以下のフィールドに入力します。
      • Email フィールドには、client_email Google の Web サイトで作成したサービスアカウントに関連付けられた JSON ファイルに記載されているアドレスを入力します。
      • Secret key フィールドには、 Google の Web サイトで作成したサービスアカウントに関連付けられた JSON ファイルに記載されているprivate_key値を入力します。 JSON の改行エスケープ処理は Fastly が行いますので、削除する必要はありません。
    • IAM ロールを選択した場合、以下のフィールドに入力します。
      • サービスアカウント名フィールドに、Google IAM サービスアカウントの偽装を設定する際に選択したサービスアカウントのメールアドレスの名前を入力します。
    • (オプション) PGP public key フィールドに、Fastly がログファイルをディスクに書き込む前に、ログファイルを暗号化するために使用する PGP 公開鍵を入力します。秘密鍵で復号化することによってのみ、コンテンツを読み取ることができます。PGP 公開鍵は PEM (Privacy-Enhanced Mail) 形式でなければなりません。詳細については、ログの暗号化に関するガイドをご覧ください。
    • (オプション) Period フィールドに、ログファイルのローテーションの頻度をコントロールするための間隔 (秒単位) を入力します。ローテーションにより、1つのファイルオブジェクトが完了すると、新たなファイルオブジェクトが作成されます。以前に作成されたファイルオブジェクトが削除されることはありません。デフォルトでは3600秒に設定されています。
  4. Advanced options をクリックし、以下のようにフィールドに入力します。
    • (オプション) Path フィールドには、ファイルを保存するバケット内のパスを入力します。パスの末尾にスラッシュを付けます。このフィールドを空にすると、ファイルはバケットのルートパスに保存されます。詳細については、ログファイルの書き込み先の変更に関するガイドを参照してください。
    • Select a log line format のセクションで、ログメッセージのログライン形式を選択します。詳細については、ログライン形式の変更に関するガイドをご覧ください。
    • (オプション) Compression フィールドで、ログファイルに適用する圧縮形式を選択します。詳細については、ログ圧縮オプションの変更に関するガイドをご覧ください。
  5. Create をクリックして新規のログエンドポイントを作成します。
  6. Activate をクリックして設定への変更をデプロイします。

形式例

以下に示すのは、GCS にデータを送信する書式の例です。形式の詳細については、こちらをご覧ください。

1{
2 "timestamp": "%{strftime(\{"%Y-%m-%dT%H:%M:%S%z"\}, time.start)}V",
3 "client_ip": "%{req.http.Fastly-Client-IP}V",
4 "geo_country": "%{client.geo.country_name}V",
5 "geo_city": "%{client.geo.city}V",
6 "host": "%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V",
7 "url": "%{json.escape(req.url)}V",
8 "request_method": "%{json.escape(req.method)}V",
9 "request_protocol": "%{json.escape(req.proto)}V",
10 "request_referer": "%{json.escape(req.http.referer)}V",
11 "request_user_agent": "%{json.escape(req.http.User-Agent)}V",
12 "response_state": "%{json.escape(fastly_info.state)}V",
13 "response_status": %{resp.status}V,
14 "response_reason": %{if(resp.response, "%22"+json.escape(resp.response)+"%22", "null")}V,
15 "response_body_size": %{resp.body_bytes_written}V,
16 "fastly_server": "%{json.escape(server.identity)}V",
17 "fastly_is_edge": %{if(fastly.ff.visits_this_service == 0, "true", "false")}V
18}

翻訳についての注意事項
このガイドは役に立ちましたか?

このフォームを使用して機密性の高い情報を送信しないでください。サポートが必要な場合は、サポートチームまでご連絡ください。このフォームは reCAPTCHA によって保護されており、Google のプライバシーポリシー利用規約が適用されます。