ログストリーミング:Google Cloud Storage

Fastly の リアルタイムログストリーミング機能によって、Google Cloud Storage (GCS) にログファイルを送信することができます。GCSは、Google のインフラにてデータを保存・アクセスするために使用されるオンラインファイルストレージサービスです。GCS を使用する利点のひとつに、Google BigQuery を使用してログファイルを分析できることが挙げられます。

前提条件

Fastly サービスのログエンドポイントとして GCS を追加する前に、以下が必要です。

  • GCS アカウントの登録
  • Google の Web サイトにてバケットとサービスアカウントを作成
  • サービスアカウントに関連付けられた JSON ファイルから private_keyclient_email を取得
  • Google Cloud Storage JSON API を有効化

GCS バケットを作成する

ログを格納するために、新しい GCS バケットを作成または既存のバケットを利用することもできます。後で必要になりますので、バケットの名前を記録しておいてださい。GCS バケットの作成方法は、Google のバケットの作成ガイドをご参照ください。

サービスアカウントを作成する

GCS は、第三者アプリケーション認証にてサービスアカウントを使用します。Google の Web サイトに Storage Object Creator の役割を持つ新しいサービスアカウントを作成します。その際、アカウントを GCS バケットのメンバーとして追加してください。サービスアカウントの作成方法は、Google のサービスアカウントの認証情報の生成ガイドをご覧ください。サービスアカウント作成の際は、必ず Key TypeJSON に設定してください。

秘密鍵とクライアントメールの取得

サービスアカウントを作成すると、JSON ファイルがコンピュータにダウンロードされます。このファイルには、先ほど作成した GCS サービスアカウントの認証情報が含まれています。テキストエディターでファイルを開き、private_keyclient_email を記録しておきます。

Google Cloud Storage JSON API を有効にする

Fastly ログが GCS バケットに送信するには、Google Cloud Storage JSON API を有効にする必要があります。詳しい情報は、Google の API を有効にする方法をご覧ください。

ログエンドポイントとして GCS を追加

次の指示に従って、ログエンドポイントとして GCS を追加してください。

  1. リモートログストリーミングの設定に関するガイドの情報をご参照ください。
  2. Google Cloud Services Create endpoint ボタンをクリックします。Create a Google Cloud Storage (GCS) endpoint ページが表示されます。
  3. Create a Google Cloud Storage (GCS) endpoint 欄に、以下のように記入します。
    • Name フィールドに分かりやすいエンドポイントの名前を入力します。
    • Placement セクションでは、生成される VCL にログコールが配置される場所を選択します。有効な値は Format Version Defaultwaf_debug (waf_debug_log)None です。詳細については、ログ配置の変更に関するガイドをご参照ください。
    • Log format フィールドに、ログの形式に使用する Apache 形式の文字列や VCL 変数を任意で入力します。詳細については、フォーマットの例をご参照ください。
    • Timestamp format フィールドに、ログファイルのタイムスタンプ形式を任意で入力します。デフォルトは strftime 互換形式の文字列です。詳細については、ログファイルの書き込み先の変更に関するガイドをご参照ください。
    • Email 欄には、client_email Google の Web サイトで作成したサービスアカウントに関連付けられた JSON ファイルに記載されているアドレスを入力します。
    • Bucket name 欄に、ログを保存する GCS バケットの名前を入力します。
    • Secret key 欄には、private_key Google の Web サイトで作成したサービスアカウントに関連付けられた JSON ファイルに記載されている値を入力します。JSON の改行エスケープ処理は Fastly が行いますので、削除する必要はありません。
    • PGP public key フィールドに、Fastly がディスクに書き込む前にログファイルを暗号化するために使用する PGP 公開鍵を任意で入力します。お客様は、秘密鍵で復号化することによってのみ、コンテンツを読むことができます。PGP キーは PEM (プライバシー強化メール) 形式でなければなりません。詳細については、ログの暗号化に関するガイドをご参照ください。
    • Period フィールドに、ログファイルのローテーションの頻度をコントロールするための間隔 (秒単位) を任意で入力します。この値はデフォルトで3600秒に設定されています。
  4. Create a Google Cloud Storage (GCS) endpoint ページの Advanced options リンクをクリックし、必要であればフィールドを変更します。
  5. Create a Google Cloud Storage (GCS) endpoint ぺージの Advanced options に、次のように入力します。
    • Path フィールドには、ファイルを保存するバケット内のパスを任意で入力します。パスの末尾にはスラッシュが付きます。このフィールドを空にすると、ファイルはバケットのルートパスに保存されます。詳細については、ログファイルの書き込み先の変更に関するガイドをご参照ください。
    • Select a log line format のセクションで、ログメッセージのログライン形式を選択します。詳細については、ログライン形式の変更に関するガイドをご覧ください。
    • Compression フィールドに、ログファイルに適用する圧縮形式を任意で選択します。詳細については、ログ圧縮オプションの変更に関するガイドをご参照ください。
  6. Create ボタンをクリックすると、新しいログエンドポイントが作成されます。
  7. Activate ボタンをクリックして設定変更をデプロイします。

の形式例

GCS にデータを送信するための文字列の形式例はこちらです。詳細については、形式文字列に関するガイドをご覧ください。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
{
  "timestamp": "%{strftime(\{"%Y-%m-%dT%H:%M:%S%z"\}, time.start)}V",
  "client_ip": "%{req.http.Fastly-Client-IP}V",
  "geo_country": "%{client.geo.country_name}V",
  "geo_city": "%{client.geo.city}V",
  "host": "%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V",
  "url": "%{json.escape(req.url)}V",
  "request_method": "%{json.escape(req.method)}V",
  "request_protocol": "%{json.escape(req.proto)}V",
  "request_referer": "%{json.escape(req.http.referer)}V",
  "request_user_agent": "%{json.escape(req.http.User-Agent)}V",
  "response_state": "%{json.escape(fastly_info.state)}V",
  "response_status": %{resp.status}V,
  "response_reason": %{if(resp.response, "%22"+json.escape(resp.response)+"%22", "null")}V,
  "response_body_size": %{resp.body_bytes_written}V,
  "fastly_server": "%{json.escape(server.identity)}V",
  "fastly_is_edge": %{if(fastly.ff.visits_this_service == 0, "true", "false")}V
}
Back to Top