ログストリーミング:Google Cloud Pub/Sub

Fastly の リアルタイムログストリーミング機能は、Google のグローバルメッセージおよびイベントデータ取り込み製品である Cloud Pub/Sub にログファイルを送信することができます。

前提条件

Fastly サービスのログエンドポイントとして Cloud Pub/Sub を追加する前に、Google Cloud Platform (GCP) アカウントに登録する必要があります。

  • Google の Web サイトでサービスアカウントを作成します。
  • Google Cloud コンソールの Pub/Sub セクションに移動します。画面の指示に従って API を有効化します。
  • Pub/Sub トピックを作成します。
  • Pub/Sub トピックに設定されたサービスアカウントに関連付けられた JSON ファイルから秘密鍵を取得します。

ログエンドポイントとして Cloud Pub/Sub を追加する

次の指示に従って、ログエンドポイントとして Cloud Pub/Sub を追加してください。

  1. リモートログストリーミングの設定に関するガイドの情報をご参照ください。
  2. Google Cloud Pub/Sub Create endpoint ボタンをクリックします。Google Cloud Pub/Sub エンドポイント作成ページが表示されます。
  3. Create a Google Cloud Pub/Sub endpoint 欄に以下のように記入します。
    • Name フィールドに分かりやすいエンドポイントの名前を入力します。
    • Placement セクションでは、生成される VCL にログコールが配置される場所を選択します。有効な値は Format Version Defaultwaf_debug (waf_debug_log)None です。詳細については、ログ配置の変更に関するガイドをご参照ください。
    • Log format 欄に、Google Cloud Pub/Sub に送信するデータを入力します。詳しくは、フォーマットの例をご覧ください。
    • Project ID 欄には、Google Cloud Platform プロジェクトの ID を入力します。
    • Email 欄に、Pub/Sub トピックに設定されたサービスアカウントのメールアドレスを入力します。
    • Topic 欄には、ログを送信先となる Pub/Sub トピックを入力します。
    • Secret Key 欄には、Pub/Sub トピックに設定されたサービスアカウントに関連付けられた秘密鍵の正確な値を入力します。
  4. Create ボタンをクリックすると、新しいログエンドポイントが作成されます。
  5. Activate ボタンをクリックして設定変更をデプロイします。

フォーマットの例

Cloud Pub/Sub に送信されたデータは JSON オブジェクトとしてシリアル化され、JSON オブジェクト内のフィールドはすべて、テーブルのスキーマ内の文字列にマッピングされる必要があります。JSON にはネストされたデータが入っていることがあります (例、オブジェクトのキーを値が別のオブジェクトである場合があります)。データを送信するためのフォーマット文字列の例は、こちらです。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
{
  "timestamp": "%{strftime(\{"%Y-%m-%dT%H:%M:%S%z"\}, time.start)}V",
  "client_ip": "%{req.http.Fastly-Client-IP}V",
  "geo_country": "%{client.geo.country_name}V",
  "geo_city": "%{client.geo.city}V",
  "host": "%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V",
  "url": "%{json.escape(req.url)}V",
  "request_method": "%{json.escape(req.method)}V",
  "request_protocol": "%{json.escape(req.proto)}V",
  "request_referer": "%{json.escape(req.http.referer)}V",
  "request_user_agent": "%{json.escape(req.http.User-Agent)}V",
  "response_state": "%{json.escape(fastly_info.state)}V",
  "response_status": %{resp.status}V,
  "response_reason": %{if(resp.response, "%22"+json.escape(resp.response)+"%22", "null")}V,
  "response_body_size": %{resp.body_bytes_written}V,
  "fastly_server": "%{json.escape(server.identity)}V",
  "fastly_is_edge": %{if(fastly.ff.visits_this_service == 0, "true", "false")}V
}
Back to Top