ログストリーミング：Google BigQuery

  最終更新日 2021-09-01

Fastly の リアルタイムログストリーミング機能により、Google が管理するエンタープライズデータウェアハウスの BigQuery に、ログファイルを送信することができます。

前提条件

Fastly サービスのログエンドポイントとして BigQuery を追加する前に以下が必要です。

サービスアカウントを作成する

BigQuery はサービスアカウントを使用して第三者アプリケーションの認証を行います。新しいサービスアカウントを作成するには、Google Cloud のドキュメントの指示に従ってください。 サービスアカウントを作成する際には以下のことにご留意ください。

  • サービスアカウントは、Fastly のログで使用されるテーブルに書き込むため、Big Query Data Editor のロールが割り当てられている必要があります。Big Query Data Editor のロールに割り当てられるデフォルト権限の詳細については Google のガイドの BigQuery Roles に関するセクションを参照してください。

    サービスアカウントパネルを作成する

  • サービスの秘密鍵のペアを作成する際に、鍵のタイプを JSON に設定します。

秘密鍵とクライアントのメールアドレスの取得

BigQuery サービスアカウントを作成する際、JSONファイルがお客様のコンピューターに自動的にダウンロードされます。このファイルには、BigQuery サービスアカウントの認証情報が含まれています。ファイルを開き、 private_key と client_email フィールドの値を書き留めておいてください。

BigQuery API を有効にする

Fastly のログを BigQuery テーブルに送信するには、Google Cloud Platform の API Manager で BigQuery API を有効にする必要があります。

BigQuery データセットを作成する

BigQuery API を有効化した後、以下の指示に従って BigQuery データセットを作成してください。

  1. Cloud Console で BigQuery のページを開きます。
  2. Explorer パネルで、データセットを作成するプロジェクトを選択します。
  3. 詳細パネルで、Create Dataset をクリックします。
  4. Dataset ID フィールドにデータセットの名前を入力します(例：fastly_bigquery)。
  5. Create dataset ボタンをクリックします。

BigQuery テーブルを追加する

BigQuery データセットを作成した後、BigQuery テーブルを追加する必要があります。テーブルのスキーマを作成するには、4つの方法があります。

  • BigQuery の Web インターフェイスを使用してスキーマを編集する。
  • BigQuery の Web インターフェイスのテキストフィールドを使用する。
  • 既存のテーブルを使用する。
  • スキーマが自動的に検出されるようにテーブルを設定します。

BigQuery テーブルを追加するには、以下の手順に従ってください。

  1. Cloud Console で BigQuery のページを開きます。
  2. Explorer パネルでプロジェクトを展開し、前に作成した BigQuery データセットを選択します。

  3. Source セクションの Create table from メニューから Empty table を選択します。Create table ダイアログが表示れます。

    BigQuery 作成テーブルのページ

  4. Table name フィールドにテーブルの名前を入力します (例：logs)。
  5. BigQuery Web サイトの Schema セクションでインターフェイスを使用してフィールドを追加し、スキーマを完成させます。詳細については、スキーマの例のセクションを参照してください。
  6. Create Table ボタンをクリックします。

ログエンドポイントとして BigQuery を追加する

以下の手順に従って、ログエンドポイントとして BigQuery を追加してください。

  1. リモートログストリーミングの設定に関するガイドの情報をご参照ください。
  2. Google BigQuery の Create endpoint ボタンをクリックします。Create a BigQuery endpoint ページが表示されます。
  3. 以下の要領で Create a BigQuery endpoint ページの各フィールドに入力してください。
    • Name フィールドに分かりやすいエンドポイントの名前を入力します。
    • Placement セクションでは、生成される VCL にログコールが配置される場所を選択します。有効な値は Format Version Default、waf_debug (waf_debug_log)、None です。詳細については、ログ配置の変更に関するガイドをご参照ください。
    • Log format フィールドに、BigQuery に送信するデータを入力します。詳細については、フォーマット例のセクションをご参照ください。
    • Email フィールドに、BigQuery サービスアカウントに関連付けられた client_email アドレスを入力します。
    • Secret key フィールドに、BigQuery サービスアカウントに関連付けられた private_key#プライベートキーとクライアント-email-の取得) の値を入力します。
    • Project ID フィールドに、Google Cloud Platform プロジェクトの ID を入力します。
    • Dataset フィールドに、BigQuery データセットの名前を入力します。
    • Table フィールドに、BigQuery テーブルの名前を入力します。
    • Template フィールドに、strftimeテーブルのテンプレートサフィックスとして使用する互換性のある文字列を任意で入力します。
  4. Create ボタンをクリックすると、新しいログエンドポイントが作成されます。
  5. Activate ボタンをクリックして設定変更をデプロイします。

フォーマットの例

BigQuery に送信されたデータは JSON オブジェクトとしてシリアル化され、JSON オブジェクト内のすべてのフィールが、テーブルのスキーマ内の文字列にマッピングされる必要があります。JSON にネストされたデータが入っていることがあります (例えばオブジェクトのキーの値が別のオブジェクトである場合など）。以下は、BigQuery にデータを送信するためのフォーマット文字列の例です。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

{
  "timestamp": "%{strftime(\{"%Y-%m-%dT%H:%M:%S%z"\}, time.start)}V",
  "client_ip": "%{req.http.Fastly-Client-IP}V",
  "geo_country": "%{client.geo.country_name}V",
  "geo_city": "%{client.geo.city}V",
  "host": "%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V",
  "url": "%{json.escape(req.url)}V",
  "request_method": "%{json.escape(req.method)}V",
  "request_protocol": "%{json.escape(req.proto)}V",
  "request_referer": "%{json.escape(req.http.referer)}V",
  "request_user_agent": "%{json.escape(req.http.User-Agent)}V",
  "response_state": "%{json.escape(fastly_info.state)}V",
  "response_status": %{resp.status}V,
  "response_reason": %{if(resp.response, "%22"+json.escape(resp.response)+"%22", "null")}V,
  "response_body_size": %{resp.body_bytes_written}V,
  "fastly_server": "%{json.escape(server.identity)}V",
  "fastly_is_edge": %{if(fastly.ff.visits_this_service == 0, "true", "false")}V
}

スキーマの例

上記のフォーマット例の場合、BigQuery のスキーマは以下のようになります。

1

timestamp:TIMESTAMP,client_ip:STRING,geo_country:STRING,geo_city:STRING,host:STRING,url:STRING,request_method:STRING,request_protocol:STRING,request_referer:STRING,request_user_agent:STRING,response_state:STRING,response_status:STRING,response_reason:STRING,response_body_size:STRING,fastly_server:STRING,fastly_is_edge:BOOLEAN
Back to Top