ログストリーミング：Google BigQuery

  最終更新日 2022-09-30

Fastlyのリアルタイムログストリーミング機能では、Googleが管理するエンタープライズデータウェアハウスであるBigQueryにログファイルを送信することができます。

前提条件

Fastly サービスのログエンドポイントとして BigQuery を追加する前に以下が必要です。

サービスアカウントを作成する

BigQuery はサービスアカウントを使用して第三者アプリケーションの認証を行います。新しいサービスアカウントを作成するには、Google Cloud のドキュメントの指示に従ってください。サービスアカウントを作成する際には以下のことにご留意ください。

  • サービスアカウントは、Fastly のログで使用されるテーブルに書き込むため、Big Query Data Editor のロールが割り当てられている必要があります。BigQuery Data Editor のロールに割り当てられているデフォルトの権限の詳細については、Google のドキュメントにある BigQuery のロールに関するセクションを参照してください。

    サービスアカウント作成パネル

  • サービスの秘密鍵のペアを作成する際に、鍵のタイプをJSONに設定します。

Fastly でキーを保存することを回避するために、Google サービスアカウントの偽装を使用ことを選択した場合、この同じサービスアカウントを使用することができます。Google IAM ロールの作成ガイドでは、この限定提供版の機能の詳細を説明しています。

秘密鍵とクライアントメールの取得

BigQuery サービスアカウントを作成する際、JSON ファイルがお客様のコンピューターに自動的にダウンロードされます。このファイルには、BigQuery サービスアカウントの認証情報が含まれています。ファイルを開き、 private_keyとclient_emailフィールドの値を書き留めておいてください。

BigQuery API を有効にする

Fastly のログを BigQuery テーブルに送信するには、Google Cloud Platform の API Managerで BigQuery API を有効にする必要があります。

BigQuery データセットを作成する

BigQuery API を有効化した後、以下の指示に従って BigQuery データセットを作成してください。

  1. Cloud Console でBigQuery のページを開きます。
  2. Explorerパネルで、データセットを作成するプロジェクトを選択します。
  3. 詳細パネルで、Create Datasetをクリックします。
  4. Dataset IDフィールドにデータセットの名前を入力します(例：fastly_bigquery)。
  5. Create datasetボタンをクリックします。

BigQuery テーブルを追加する

BigQuery データセットを作成した後、BigQuery テーブルを追加する必要があります。テーブルのスキーマを作成するには、4 つの方法があります。

  • BigQuery の Web インターフェイスを使用してスキーマを編集する。
  • BigQuery の Web インターフェイスのテキストフィールドを使用する。
  • 既存のテーブルを使用する。
  • スキーマが自動的に検出されるようにテーブルを設定します。

BigQuery テーブルを追加するには、以下の手順に従ってください。

  1. Cloud Console でBigQuery のページを開きます。
  2. Explorer パネルでプロジェクトを展開し、前に作成した BigQuery データセットを選択します。

  3. SourceセクションのCreate table fromメニューからEmpty tableを選択します。Create tableダイアログが表示れます。

    BigQuery テーブル作成のページ

  4. Table nameフィールドにテーブルの名前を入力します (例：logs)。
  5. BigQuery Web サイトのSchemaセクションでインターフェイスを使用してフィールドを追加し、スキーマを完成させます。詳細についてはスキーマの例のセクションを参照してください。
  6. Create Tableボタンをクリックします。

ログエンドポイントとして BigQuery を追加する

以下の手順に従って、ログエンドポイントとして BigQuery を追加してください。設定の一環として、機密情報の保存を回避するために、Google IAM ロールベースのサービスアカウントの偽装の設定を選択できます。この限定提供版の機能の詳細については、Google IAM ロールの作成ガイドをご覧ください。

  1. リモートログストリーミングの設定に関するガイドの情報をご参照ください。
  2. Google BigQuery のCreate endpointボタンをクリックします。Create a BigQuery endpoint ページが表示されます。
  3. 以下の要領で Create a BigQuery endpoint ページの各フィールドに入力してください。
    • Name フィールドに分かりやすいエンドポイントの名前を入力します。
    • Placement セクションでは、生成される VCL にログコールが配置される場所を選択します。有効な値は Format Version Default、waf_debug (waf_debug_log)、None です。詳細については、ログ配置の変更に関するガイドをご参照ください。
    • Log format フィールドに、BigQuery に送信するデータを入力します。詳細は形式の例のセクションを参照してください。
    • Access Method セクションで、ログ配信の目的で Fastly が Google リソースにアクセスする方法を選択します。User Credentials または IAM Role を選択します。
    • ユーザーUser Credentialsを選択した場合、以下のフィールドを入力します。
      • Email フィールドに、BigQuery サービスアカウントに関連付けられた client_email アドレスを入力します。
      • Secret key フィールドに、BigQuery サービスアカウントに関連付けられた private_key の値を入力します。
      • Project IDフィールドには、Google Cloud Platform プロジェクトの ID を入力します。
      • Datasetフィールドに、BigQuery データセットの名前を入力します。
      • Tableフィールドに、BigQuery テーブルの名前を入力します。
      • Templateフィールドに、テーブルのテンプレートサフィックスとして使用する strftimeと互換性のある文字列を任意で入力します。
    • IAM ロールを選択した場合、以下のフィールドを入力します。
      • サービスアカウント名フィールドに、Google IAM サービスアカウントの偽装を設定する際に選択したサービスアカウントのメールアドレスの名前を入力します。
      • Project IDフィールドには、Google Cloud Platform プロジェクトの ID を入力します。
      • Datasetフィールドに、BigQuery データセットの名前を入力します。
      • Tableフィールドに、BigQuery テーブルの名前を入力します。
      • Template フィールドに、strftimeとして使用する テーブルのテンプレートサフィックス と互換性のある文字列を任意で入力します。
  4. Create ボタンをクリックすると、新しいログエンドポイントが作成されます。
  5. Activate ボタンをクリックして設定変更をデプロイします。

の形式例

BigQuery に送信されたデータは JSON オブジェクトとしてシリアル化され、JSON オブジェクト内のすべてのフィールが、テーブルのスキーマ内の文字列にマッピングされる必要があります。JSON にはネストされたデータが入っていることがあります (例、オブジェクトのキーを値が別のオブジェクトである場合があります）。以下は、BigQuery にデータを送信するためのフォーマット文字列の例です。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

{
  "timestamp": "%{strftime(\{"%Y-%m-%dT%H:%M:%S"\}, time.start)}V",
  "client_ip": "%{req.http.Fastly-Client-IP}V",
  "geo_country": "%{client.geo.country_name}V",
  "geo_city": "%{client.geo.city}V",
  "host": "%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V",
  "url": "%{json.escape(req.url)}V",
  "request_method": "%{json.escape(req.method)}V",
  "request_protocol": "%{json.escape(req.proto)}V",
  "request_referer": "%{json.escape(req.http.referer)}V",
  "request_user_agent": "%{json.escape(req.http.User-Agent)}V",
  "response_state": "%{json.escape(fastly_info.state)}V",
  "response_status": %{resp.status}V,
  "response_reason": %{if(resp.response, "%22"+json.escape(resp.response)+"%22", "null")}V,
  "response_body_size": %{resp.body_bytes_written}V,
  "fastly_server": "%{json.escape(server.identity)}V",
  "fastly_is_edge": %{if(fastly.ff.visits_this_service == 0, "true", "false")}V
}

スキーマの例

上記のフォーマット例の場合、BigQuery のスキーマは以下のようになります。

1

timestamp:TIMESTAMP,client_ip:STRING,geo_country:STRING,geo_city:STRING,host:STRING,url:STRING,request_method:STRING,request_protocol:STRING,request_referer:STRING,request_user_agent:STRING,response_state:STRING,response_status:STRING,response_reason:STRING,response_body_size:STRING,fastly_server:STRING,fastly_is_edge:BOOLEAN
Back to Top