Compute@Edge ログストリーミング: Google BigQuey

Fastly の Compute@Edge サービスのリアルタイムログストリーミング機能では、ログファイルを Google が管理するエンタープライズ・データ・ウェアハウスの BigQuery に送信することができます。

前提条件

Fastly の Compute@Edge サービスのログエンドポイントとして BigQuery を追加する前に以下を行う必要があります。

サービスアカウントを作成する

BigQuery はサービスアカウントを使用して第三者アプリケーションの認証を行います。新しいサービスアカウントを作成するには、Google Cloud のドキュメントの指示に従ってください。サービスアカウントを作成する際には以下のことにご留意ください。

  • サービスアカウントは、Fastly のログで使用されるテーブルに書き込むため、Big Query Data Editor のロールが割り当てられている必要があります。BigQuery Data Editor のロールに割り当てられているデフォルトの権限の詳細については、Google のドキュメントにある BigQuery のロールに関するセクションを参照してください。

    サービスアカウント作成パネル

  • サービスの秘密鍵のペアを作成する際に、鍵のタイプを JSON に設定します。

秘密鍵とクライアントメールの取得

BigQuery サービスアカウントを作成する際、JSON ファイルがお客様のコンピューターに自動的にダウンロードされます。このファイルには、BigQuery サービスアカウントの認証情報が含まれています。ファイルを開き、 private_keyclient_email フィールドの値を書き留めておいてください。

BigQuery API を有効にする

Fastly のログを BigQuery テーブルに送信するには、Google Cloud Platform の API Manager で BigQuery API を有効にする必要があります。

BigQuery データセットを作成する

BigQuery API を有効化した後、以下の指示に従って BigQuery データセットを作成してください。

  1. Cloud Console で BigQuery のページを開きます。
  2. Explorer パネルで、データセットを作成するプロジェクトを選択します。
  3. 詳細パネルで、Create Dataset をクリックします。
  4. Dataset ID フィールドにデータセットの名前を入力します(例:fastly_bigquery)。
  5. Create dataset ボタンをクリックします。

BigQuery テーブルを追加する

BigQuery データセットを作成した後、BigQuery テーブルを追加する必要があります。テーブルのスキーマを作成するには、4 つの方法があります。

  • BigQuery の Web インターフェイスを使用してスキーマを編集する。
  • BigQuery の Web インターフェイスのテキストフィールドを使用する。
  • 既存のテーブルを使用する。
  • スキーマが自動的に検出されるようにテーブルを設定します。

BigQuery テーブルを追加するには、以下の手順に従ってください。

  1. Cloud Console で BigQuery のページを開きます。
  2. Explorer パネルでプロジェクトを展開し、前に作成した BigQuery データセットを選択します。
  3. Source セクションの Create table from メニューから Empty table を選択します。Create table ダイアログが表示れます。

    BigQuery テーブル作成のページ

  4. Table name フィールドにテーブルの名前を入力します (例: logs)。
  5. BigQuery Web サイトの Schema セクションでインターフェイスを使用してフィールドを追加し、スキーマを完成させます。詳細についてはスキーマの例のセクションを参照してください。
  6. Create Table ボタンをクリックします。

ログエンドポイントとして BigQuery を追加する

以下の手順に従って、ログエンドポイントとして BigQuery を追加してください。

  1. リモートログストリーミングの設定に関するガイドの情報をご参照ください。

  2. Google BigQuery の Create endpoint ボタンをクリックします。Create a BigQuery endpoint ページが表示されます。
  3. 以下の要領で Create a BigQuery endpoint ページの各フィールドに入力してください。
    • Name フィールドに、Compute@Edge コードに指定した名前を入力します。例えば、Rust コードの例では、名前は my_endpoint_name です。
    • Email フィールドに、BigQuery サービスアカウントに関連付けられた client_email アドレスを入力します。
    • Secret key フィールドに、BigQuery サービスアカウントに関連付けられた private_key の値を入力します。
    • Project ID フィールドには、Google Cloud Platform プロジェクトの ID を入力します。
    • Dataset フィールドに、BigQuery データセットの名前を入力します。
    • Table フィールドに、BigQuery テーブルの名前を入力します。
    • Template フィールドに、strftimeとして使用する と互換性のある文字列を任意で入力します。
  4. Create ボタンをクリックすると、新しいログエンドポイントが作成されます。
  5. Activate ボタンをクリックして設定変更をデプロイします。

推奨されるログ形式

BigQuery に送信されたデータは JSON オブジェクトとしてシリアル化され、JSON オブジェクト内のすべてのフィールが、テーブルのスキーマ内のフィールドにマッピングされる必要があります。JSON にはネストされたデータが入っていることがあります (例、オブジェクトのキーを値が別のオブジェクトである場合があります)。以下は、BigQuery にデータを送信するためのフォーマット文字列の例です。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
{
  "client_ip": "127.0.0.1",
  "timestamp": "2022-05-17 15:09:24.037547 UTC",
  "geo_country": "USA",
  "geo_city": "boston",
  "host": "curiously-selected-polecat.edgecompute.app",
  "url": "https://curiously-selected-polecat.edgecompute.app/",
  "request_method": "GET",
  "request_protocol": "https",
  "request_referer": "",
  "request_user_agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36",
  "response_status": "200",
  "response_reason": "OK",
  "response_body_size": "1234",
  "fastly_server": "IAD"
}

スキーマの例

上記のフォーマット例の場合、BigQuery のスキーマは以下のようになります。

1
client_ip:STRING,timestamp:TIMESTAMP,geo_country:STRING,geo_city:STRING,host:STRING,url:STRING,request_method:STRING,request_protocol:STRING,request_referer:STRING,request_user_agent:STRING,response_status:STRING,response_reason:STRING,response_body_size:STRING,fastly_server:STRING
Back to Top