- English
- 日本語
ログストリーミング: Google BigQuery
最終更新日 2023-12-01
Fastly のリアルタイムログストリーミング機能では、Googleが管理するエンタープライズデータウェアハウスである BigQuery にログファイルを送信することができます。
注意
Fastly ではサードパーティのサービスに関する直接のサポートは行っておりません。詳細については、Fastly のご利用規約をご覧ください。
前提条件
Fastly サービスのログエンドポイントとして BigQuery を追加する前に以下が必要です。
- Google Cloud Platform (GCP) アカウントに登録します。
- Google の Webサイトでサービスアカウントを作成します。
- Google IAM サービスアカウントの偽装やキーベースのアクセスを使用して、Fastly がログを送信するために使用するアクセスメソッドを設定します。
- BigQuery API を有効にします。
- BigQuery のデータセットを作成します。
- BigQuery テーブルを追加します。
サービスアカウントを作成する
Google Cloud Platform (GCP) は、Google Cloud リソースへのサードパーティのアプリケーション認証とロールベースのアクセスのためにサービスアカウントを使用します。新しいサービスアカウントを作成するには、Google Cloud のドキュメントの指示に従ってください。
注意
BigQuery にログを配信するためにサービスアカウントを作成する場合、Fastly のログに利用するテーブルに書き込む Big Query Data Editor
ロールをサービスアカウントに割り当てなければなりません。 BigQuery Data Editor のロールに割り当てられているデフォルトの権限の詳細については、BigQuery のロールに関する当てられているデフォルトの権限の詳細については、Google のガイドを参照してください。
サービスアカウントへのアクセスを設定する
Fastly は、BigQuery のテーブルにログを書き込みたい場合、アクセスを必要とします。Google IAM サービスアカウントの偽装やキーベースのアクセスを使用して、Fastly が BigQuery にログを送信できるようにすることができます。
Google IAM サービスアカウントの偽装の設定
Fastly でキーを保存することを避けるために、Google IAM サービスアカウントの偽装の使用を選択した場合、上記で作成した同じサービスアカウントを使用することができます。Google IAM ロール作成に関するガイドでは、この機能の構成の詳細を説明しています。
キーベースのアクセスの設定
キーベースのアクセスの使用を選択した場合、サービスアカウントの認証情報の生成に関する Google のガイドを参照してください。
キーベースのアクセスを設定する場合、JSON 形式を選択する必要があります。設定を保存すると、作成したばかりのGCS サービスアカウントの認証情報を含む JSON ファイルがコンピュータにダウンロードされます。テキストエディターでファイルを開き、private_key
と client_email
を記録しておきます。
BigQuery API を有効にする
Fastly のログを BigQuery テーブルに送信するには、Google Cloud Platform の API Managerで BigQuery API を有効にする必要があります。
BigQuery データセットを作成する
BigQuery API を有効化した後、以下の指示に従って BigQuery データセットを作成してください。
- Cloud Console で BigQuery のページを開きます。
- Explorer パネルで、データセットを作成するプロジェクトを選択します。
- 詳細パネルで、Create Dataset をクリックします。
- Dataset IDフィールドにデータセットの名前を入力します(例:
fastly_bigquery
)。 - Create dataset をクリックします。
BigQuery テーブルを追加する
BigQuery データセットを作成した後、BigQuery テーブルを追加する必要があります。テーブルのスキーマを作成するには、4つの方法があります。
- BigQuery のコントロールパネルを使用してスキーマを編集する。
- BigQuery のコントロールパネルのテキストフィールドを使用する。
- 既存のテーブルを使用する。
- スキーマが自動的に検出されるようにテーブルを設定します。
注意
スキーマが自動的に検出されるようにテーブルを設定すると、予期しない結果が生じる可能性があります。
BigQuery テーブルを追加するには、以下の手順に従ってください。
Cloud Console で BigQuery のページを開きます。
Explorer パネルでプロジェクトを展開し、前に作成した BigQuery データセットを選択します。
Source セクションの Create table from メニューから Empty table を選択します。
Table name フィールドにテーブルの名前を入力します (例:
logs
)。BigQuery Webサイトの Schema セクションでインターフェイスを使用してフィールドを追加し、スキーマを完成させます。詳細についてはスキーマの例のセクションを確認してください。
Create Table をクリックします。
ログエンドポイントとして BigQuery を追加する
以下の手順に従って、ログエンドポイントとして BigQuery を追加してください。設定の一環として、機密情報の保存を回避するために、Google IAM ロールベースのサービスアカウントの偽装の設定を選択できます。この機能の詳細については、Google IAM ロールの作成ガイドをご覧ください。
- Deliver サービス
- Compute サービス
- リモートログストリーミングの設定に関するガイドをご確認ください。
- Google BigQuery エリアで、Create endpoint をクリックします。
- 以下の要領で Create a BigQuery endpoint ページの各フィールドに入力してください。
- Name フィールドに分かりやすいエンドポイントの名前を入力します。
- Placement セクションでは、生成される VCL にログコールが配置される場所を選択します。有効な値は Format Version Default、waf_debug (waf_debug_log)、None です。詳細については、ログ配置の変更に関するガイドをご覧ください。
- Log format フィールドに、BigQuery に送信するデータを入力します。詳細についてはフォーマットの例のセクションを確認してください。
- Access Method セクションで、ログ配信の目的で Fastly が Google リソースにアクセスする方法を選択します。User Credentials または IAM Role を選択します。
- User Credentials を選択した場合は、以下のフィールドに入力します。
- Email フィールドに、BigQuery サービスアカウントに関連付けられた
client_email
アドレスを入力します。 - Secret key フィールドに、BigQuery サービスアカウントに関連付けられた
private_key
の値を入力します。 - Project ID フィールドには、Google Cloud Platform プロジェクトの ID を入力します。
- Dataset フィールドに、BigQuery データセットの名前を入力します。
- Table フィールドに、BigQuery テーブルの名前を入力します。
- (オプション) Template フィールドに、テーブルのテンプレートサフィックスとして使用する
strftime
と互換性のある文字列を入力します。
- Email フィールドに、BigQuery サービスアカウントに関連付けられた
- IAM ロールを選択した場合、以下のフィールドを入力します。
- サービスアカウント名フィールドに、Google IAM サービスアカウントの偽装を設定する際に選択したサービスアカウントのメールアドレスの名前を入力します。
- Project ID フィールドには、Google Cloud Platform プロジェクトの ID を入力します。
- Dataset フィールドに、BigQuery データセットの名前を入力します。
- Table フィールドに、BigQuery テーブルの名前を入力します。
- (オプション) Template フィールドに、テーブルのテンプレートサフィックスとして使用する
strftime
と互換性のある文字列を入力します。
- Create をクリックして新規のログエンドポイントを作成します。
- Activate をクリックして設定への変更をデプロイします。
フォーマットの例
BigQuery に送信されたデータは JSON オブジェクトとしてシリアル化され、JSON オブジェクト内のすべてのフィールドが、テーブルのスキーマ内の文字列にマッピングされる必要があります。JSON にはネストされたデータが入っていることがあります (例として、オブジェクト内のキーの値は別のオブジェクトになる可能性があります)。以下は、BigQuery にデータを送信するための書式指定文字列の例です。
1{2 "timestamp": "%{strftime(\{"%Y-%m-%dT%H:%M:%S"\}, time.start)}V",3 "client_ip": "%{req.http.Fastly-Client-IP}V",4 "geo_country": "%{client.geo.country_name}V",5 "geo_city": "%{client.geo.city}V",6 "host": "%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V",7 "url": "%{json.escape(req.url)}V",8 "request_method": "%{json.escape(req.method)}V",9 "request_protocol": "%{json.escape(req.proto)}V",10 "request_referer": "%{json.escape(req.http.referer)}V",11 "request_user_agent": "%{json.escape(req.http.User-Agent)}V",12 "response_state": "%{json.escape(fastly_info.state)}V",13 "response_status": %{resp.status}V,14 "response_reason": %{if(resp.response, "%22"+json.escape(resp.response)+"%22", "null")}V,15 "response_body_size": %{resp.body_bytes_written}V,16 "fastly_server": "%{json.escape(server.identity)}V",17 "fastly_is_edge": %{if(fastly.ff.visits_this_service == 0, "true", "false")}V18}
スキーマの例
上記の形式の例の場合、BigQuery のスキーマは以下のようになります。
timestamp:TIMESTAMP,client_ip:STRING,geo_country:STRING,geo_city:STRING,host:STRING,url:STRING,request_method:STRING,request_protocol:STRING,request_referer:STRING,request_user_agent:STRING,response_state:STRING,response_status:STRING,response_reason:STRING,response_body_size:STRING,fastly_server:STRING,fastly_is_edge:BOOLEAN
翻訳についての注意事項
このフォームを使用して機密性の高い情報を送信しないでください。サポートが必要な場合は、サポートチームまでご連絡ください。このフォームは reCAPTCHA によって保護されており、Google のプライバシーポリシーと利用規約が適用されます。