ログストリーミング: Google Cloud Pub/Sub

Fastly のリアルタイムログストリーミング機能では、Google のグローバルメッセージングおよびイベントデータ取り込み製品である Cloud Pub/Sub にログファイルを送信することができます。

前提条件

Fastly サービスのログエンドポイントとして Cloud Pub/Sub を追加する前に、Google Cloud Platform (GCP) アカウントに登録する必要があります。

• Google のWebサイトでサービスアカウントを作成します。
• Google Cloud コンソールの Pub/Sub セクションに移動します。画面の指示に従って API を有効化します。
• Pub/Sub トピックを作成します。
• Google IAM サービスアカウントの偽装やキーベースのアクセスを使用して、Fastly がログを送信するために使用するアクセスメソッドを設定します。

サービスアカウントを作成する

Google Cloud Platform (GCP) は、Google Cloud リソースへのサードパーティのアプリケーション認証とロールベースのアクセスのためにサービスアカウントを使用します。新しいサービスアカウントを作成するには、Google Cloud のドキュメントの指示に従ってください。

サービスアカウントへのアクセスを設定する

Fastly は、Pub/Sub のトピックにログを書き込む場合、アクセスを必要とします。ロールベースのサービスアカウントの権限借用やキーベースのアクセスを使用して、Fastly が Google Pub/Sub にログを送信できるようにすることができます。

Google IAM サービスアカウントの権限借用の設定

Fastly でキーを保存するのを避けるために Google IAM サービスアカウントの権限を借用することを選択した場合、GCS をログエンドポイントとして追加する際に、サービスアカウント名とプロジェクト ID を指定する必要があります。サービスアカウント ID は、サービスアカウントのメールアドレスの @ の前にあり、プロジェクト ID が直後に続きます。例えば、サービスアカウントのメールアドレスが my-name@projectid.iam.gserviceaccount.com の場合、サービスアカウント ID は my-name で、プロジェクト ID は projectid です。Google IAM ロールの作成に関するガイドでは、この機能の設定について詳しく説明しています。

キーベースのアクセスの設定

キーベースのアクセスの使用を選択した場合、サービスアカウントの認証情報の生成に関する Google のガイドを参照してください。

キーベースのアクセスを設定する場合、JSON 形式を選択する必要があります。設定を保存すると、作成したばかりの GCS サービスアカウントの認証情報を含む JSON ファイルがコンピューターにダウンロードされます。テキストエディターでファイルを開き、private_key と client_email を記録しておきます。

ログエンドポイントとして Cloud Pub/Sub を追加する

次の指示に従って、ログエンドポイントとして Cloud Pub/Sub を追加してください。設定の一環として、機密情報の保存を回避するために、Google IAM ロールベースのサービスアカウントの権限借用の設定を選択できます。この機能の詳細については、Google IAM ロールの作成ガイドをご覧ください。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

{
  "timestamp": "%{strftime(\{"%Y-%m-%dT%H:%M:%S%z"\}, time.start)}V",
  "client_ip": "%{req.http.Fastly-Client-IP}V",
  "geo_country": "%{client.geo.country_name}V",
  "geo_city": "%{client.geo.city}V",
  "host": "%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V",
  "url": "%{json.escape(req.url)}V",
  "request_method": "%{json.escape(req.method)}V",
  "request_protocol": "%{json.escape(req.proto)}V",
  "request_referer": "%{json.escape(req.http.referer)}V",
  "request_user_agent": "%{json.escape(req.http.User-Agent)}V",
  "response_state": "%{json.escape(fastly_info.state)}V",
  "response_status": %{resp.status}V,
  "response_reason": %{if(resp.response, "%22"+json.escape(resp.response)+"%22", "null")}V,
  "response_body_size": %{resp.body_bytes_written}V,
  "fastly_server": "%{json.escape(server.identity)}V",
  "fastly_is_edge": %{if(fastly.ff.visits_this_service == 0, "true", "false")}V
}