ログのストリーミング:Amazon S3

Fastly の リアルタイムログストリーミング機能では、Amazon Simple Storage Service (Amazon S3) にログファイルを送信できます。Amazon S3 は、開発者や IT チームによって使用される静的ファイルストレージサービスです。このガイドの手順を使用して、別の S3 互換サービスへのログストリーミングを設定することもできます。

前提条件

Amazon S3 を Fastly サービスのログエンドポイントを追加する前に、AWS アカウントにて Fastly 専用の Identity and Access Management (IAM) 認証情報を作成することを推奨します。そのためには、一時的な認証情報を与えることができる、AWS IAM の役割を作成することをお勧めします。詳細については、Fastly ログのための AWS IAM の役割の作成ガイドをご参照ください。 または、IAM ユーザーを作成し、ユーザーにログストリームの s3:PutObject権限を与えることもできます。詳細については、Amazon の AWS の認証情報の解説・取得方法に関するガイドをご参照ください。

ログエンドポイントとしての Amazon S3 の追加

Amazon S3 のアカウントに登録し、Amazon S3 で IAM ユーザーを作成した後、以下の手順で Amazon S3 をログエンドポイントとして追加します。

  1. リモートログストリーミングの設定に関するガイドの情報をご参照ください。
  2. Amazon Web Services S3 の Create endpoint ボタンをクリックします。Create an Amazon S3 endpoint ページが表示されます。
  3. 以下のように Create an Amazon S3 endpoint フィールドに入力します。
    • Name フィールドに分かりやすいエンドポイントの名前を入力します。
    • Placement セクションでは、生成される VCL にログコールが配置される場所を選択します。有効な値は Format Version Defaultwaf_debug (waf_debug_log)None です。詳細については、ログ配置の変更に関するガイドをご参照ください。
    • Log format フィールドに、ログの形式に使用する Apache 形式の文字列や VCL 変数を任意で入力します。詳細については、フォーマットの例をご参照ください。
    • Timestamp format フィールドに、ログファイルのタイムスタンプ形式を任意で入力します。デフォルトは strftime 互換形式の文字列です。詳細については、ログファイルの書き込み先の変更に関するガイドをご参照ください。
    • Bucket name フィールドに、ログを保存する Amazon S3 バケットの名前を入力します。
    • Access method フィールドでは、User Credentials または IAM Role を選択します。
    • User Credentials を選択した場合、AWS アカウントで作成した Fastly 専用の IAM ユーザーに関連するアクセスキーとシークレットキーを入力します。詳細については、セキュリティの認証情報に関する Amazon のセドキュメントをご参照ください。
    • IAM Role を選択した場合、S3 への Fastly のアクセスを許可する IAM の役割用の Amazon Resource Name (ARN) を入力します。詳細については、Fastly ログのための AWS IAM の役割の作成ガイドをご参照ください。
    • Period フィールドに、ログファイルのローテーションの頻度をコントロールするための間隔 (秒単位) を任意で入力します。この値はデフォルトで3600秒に設定されています。
  4. Create a new S3 endpointAdvanced options リンクをクリックし、 必要であればフィールドを変更します (任意)。
  5. 以下のように Create an Amazon S3 endpoint ページの Advanced options を入力します。
    • Path フィールドには、ファイルを保存するバケット内のパスを任意で入力します。パスの末尾にはスラッシュが付きます。このフィールドを空にすると、ファイルはバケットのルートパスに保存されます。詳細については、ログファイルの書き込み先の変更に関するガイドをご参照ください。
    • Domain フィールドには、Amazon S3 エンドポイントのドメインをオプションで入力します。Amazon S3 バケットが米国標準地域で作成されていない場合、適切なエンドポイント URL に該当するようにドメインを設定する必要があります。Amazon S3 ドキュメントページにあるリージョンエンドポイントの S3 セクションの表を参照してください。S3 互換のストレージシステム (DreamHost の DreamObjects など) を利用するには、そのサービスのドメイン名と一致させるようにドメインを設定します (例えば、DreamObjects の場合ドメイン名は objects.dreamhost.com)。
    • PGP public key フィールドに、Fastly がディスクに書き込む前にログファイルを暗号化するために使用する PGP 公開鍵を任意で入力します。お客様は、秘密鍵で復号化することによってのみ、コンテンツを読むことができます。PGP キーは PEM (プライバシー強化メール) 形式でなければなりません。詳細については、ログの暗号化に関するガイドをご参照ください。
    • Select a log line format のセクションで、ログメッセージのログライン形式を選択します。詳細については、ログライン形式の変更に関するガイドをご覧ください。
    • Compression フィールドに、ログファイルに適用する圧縮形式を任意で選択します。詳細については、ログ圧縮オプションの変更に関するガイドをご参照ください。
    • Redundancy level メニューから設定を選択します。デフォルト値は Standard です。Amazonの 低冗長化ストレージガイドにて、低冗長化ストレージに関する詳細をご確認ください。
    • ACL メニューから、オプションでアクセス制御ヘッダーを選択します。詳細については、Amazon のアクセス制御リスト (ACL) 固有のリクエストヘッダーのガイドをご参照ください。
    • Server side encryption では、Fastly が Amazon S3 バケットに書き込むファイルを保護するための暗号方法を選択します。有効な値は、NoneAES-256、および AWS Key Management Service です。AWS Key Management Service を選択した場合、AWS KMS Key ID を入力する必要があります。詳細については、サーバーサイドの暗号化を使用したデータ保護に関する Amazon のガイド をご参照ください。
  6. Create ボタンをクリックすると、新しいログエンドポイントが作成されます。
  7. Activate ボタンをクリックして設定変更をデプロイします。

の形式例

Amazon S3 にデータを送信するための文字列の形式例はこちらです。詳細については、形式文字列に関するガイドをご覧ください。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
{
  "timestamp": "%{strftime(\{"%Y-%m-%dT%H:%M:%S%z"\}, time.start)}V",
  "client_ip": "%{req.http.Fastly-Client-IP}V",
  "geo_country": "%{client.geo.country_name}V",
  "geo_city": "%{client.geo.city}V",
  "host": "%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V",
  "url": "%{json.escape(req.url)}V",
  "request_method": "%{json.escape(req.method)}V",
  "request_protocol": "%{json.escape(req.proto)}V",
  "request_referer": "%{json.escape(req.http.referer)}V",
  "request_user_agent": "%{json.escape(req.http.User-Agent)}V",
  "response_state": "%{json.escape(fastly_info.state)}V",
  "response_status": %{resp.status}V,
  "response_reason": %{if(resp.response, "%22"+json.escape(resp.response)+"%22", "null")}V,
  "response_body_size": %{resp.body_bytes_written}V,
  "fastly_server": "%{json.escape(server.identity)}V",
  "fastly_is_edge": %{if(fastly.ff.visits_this_service == 0, "true", "false")}V
}
Back to Top