ログストリーミング : Amazon Kinesis Data Streams

Fastly のリアルタイムログストリーミング機能は、Amazon Kinesis Data Streams にログファイルを送信することができます。Amazon Kinesis Data Streams (KDS) は、さまざまなソースからのデータを継続的にキャプチャできるリアルタイムのデータストリーミングサービスです。

注意

Fastly ではサードパーティのサービスに関する直接のサポートは行っておりません。詳細については、Fastly のご利用規約をご覧ください。

Fastly ログストリーミングと Amazon Kinesis Data Streaming の仕組み

Amazon KDS は、データレコードをストリームに送信します。各ストリームは、1以上のシャードによって構成されます。シャードは一定の処理能力を表し、ストリームの総処理能力は、シャードの数によって決定されます。シャードの数は、ストリームの有効期間に渡って増加・減少させることが可能です。Fastly Kinesis のログエンドポイントはシャードの数を監視し、利用可能なシャードにおいてログデータの記録を一様に配信するため、シャード数の調整は重要です。ストリームのシャードの数が変更されると、Fastly Kinesis のログエンドポイントがそれに応じて自動的に調整されます。目標は、お客様に必要な設定のオーバーヘッドを最小限に抑えながら、ストリームのスループット能力を最大限に活用することです。

ログ量がストリームのスループット容量を超えた場合、Amazon KDS は Fastly にストリームがスロットルされていることを示すエラーを返し、一部のログが配信されない可能性があります。AWS CloudWatch は、Kinesis Data Streams のメトリクス (WriteProvisionedThroughputExceeded) を提供しており、これを用いてモニタリングすることで、必要に応じてストリーム容量の調整を行うことができます。

ヒント

Amazon KDS の操作や容量制限の詳細については、Kinesis 開発者用ガイドをご参照ください。

前提条件

Amazon KDS を Fastly サービスのログエンドポイントを追加する前に、AWS アカウントにて Fastly 専用の Identity and Access Management (IAM) 認証情報を作成してください。その際、一時的な認証情報を与えることができる、AWS IAM のロールを作成することをお勧めします。詳細については、Fastly ログ用 AWS IAM ロールの作成を参照してください。または IAM ユーザーを作成し、ユーザーにログストリームの kinesis:PutRecords および kinesis:ListShards 権限を与えることもできます。詳細については、Amazon の AWS の認証情報の解説・取得方法に関するガイドをご参照ください。

ログエンドポイントとしての Amazon Kinesis の追加

AWS のアカウントを作成し、Amazon Kinesis で IAM ユーザーを作成した後、以下の手順で Amazon KDS をログエンドポイントとして追加します。

  1. サービス配信
  2. Compute サービス
  1. リモートログストリーミングの設定に関するガイドをご確認ください。
  2. Amazon Kinesis Data Streams エリアで、Create endpoint をクリックします。

  3. Create an Amazon Kinesis Data Streams endpoint フィールドに以下のように入力します。

    • Name フィールドに分かりやすいエンドポイントの名前を入力します。
    • Placement セクションでは、生成される VCL にログコールが配置される場所を選択します。有効な値は Format Version Defaultwaf_debug (waf_debug_log)None です。詳細については、ログ配置の変更に関するガイドをご覧ください。
    • Log format フィールドには、ログ形式に使用する Apache 形式の文字列や VCL 変数を任意で入力します。詳細については、形式例のセクションをご覧ください。
    • Access method フィールドでは、User Credentials または IAM Role を選択します。
    • User Credentials を選択した場合、AWS アカウントで作成した Fastly 専用の IAM ユーザーに関連するアクセスキーとシークレットキーを入力します。詳細については、セキュリティの認証情報に関する Amazon ドキュメントを確認してください。
    注意

    パスワード管理ソフトウェアによっては、Web ブラウザが誤って Secret Key フィールドをパスワードフィールドとして扱う場合があります。そのため、ソフトウェアによってこのフィールドに Fastly アカウントのパスワードが自動的に入力されてしまう場合があります。Fastly サービスと AWS が統合されなくなってしまいますので、その場合は代わりに Secret Key を手動で入力してください。

    • IAM Role を選択した場合、KDS への Fastly のアクセスを許可する IAM の役割用の Amazon Resource Name (ARN) を入力します。詳細については、Fastly ログの AWS IAM のロールの作成を確認してください。
    • Stream name フィールドに、ログデータの送信される Kinesis ストリームの名前を入力します。
    • Region メニューから、ログの送信先のリージョンを選択します。これは、Kinesis ストリームを作成した地域と一致する必要があります。
  4. Create をクリックして新規のログエンドポイントを作成します。
  5. Activate をクリックして設定への変更をデプロイします。

形式例

以下に示すのは、Amazon KDS にデータを送信する書式の例です。書式の詳細については、こちらをご覧ください。

1{
2 "timestamp": "%{strftime(\{"%Y-%m-%dT%H:%M:%S%z"\}, time.start)}V",
3 "client_ip": "%{req.http.Fastly-Client-IP}V",
4 "geo_country": "%{client.geo.country_name}V",
5 "geo_city": "%{client.geo.city}V",
6 "host": "%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V",
7 "url": "%{json.escape(req.url)}V",
8 "request_method": "%{json.escape(req.method)}V",
9 "request_protocol": "%{json.escape(req.proto)}V",
10 "request_referer": "%{json.escape(req.http.referer)}V",
11 "request_user_agent": "%{json.escape(req.http.User-Agent)}V",
12 "response_state": "%{json.escape(fastly_info.state)}V",
13 "response_status": %{resp.status}V,
14 "response_reason": %{if(resp.response, "%22"+json.escape(resp.response)+"%22", "null")}V,
15 "response_body_size": %{resp.body_bytes_written}V,
16 "fastly_server": "%{json.escape(server.identity)}V",
17 "fastly_is_edge": %{if(fastly.ff.visits_this_service == 0, "true", "false")}V
18}

翻訳についての注意事項
このガイドは役に立ちましたか?

このフォームを使用して機密性の高い情報を送信しないでください。サポートが必要な場合は、サポートチームまでご連絡ください。このフォームは reCAPTCHA によって保護されており、Google のプライバシーポリシー利用規約が適用されます。