ログストリーミング:Amazon Kinesis Data Streams
最終更新日 2021-09-01
Fastly の リアルタイムログストリーミング機能では、ログファイルを Amazon Kinesis Data Streams に送信することができます。Amazon Kinesis Data Streams (KDS) は、さまざまなソースからのデータを継続的にキャプチャできるリアルタイムのデータストリーミングサービスです。
Fastly ではサードパーティのサービスに関する直接のサポートは行っておりません。詳細については、Fastly サービスの利用規約をご参照ください。
Fastly ログストリーミングと Amazon Kinesis Data Streaming の仕組み
Amazon KDS は、データレコードをストリームに送信します。各ストリームは、1以上のシャードによって構成されます。シャードは一定の処理能力を表し、ストリームの総処理能力は、シャード数の数によって決定されます。シャードの数は、ストリームの有効期間に渡って増加・減少させることが可能です。Fastly Kinesis のロギングエンドポイントはシャードの数を監視し、利用可能なシャードにおいてログデータの記録を一様に配信するため、シャード数の調整は重要です。ストリームのシャードの数が変更されると、Fastly Kinesis のロギングエンドポイントがそれに応じて自動的に調整されます。お客様による設定オーバーヘッドを最低限にすると同時に、ストリームのスループット機能を最大限に活用することが目標です。
ログのボリュームがストリームのスループット容量を超える場合、Amazon KDS はエラーを返し、Fastly のエンドポイントのログにて Failed to put record onto stream
で始まる出力として表示されます。これらのエラーが発生した場合、Fastly のログエンドポイントは限られた回数の再試行を試みます。しかし、エラーが定期的に発生する場合、合計のストリームスループットはログボリュームには不十分であり、シャードの数を増加させる必要があることが予想されます。
Amazon KDS の操作や容量制限の詳細については、Kinesis 開発者用ガイドをご参照ください。
前提条件
Amazon KDS を Fastly サービスのログエンドポイントを追加する前に、AWS アカウントにて Fastly 専用の Identity and Access Management (IAM) 認証情報を作成してください。その際、一時的な認証情報を与えることができる、AWS IAM のロールを作成することをお勧めします。詳細については、Fastly ログのための AWS IAM ロールの作成をご覧ください。または IAM ユーザーを作成し、ユーザーにログストリームの kinesis:PutRecords
および kinesis:ListShards
権限を与えることもできます。詳細については、AWS の認証情報の解説・取得に関する Amazon のガイドをご参照ください。
ログエンドポイントとしての Amazon Kinesis の追加
AWS のアカウントを作成し、Amazon Kinesis で IAM ユーザーを作成した後、以下の手順で Amazon KDS をログエンドポイントとして追加します。
- リモートログストリーミングの設定に関するガイドの情報をご参照ください。
- Amazon Kinesis Data Streams Create endpoint ボタンをクリックします。Create an Amazon Kinesis Data Streams endpoint ページが表示されます。
- Create an Amazon Kinesis Data Streams endpoint フィールドに以下のように入力します。
- Name フィールドに分かりやすいエンドポイントの名前を入力します。
- Placement セクションでは、生成される VCL にログコールが配置される場所を選択します。有効な値は Format Version Default、waf_debug (waf_debug_log)、None です。詳細については、ログ配置の変更に関するガイドをご参照ください。
- Log format フィールドに、ログの形式に使用する Apache 形式の文字列や VCL 変数を任意で入力します。詳細については、フォーマットの例をご参照ください。
- Access method フィールドにて、User Credentials または IAM Role を選択します。
- User Credentials を選択した場合、AWS アカウントで作成した Fastly 専用の IAM ユーザーに関連するアクセスキーとシークレットキーを入力します。詳細については、セキュリティの認証情報に関する Amazon ドキュメントをご参照ください。
注意パスワード管理ソフトウェアによっては、Web ブラウザが誤って Secret Key フィールドをパスワードフィールドとして扱う場合があります。そのため、ソフトウェアによってこのフィールドに Fastly アカウントのパスワードが自動的に入力されてしまう場合があります。Fastly サービスと AWS が統合されなくなってしまいますので、その場合は代わりに Secret Key を手動で入力してください。
- IAM Role を選択した場合、KDS への Fastly のアクセスを許可する IAM の役割用の Amazon Resource Name (ARN) を入力します。詳細については、Fastly ログのための AWS IAM の役割の作成をご参照ください。
- Stream name フィールドに、ログデータの送信される Kinesis ストリームの名前を入力します。
- Region メニューから、ログを配信するリージョンを選択します。これは、Kinesis ストリームを作成したリージョンと一致する必要があります。
- Create ボタンをクリックすると、新しいログエンドポイントが作成されます。
- Activate ボタンをクリックして設定変更をデプロイします。
Fastly は Amazon KDS にログを継続的にストリームするものの、Amazon のウェブサイトと API では、アップロードが完了するまでファイルにアクセスすることはできません。
の形式例
Amazon KDS にデータを送信するための文字列の形式例はこちらです。詳細については、形式文字列に関するガイドをご覧ください。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
{
"timestamp": "%{strftime(\{"%Y-%m-%dT%H:%M:%S%z"\}, time.start)}V",
"client_ip": "%{req.http.Fastly-Client-IP}V",
"geo_country": "%{client.geo.country_name}V",
"geo_city": "%{client.geo.city}V",
"host": "%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V",
"url": "%{json.escape(req.url)}V",
"request_method": "%{json.escape(req.method)}V",
"request_protocol": "%{json.escape(req.proto)}V",
"request_referer": "%{json.escape(req.http.referer)}V",
"request_user_agent": "%{json.escape(req.http.User-Agent)}V",
"response_state": "%{json.escape(fastly_info.state)}V",
"response_status": %{resp.status}V,
"response_reason": %{if(resp.response, "%22"+json.escape(resp.response)+"%22", "null")}V,
"response_body_size": %{resp.body_bytes_written}V,
"fastly_server": "%{json.escape(server.identity)}V",
"fastly_is_edge": %{if(fastly.ff.visits_this_service == 0, "true", "false")}V
}