ログストリーミング：Elasticsearch

Fastly のリアルタイムログストリーミング機能によって、ログファイルを Elasticsearch に送信することができます。Elasticsearch は、分散型の RESTful 検索及び分析エンジンです。

前提条件

Fastly サービスのログエンドポイントとして Elasticsearch を追加する前に、Elasticsearch がリモートサーバー上で作動していることを確認してください。ログを送信するポートを含むエンドポイント URL (Fastly からのトラフィックを受信できることを確認してください) と、ログの送信先インデックスの名前が必要になります。Elasticsearch の設定に関する詳細については、Elasticsearch 設定ドキュメントをご参照ください。

このログエンドポイントは、すべての有効にサポートされている Elasticsearch のバージョンと有効期限に既に達した一部バージョンと連携しています。また、OpenSearch サーバー統合もサポートしています。Elasticsearch と API 互換のその他の配信も機能するかもしれませんが、明示的にテストされておらず、保証はありません。

必須権限

indexアクションを介してBulk APIを使用してデータを送信します。基本認証を使用する場合、indexアクションを使用するために必要なインデックス権限をユーザーロールに付与するようにしてください。

また、Elasticsearch サーバーのルートパス API へのアクセスも必要です。API は、サーバーのバージョン番号などのメタデータを返します。これにより、統合が各お客様のサーバーに最適なバルクデータ API を選択できます。API へのアクセスにより、お客様が使用する幅広い Elasticsearch バージョンとその他の Elasticsearch 互換配信との適切な連携が可能になります。

ログエンドポイントとして Elasticsearch を追加

次の手順に従って、ログエンドポイントとして Elasticsearch を追加してください。

1. リモートログストリーミングの設定に関するガイドの情報をご参照ください。
2. Elasticsearch Create endpointボタンをクリックしてください。Create an Elasticsearch endpoint ページが表示されます。
3. Create an Elasticsearch endpointに次のように入力します。
   • Name フィールドに分かりやすいエンドポイントの名前を入力します。
   • Placement セクションでは、生成される VCL にログコールが配置される場所を選択します。有効な値は Format Version Default、waf_debug (waf_debug_log)、None です。詳細については、ログ配置の変更に関するガイドをご参照ください。
   • Log format 欄に、Elasticsearch に送信するデータを入力します。 詳細は形式の例のセクションを参照してください。
   • URLフィールドに、ログの送信先のポートを含む Elasticsearch エンドポイント URL を入力します。URL は、Fastly からの TCP トラフィックを受信できるポートで HTTPS を使用し、送信する必要があります。
   • Indexフィールドに、ログの送信先となる Elasticsearch インデックス名を入力します。インデックスは、Elasticsearch インデックス形式のルールに従う必要があります。 Fastly は、中かっこ内のに、番号記号から始めるstrftimeの補間変数をサポートしています。例えば、#{%F}では YYYY-MM-DD 形式で今日の日付が補間されます。
   • Pipelineフィールドには、インデックス作成前に事前処理変換を適用する Elasticsearch ingest pipeline ID をオプションで入力します (例：my_pipeline_id)。
   • Maximum logsフィールドには、バッチに追加するログの最大数 (０以外) をオプションで入力します。
   • Maximum bytesフィールドには、 ログバッチの最大バイト数をオプションで入力します。
   • BasicAuth userフィールドには、Basic 認証ユーザー名をオプションで任意で入力します。
   • BasicAuth passwordフィールドには、Basic 認証パスワードをオプションで入力します。
   • TLS hostname フィールドに、ログの送信先サーバーの証明書を検証するためのホスト名を任意で入力します。これは、証明書のサブジェクト代替名 (SAN) フィールドの1つと同じである必要があります。コモンネーム (CN) はサポートされていません。
   • TLS CA certificateフィールドには、オリジンサーバーの証明書が有効であることを確認するために使用する認証機関 (CA) の証明書を任意でコピー＆ペーストしてください。アップロードする証明書は PEM 形式である必要があります。周知の認証機関によって署名されてない場合には、証明書のアップロードを熟慮してください。TLS 証明書が周知の機関によって署名されていれば、必要ありません。
   • TLS client certificateフィールドには、オリジンサーバーへの認証に使用する TLS クライアント証明書を任意でコピー＆ペーストしてください。アップロードする TLS クライアント証明書は、PEM 形式で、クライアント証明書を添付する必要があります。TLS クライアント証明書により、Fastly が接続を実行していることをサーバーが認証できるようになります。
   • TLS client keyフィールドには、バックエンドサーバーへの認証に使用する TLS クライアントキーを任意でコピー＆ペーストしてください。アップロードする TLS クライアントキーは、PEM 形式で、TLS クライアント証明書を添付する必要があります。TLSクライアントキーを使用すると、Fastlyが接続を実行していることをサーバが認証することができます。
4. Create ボタンをクリックすると、新しいログエンドポイントが作成されます。
5. Activate ボタンをクリックして設定変更をデプロイします。

の形式例

Elasticsearch に送信されるデータは、JSON オブジェクトとして直列化する必要があります。Elasticsearch にデータを送信するための文字列の形式例はこちらです。

1{
2  "timestamp": "%{strftime(\{"%Y-%m-%dT%H:%M:%S%z"\}, time.start)}V",
3  "client_ip": "%{req.http.Fastly-Client-IP}V",
4  "geo_country": "%{client.geo.country_name}V",
5  "geo_city": "%{client.geo.city}V",
6  "host": "%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V",
7  "url": "%{json.escape(req.url)}V",
8  "request_method": "%{json.escape(req.method)}V",
9  "request_protocol": "%{json.escape(req.proto)}V",
10  "request_referer": "%{json.escape(req.http.referer)}V",
11  "request_user_agent": "%{json.escape(req.http.User-Agent)}V",
12  "response_state": "%{json.escape(fastly_info.state)}V",
13  "response_status": %{resp.status}V,
14  "response_reason": %{if(resp.response, "%22"+json.escape(resp.response)+"%22", "null")}V,
15  "response_body_size": %{resp.body_bytes_written}V,
16  "fastly_server": "%{json.escape(server.identity)}V",
17  "fastly_is_edge": %{if(fastly.ff.visits_this_service == 0, "true", "false")}V
18}