ログストリーミング:Elasticsearch
最終更新日 2023-09-13
Fastly のリアルタイムログストリーミング機能によって、ログファイルを Elasticsearch に送信することができます。Elasticsearch は、分散型の RESTful 検索及び分析エンジンです。
注意
Fastly ではサードパーティのサービスに関する直接のサポートは行っておりません。詳細については、Fastly のご利用規約をご覧ください。
前提条件
Fastly サービスのログエンドポイントとして Elasticsearch を追加する前に、Elasticsearch がリモートサーバー上で作動していることを確認してください。ログを送信するポートを含むエンドポイント URL (Fastly からのトラフィックを受信できることを確認してください) と、ログの送信先インデックスの名前が必要になります。Elasticsearch の設定に関する詳細については、Elasticsearch 設定ドキュメントをご参照ください。
このログエンドポイントは、すべての有効にサポートされている Elasticsearch のバージョンと有効期限に既に達した一部バージョンと連携しています。また、OpenSearch サーバー統合もサポートしています。Elasticsearch と API 互換のその他の配信も機能するかもしれませんが、明示的にテストされておらず、保証はありません。
必須権限
Bulk APIアクションを介して index
を使用してデータを送信します。基本認証を使用する場合、index
アクションを使用するために必要なインデックス権限をユーザーロールに付与するようにしてください。
また、Elasticsearch サーバーのルートパス API へのアクセスも必要です。API は、サーバーのバージョン番号などのメタデータを返します。これにより、統合が各お客様のサーバーに最適なバルクデータ API を選択できます。API へのアクセスにより、お客様が使用する幅広い Elasticsearch バージョンとその他の Elasticsearch 互換配信との適切な連携が可能になります。
ログエンドポイントとして Elasticsearch を追加
次の手順に従って、ログエンドポイントとして Elasticsearch を追加してください。
- Deliver サービス
- Compute サービス
- リモートログストリーミングの設定に関するガイドをご確認ください。
- Elasticsearch Create endpointボタンをクリックしてください。Create an Elasticsearch endpoint ページが表示されます。
- Create an Elasticsearch endpoint に次のように入力します。
- Name フィールドに分かりやすいエンドポイントの名前を入力します。
- Placement セクションでは、生成される VCL にログコールが配置される場所を選択します。有効な値は Format Version Default、waf_debug (waf_debug_log)、None です。詳細については、ログ配置の変更に関するガイドをご覧ください。
- Log format 欄に、Elasticsearch に送信するデータを入力します。 詳細は形式の例のセクションを参照してください。
- URLフィールドに、ログの送信先のポートを含む Elasticsearch エンドポイント URL を入力します。URL は、Fastly からの TCP トラフィックを受信できるポートで HTTPS を使用し、送信する必要があります。
- Index フィールドに、ログの送信先となる Elasticsearch インデックス名を入力します。インデックスは、Elasticsearch インデックス形式のルールに従う必要があります。 Fastly は、中かっこ内のに、番号記号から始める strftime の補間変数をサポートしています。例えば、
#{%F}
では YYYY-MM-DD 形式で今日の日付が補間されます。 - Pipeline フィールドには、インデックス作成前に事前処理変換を適用する Elasticsearch ingest pipeline ID をオプションで入力します (例:
my_pipeline_id
)。 - Maximum logsフィールドには、バッチに追加するログの最大数 (0以外) をオプションで入力します。
- Maximum bytesフィールドには、 ログバッチの最大バイト数をオプションで入力します。
- BasicAuth userフィールドには、Basic 認証ユーザー名をオプションで任意で入力します。
- BasicAuth password フィールドには、Basic 認証パスワードをオプションで入力します。
- TLS hostname フィールドに、ログの送信先サーバーの証明書を検証するためのホスト名を任意で入力します。これは、証明書のサブジェクト代替名 (SAN) フィールドの1つと同じである必要があります。コモンネーム (CN) はサポートされていません。
- TLS CA certificateフィールドには、オリジンサーバーの証明書が有効であることを確認するために使用する認証機関 (CA) の証明書を任意でコピー&ペーストしてください。アップロードする証明書は PEM 形式である必要があります。周知の認証機関によって署名されてない場合には、証明書のアップロードを熟慮してください。TLS 証明書が周知の機関によって署名されていれば、必要ありません。
- TLS client certificateフィールドには、オリジンサーバーへの認証に使用する TLS クライアント証明書を任意でコピー&ペーストしてください。アップロードする TLS クライアント証明書は、PEM 形式で、クライアント証明書を添付する必要があります。TLS クライアント証明書により、Fastly が接続を実行していることをサーバーが認証できるようになります。
- TLS client keyフィールドには、バックエンドサーバーへの認証に使用する TLS クライアントキーを任意でコピー&ペーストしてください。アップロードする TLS クライアントキーは、PEM 形式で、TLS クライアント証明書を添付する必要があります。TLSクライアントキーを使用すると、Fastlyが接続を実行していることをサーバが認証することができます。
- Create をクリックして新規のログエンドポイントを作成します。
- Activate をクリックして設定への変更をデプロイします。
の形式例
Elasticsearch に送信されるデータは、JSON オブジェクトとして直列化する必要があります。Elasticsearch にデータを送信するための文字列の形式例はこちらです。
1{2 "timestamp": "%{strftime(\{"%Y-%m-%dT%H:%M:%S%z"\}, time.start)}V",3 "client_ip": "%{req.http.Fastly-Client-IP}V",4 "geo_country": "%{client.geo.country_name}V",5 "geo_city": "%{client.geo.city}V",6 "host": "%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V",7 "url": "%{json.escape(req.url)}V",8 "request_method": "%{json.escape(req.method)}V",9 "request_protocol": "%{json.escape(req.proto)}V",10 "request_referer": "%{json.escape(req.http.referer)}V",11 "request_user_agent": "%{json.escape(req.http.User-Agent)}V",12 "response_state": "%{json.escape(fastly_info.state)}V",13 "response_status": %{resp.status}V,14 "response_reason": %{if(resp.response, "%22"+json.escape(resp.response)+"%22", "null")}V,15 "response_body_size": %{resp.body_bytes_written}V,16 "fastly_server": "%{json.escape(server.identity)}V",17 "fastly_is_edge": %{if(fastly.ff.visits_this_service == 0, "true", "false")}V18}
翻訳についての注意事項
このフォームを使用して機密性の高い情報を送信しないでください。サポートが必要な場合は、サポートチームまでご連絡ください。このフォームは reCAPTCHA によって保護されており、Google のプライバシーポリシーと利用規約が適用されます。