ログストリーミング:Kafka
最終更新日 2021-09-01
Fastly のリアルタイムログストリーミング 機能によって、ログファイルを Apache Kafka に送信することができます。Kafka は、リアルタイムデータフィードを処理するための、高スループットで低レイテンシのオープンソースプラットフォームです。
注意
Fastly ではサードパーティのサービスに関する直接のサポートは行っておりません。詳細については、Fastly サービスの利用規約をご参照ください。
前提条件
Fastly サービスのログエンドポイントとして Apache Kafka を追加する前に、Kafka がリモートサーバー上で作動していることを確認してください。1つ以上のサーバー (Broker) のホスト名や IP アドレス、およびメッセージが保存されるカテゴリーやフィード名 (Topic) が必要になります。Kafka の設定に関する詳細情報は、Apache Kafka クイックスタートガイドをご参照ください。
ログエンドポイントとして Kafka を追加
次の手順に従って、ログエンドポイントとして Kafka を追加してください。
- リモートログストリーミングの設定に関するガイドの情報をご参照ください。
- Apache Kafka Create endpoint ボタンをクリックします。Create an Apache Kafka endpoint ページが表示されます。
- Create an Apache Kafka endpoint 欄に次のように入力します。
- Name フィールドに分かりやすいエンドポイントの名前を入力します。
- Placement セクションでは、生成される VCL にログコールが配置される場所を選択します。有効な値は Format Version Default、waf_debug (waf_debug_log)、None です。詳細については、ログ配置の変更に関するガイドをご参照ください。
- Log format フィールドに、ログの形式に使用する Apache 形式の文字列や VCL 変数を任意で入力します。詳細については、フォーマットの例をご参照ください。
- Brokers 欄には、1つ以上のサーバー (Kafka ブローカー) のホスト名または IP アドレスを入力します。カンマで区切られた文字列を使用して、複数のサーバーを指定します。
- Topic 欄には、ログを送信するトピック名を入力します。
- Maximum bytes 欄には、 ログバッチの最大サイズをオプションで入力します。
- Parse key-values から、ログ形式内のキーと値ペアを解析するかどうかをオプションで選択します。
- Write acknowledgement エリアでは、書き込みが成功する前に、リーダーが受信する書き込み確認をオプションで選択します。
- Compression codec エリアには、ログの圧縮に使用する適切なコーデックをオプションで選択します。
- Use SASL 制御から、SASL 認証を有効にするかどうかをオプションで選択します。SASL 認証は、TLS の暗号化と同時に有効にすることができます。Yes を選択すると、追加の SASL 認証欄が表示されます。
- SASL authentication mechanism メニューから、SASL クライアント認証のユーザー名とパスワードの認証に使用する適切なチャレンジレスポンスを選択します。
- User フィールドに、SASL クライアント認証ユーザー名を入力します。
- Password 欄に、SASL クライアント認証パスワードを入力します。
- Use TLS 制御から、Kafka エンドポイントで TLS 暗号化を有効にするかどうかをオプションで選択します。TLS 暗号化は、SASL 認証と同時に有効にすることができます。Yes を選択すると、追加の TLS フィールドが表示されます。
- TLS hostname フィールドに、サーバーの証明書を検証するためのホスト名を任意で入力します。これは、証明書のサブジェクト代替名(SAN)フィールドの1つと同じである必要があります。コモンネーム(CN)はサポートされていません。 ホスト名が指定されていない場合、Brokers フィールドに最初のブローカーのホスト名が使用されます。このフィールドは、Use TLS メニューから Yes を選択した場合にのみ表示されます。
- TLS CA certificate 欄には、オリジンサーバーの証明書が有効であることを確認するために使用する認証機関(CA)の証明書を任意にコピー・ペーストしてください。アップロードする証明書は、PEM 形式である必要があります。周知の認証機関によって署名されてない場合には、証明書のアップロードをお勧めします。TLS 証明書が周知の機関によって署名されていれば、必要ありません。このフィールドは、Use TLS メニューから Yes を選択した場合にのみ表示されます。
- TLS client certificate 欄には、オリジンサーバーへの認証に使用する TLS クライアント証明書をオプションでコピー・ペーストしてください。アップロードする TLS クライアント証明書は、PEM 形式で、クライアント証明書を添付する必要があります。TLS クライアント証明書により、Fastly が接続を実行していることをサーバーが認証できるようになります。このフィールドは、Use TLS メニューから Yes を選択した場合にのみ表示されます。
- TLS client key 欄には、バックエンドサーバーへの認証に使用する TLS クライアントキーをオプションで任意にコピー・ペーストしてください。アップロードする TLS クライアントキーは、PEM 形式で、TLS クライアント証明書を添付する必要があります。TLS クライアントキーにより、Fastly が接続を実行していることをサーバーが認証できるようになります。このフィールドは、Use TLS メニューから Yes を選択した場合にのみ表示されます。
- Create ボタンをクリックすると、新しいログエンドポイントが作成されます。
- Activate ボタンをクリックして設定変更をデプロイします。
の形式例
Apache Kafka にデータを送信するための文字列の形式例はこちらです。詳細については、形式文字列に関するガイドをご覧ください。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
{
"timestamp": "%{strftime(\{"%Y-%m-%dT%H:%M:%S%z"\}, time.start)}V",
"client_ip": "%{req.http.Fastly-Client-IP}V",
"geo_country": "%{client.geo.country_name}V",
"geo_city": "%{client.geo.city}V",
"host": "%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V",
"url": "%{json.escape(req.url)}V",
"request_method": "%{json.escape(req.method)}V",
"request_protocol": "%{json.escape(req.proto)}V",
"request_referer": "%{json.escape(req.http.referer)}V",
"request_user_agent": "%{json.escape(req.http.User-Agent)}V",
"response_state": "%{json.escape(fastly_info.state)}V",
"response_status": %{resp.status}V,
"response_reason": %{if(resp.response, "%22"+json.escape(resp.response)+"%22", "null")}V,
"response_body_size": %{resp.body_bytes_written}V,
"fastly_server": "%{json.escape(server.identity)}V",
"fastly_is_edge": %{if(fastly.ff.visits_this_service == 0, "true", "false")}V
}