有用なログ形式

異なるシステムでは、時間の経過とともに異なるログ形式が標準化されています。Fastly では、可能な限りログ機能をカスタマイズでき、お客様の既存のインフラと連携できるべきであると考えています。このガイドでは、Apache のログモジュールに記載されているログ形式を実装するために使用できる、より複雑な例とカスタムログ文字列 (JSON、キー/値、CSV、URL エンコードなど) について詳しくご説明します。

Common Log Format (CLF)

%h %l %u %t "%r" %>s %b

これは、多くのログプロバイダーがデフォルトで使用しています。

仮想ホスト情報を備えた Common Log Format

%v %h %l %u %t "%r" %>s %b

NCSA の拡張/統合ログ形式

%h %l %u %t "%r" %>s %b "%{Referer}i" "%{User-agent}i"

リファラーログ形式

%{Referer}i -> %U

エージェント (ブラウザ) ログ形式

%{User-agent}i

Loggly 向けのカスタムタグまたは他のプロバイダー向けの RFC5424

通常の Syslog のログオブジェクトを作成し、RFC5424 をサポートするエンドポイントに向けるように設定します。例えば、カスタムタグを Loggly に送信する場合、新規に Syslog オブジェクトを作成し、hostname を logs-01.loggly.com、port を 6514、use_tls を true、message format のフィールドを blank に設定します。また、token フィールドを必ず空白にしてください。次に、format フィールドに以下のように入力します。

<134>1 %{%Y-%m-%dT%TZ}t %{server.datacenter}V <log name> - - [<token>@<PEN> tag="fastly" tag="other-tag" id="12345" key="some-value" <tags>] <regular format string>

以下のフィールドを置き換える必要があります。

• log name - これは任意で構いませんが、Fastly のログオブジェクトに使用した名前と同じものを使用することをお勧めします。
• token - RFC5424 をサポートするエンドポイントのプライベートトークンです (Loggly に送信する場合はこれが Customer Token になります)。
• PEN - プライベートエンタープライズ番号です。例えば、Loggly の PEN (プライベートエンタープライズ番号) は41058です。他のプロバイダーに送信したい場合は、IANA レジストリでそのプロバイダーの PEN を検索し、それを使用することができます。
• tags - 任意のキー/値のペアにすることができます。上記の例では、fastly と other-tag の2つが表示されています。有効なタグの値には、すべての英数字、ダッシュ (-)、ピリオド (.)、アンダースコア (_) を使用することができます。スペースを含むタグの値は有効ではなく、Loggly を含む多くのログプロバイダーによって無視されます。タグやその制約、Loggly がタグを解析する方法の詳細は、Loggly のドキュメントに記載されていますが、これらの情報は RFC5424 をサポートするすべてのエンドポイントにデータを送信する際にも役立ちます。
• regular format string - Fastly の通常のログディレクティブで、任意の文字列を入力できます (例: 上述の Common Log Format)。

構造化データ

以下の例では、同じ変数や変数タイプについて表示されるさまざまな項目を示しています。

JSON

特定のログエンドポイント向けに、この例の JSON を調整する必要がある場合があります。ログエンドポイントプロバイダーのドキュメントで、必要となる正確な形式を確認してください。

1
2
3
4
5
6
7
8
9
10

{
  "protocol" : "%H",
  "epoch_seconds" : %{time.start.sec}V,
  "time_start" : "%{begin:%Y-%m-%dT%H:%M:%S%z}t",
  "user_agent" : "%{User-Agent}i",
  "is_ipv6" : %{if(req.is_ipv6, "true", "false")}V,
  "some_string":"%{json.escape(\{"dwayne "the rock" johnson"\})}V",
  "id" : "deadbeef",
  "version" : 1.1
}

CSV

%H, %{time.start.sec}V, %{begin:%Y-%m-%dT%H:%M:%S%z}t, %{regsub(req.http.User-Agent, \{"""\}, \{"""""\})}V, %{if(req.is_ipv6, "true", "false")}V, deadbeef, %{regsub(\{"dwayne "the rock" johnson"\}, \{"""\}, \{"""""\})}V, 1.1

キー/値

protocol:%H, epoch_seconds:%{time.start.sec}V, time_start:%{begin:%Y-%m-%dT%H:%M:%S%z}t, user_agent:%{User-Agent}i, is_ipv6:%{if(req.is_ipv6, "true", "false")}V, id:deadbeef, some_string:%{json.escape(\{"dwayne "the rock" johnson"\})}V, version:1.1

エンコードされた URL

protocol=%H&epoch_seconds=%{time.start.sec}V&time_start=%{begin:%Y-%m-%dT%H:%M:%S%z}t&user_agent=%{urlencode(req.http.User-Agent)}i&is_ipv6=%{if(req.is_ipv6, "true", "false")}V&some_string=%{urlencode(\{"dwayne "the rock" johnson"\})}V&id=deadbeef&version=1.1