HTTPアクセスログデータを収集する

HTTPアクセスログデータを収集する

1. 事前確認

下記手順が完了している状態で開始します。

データ収集の準備をする(グループ設定、NCインストール)

Shelty ManagerでHTTPアクセスログのデータ収集を行うホストでは、Java Agentおよび.Net Agentを利用したデータ収集を行わないようにしてください。データが多重計上されてしまい、出力結果として正しい値が表示されなくなります。

大量のトランザクションが発生する環境にて導入する際は、Shelty Managerサーバにおいて処理遅延などの不具合が発生する可能性があるため注意が必要です。

以下の点に注意してください。(以下は目安であるため検証の上導入してください。)

  1. 1秒あたりのトランザクション数(ログの行数)は1,000件以内であることが望ましいです。

  2. 大量のログデータを短期間に投入する操作はご遠慮ください。

    • 短期間で急激にログデータを投入すると、Shelty Managerサーバに負荷がかかり、不具合が発生しやすくなります。

  3. Shelty Managerに読み込まれるURLのユニーク数が増加することに伴い、Shelty Manager内部の処理が重くなり不具合が発生しやすくなります。

    • 特に、短期間で急激にユニーク数が増加する場合、内部処理への負荷が増大する可能性があります。

    • 対策として、URL丸め込み の使用を検討してください。

2. Agent導入

HTTPアクセスログ

1. 左メニュー「導入設定」画面へ遷移します。
2. Agentパラメータ設定メニューの一覧から「Agent導入」を選択します。
3. Agentを導入するシステム、クラスターを選択します。
4. 「+」をクリックし、「Telegraf」のプルダウンより「HTTPAccessLog」を選択し、「登録」をクリックします。
5. 「Grokフォーマット」と「アクセスログパス」を設定します。

  • Grokフォーマット

    • 対象となるWebサーバの応答時間の表示単位に合わせて以下の通り入力してください。

種別

表示単位

入力

種別

表示単位

入力

Apache および Apache Tomcat

ミリ秒(SSS)

%{APACHE_IIM_DEFAULT_MILLIS}

マイクロ秒(mmmmmm)

%{APACHE_IIM_DEFAULT_MICROS}

Nginx

秒(ss.SSS)

%{NGINX_IIM_DEFAULT}

IIS

ミリ秒(SSS)

%{W3C_IIM_DEFAULT}

 

  • アクセスログパス

    • アクセスログファイルのパスを入力してください

アクセスログの運用で翌日に日付などが付記されるような場合、二重に取込まれるためアクセスログパス欄にワイルドカードを指定しないでください。
(例) ・アクセスログ
        前日のアクセスログ          localhost_access_log_yyyymmdd.txt
        カレントのアクセスログ   localhost_access_log.txt
       ・アクセスログパスの指定
  (正)<パス>\localhost_access_log
  (誤)<パス>\localhost_access_log*


6. アクセスログのフォーマットを下記の通り設定し、ログを出力します。

種別

アクセスログのフォーマット

Apache

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" %D"

Apache Tomcat

pattern="%h %l %u %t &quot;%r&quot; %s %b &quot;%{Referer}i&quot; &quot;%{User-Agent}i&quot; %D"

Nginx

'$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for" $request_time'

IIS

#Fields: date time s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) cs(Referer) sc-status sc-substatus sc-win32-status time-taken

7. Shelty専用ユーザへHTTPアクセスログへのREAD権限を付与します。

Shelty専用ユーザのセカンダリグループにHTTPアプリケーション用ユーザのグループを設定する方法でHTTPアクセスログへのRead権限を付与する場合、セカンダリグループの設定後にiim-agentサービスを再起動してください。
(例)HTTPアプリケーション用ユーザのグループ   :tomcat
  Shelty専用ユーザ                                         :shelty  

usermod -G tomcat shelty systemctl restart iim-agent

8. 「保存」をクリックします。
9. 「Agent種別」列に「Telegraf」があることを確認し、保存ボタンをクリックします。

別のAgent種別を追加する場合は「+」をクリックし、対象のAgentを選択します。

10. データが収集できているか確認します。
データ収集ができているか確認する

 

Copyright © IIM. All Rights Reserved.