2015年7月19日(日曜日)

ログ加工をツールで自動化&GitHubで公開

カテゴリー: - ookubo @ 06時19分27秒

顧客サービス部の大久保正彦です。

ITにおけるシステム監視は、監視そのものに加え、得られる監視データを目的の形に合わせて加工する必要も生じる、弊社の業務のうちの一つです。

先日、お客様のシステムを監視している専用ツールが出力する大きなログファイル (約5万行/dayの割合で増加) を、Excel形式のデータに変換するという業務がこれから毎月発生することが確定。この業務は、加工を自動化しない限り実施が難しい内容だと考え、そのためのツールをPerlスクリプトとして作成しました。

そして弊社が社員に対して推奨している対外発信の一環として、このツールのソースを、「Social Coding」を標榜するソースコード共有サイトのGitHubに置き、一般公開していくことにしましたのでご紹介します。

nkimark_log2tsv - Log Converter for NetKids iMark

  • 名称: nkimark_log2tsv - Log Converter for NetKids iMark
  • 公開URL: https://github.com/mah-jp/nkimark_log2tsv
  • 内容: サーバ監視ツール『NetKids iMark』が保存するログファイル (生ログ) を、TSV/CSV形式のテキストファイル、またはExcel形式のデータファイル (.xlsx) に変換するためのPerlスクリプト一式です。

上記URLで公開中のPerlスクリプトは、GitHubから手元の環境へ次のようにcloneしますと使用できます。かなりニッチなものだと思いますが、もしお使いになられて感想などございましたら、大久保までお寄せいただけると幸いです。

$ git clone https://github.com/mah-jp/nkimark_log2tsv

P.S.

今回述べましたログデータの加工の他にも、より自動化・省力化が進められる業務は、社内や各案件にきっとあります。これからも頭を捻って工夫を重ねていくことで、サービスの質を高めていければと思います。

そうやって必要に応じてツールをまた作成したら、GitHubに公開するとします。GitHubを数年ぶりに使いましたが、作った物を公開したり情報発信するのはやはり楽しいですね。


コメント

このコメントのRSS

この投稿には、まだコメントが付いていません

コメントの投稿

ごめんなさい、現在コメントを付けることは出来ません

16 queries. 0.036 sec.
Powered by WordPress Module based on WordPress ME & WordPress