参考にした
MacOS X EI Captionでawscliつかう
pip導入
curl -O https://bootstrap.pypa.io/get-pip.py sudo python get-pip.py
awscli導入
sudo pip install awscli --upgrade --ignore-installed six
参考
Macでlogrodate
install
brew install logrotate
適当にplistつくる
sudo nvim /Library/LaunchDaemons/logrotate.plist
<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE plist PUBLIC "-//Apple Computer//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd"> <plist version="1.0"> <dict> <key>Label</key> <string>logrotate</string> <key>ProgramArguments</key> <array> <string>/usr/local/sbin/logrotate</string> <string>/etc/logrotate.conf</string> </array> <key>Disabled</key> <false/> <key>RunAtLoad</key> <false/> <key>StartCalendarInterval</key> <dict> <key>Minute</key> <integer>0</integer> </dict> </dict> </plist>
下準備
mkdir /usr/local/var/lib/ sudo /usr/local/sbin/logrotate -f /usr/local/etc/logrotate.conf
起動
sudo launchctl load /Library/LaunchDaemons/logrotate.plist
停止
sudo launchctl unload /Library/LaunchDaemons/logrotate.plist
参考にした
Macでtd-agent
td-agentの標準的な環境をつくる
DMG拾ってくる場所
Index of packages.treasuredata.com/2/macosx
設定ファイルの場所
/etc/td-agent/td-agent.conf
logの場所
/var/log/td-agent/td-agent.log
起動
sudo launchctl load /Library/LaunchDaemons/td-agent.plist
停止
sudo launchctl unload /Library/LaunchDaemons/td-agent.plist
動作確認のためtsv食わせてみる
<source> type tail format tsv keys col1,col2,col3 tag hoge.fuga path /usr/local/var/log/hoge.log pos_file /tmp/td-agent.pos </source> <match hoge.**> type stdout </match>
plugin入れる
fluent-plugin-kinesis
sudo /opt/td-agent/embedded/bin/gem fluent-plugin-kinesis
Macでrubyの環境つくる
rbenv
todo
rails
gem install rails --version "5.0.0.1" --no-rdoc --no-ri
参考
rbenv
rbenv + ruby-build はどうやって動いているのか - takatoshiono's blog
Homebrewでrbenvをインストールする | Mawatari.jp
gem
Web上で実行できる処理系まとめ
swift
ふつうのコンパイラをつくろう 言語処理系をつくりながら学ぶコンパイルと実行環境の仕組み
- 作者: 青木峰郎
- 出版社/メーカー: ソフトバンククリエイティブ
- 発売日: 2009/07/24
- メディア: 単行本
- 購入: 25人 クリック: 398回
- この商品を含むブログ (48件) を見る
tsvのログをtd-agentで、mongodbにぶちこむメモ
前提
- CentOS 6.x
mongodb側
(インストールは終わったものとして)
とりあえず動くだけの設定
vim /etc/mongod.conf
systemLog: destination: file logAppend: true path: /var/log/mongodb/mongod.log storage: dbPath: /var/lib/mongo journal: enabled: true processManagement: fork: true # fork and run in background pidFilePath: /var/run/mongodb/mongod.pid net: port: 27017 bindIp: xxx.xxx.xxx.xxx
mongod開始
sudo service mongod start
agent側
td-agent導入
curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh | sudo sh
td-agentの設定を書く
vim /etc/td-agent/td-agent.conf
<source> type tail format tsv keys col1,col2,col3 tag hoge.fuga path /var/log/hoge/hogehoge.%Y-%m-%d pos_file /tmp/hoge.pos </source> <match hoge.**> @type mongo host xxx.xxx.xxx.xxx port 27017 database hogedb collection hogelog capped capped_size 1024m flush_interval 10s </match> <match fluent.**> @type mongo host xxx.xxx.xxx.xxx port 27017 database hogedb2 collection hogelog2 capped capped_size 1024m flush_interval 10s </match>
agent開始
sudo service td-agent start
こんな感じで設定すれば、ログが入っていく
サーバ/インフラエンジニア養成読本 ログ収集〜可視化編 [現場主導のデータ分析環境を構築!] Software Design plus
- 出版社/メーカー: 技術評論社
- 発売日: 2014/08/14
- メディア: Kindle版
- この商品を含むブログを見る