インフラエンジニアがよく使うコマンド

インフラエンジニアがよく使うコマンドをまとめたページ。 貼っておいて後読もう。

qiita.com

ps axuww # プロセス確認
free -h  # メモリ使用率の確認
df -h    # ディスク使用率の確認
df -i    # i-node確認
top -d1  # 実行中のプロセス確認
sar      # CPU使用率の確認
sar -q   # ロードアベレージの確認
sar -r   # メモリの確認
sar -S   # スワップの確認
sar -b   # I/Oの確認
sar -n DEV -s 04:00:00 -e 07:30:00 | grep 'eth0' # ネットワークの確認

orebibou.com

hatebu.me

grepとかawkとかsortとかuniqueとか(niceも)

アクセスログのファイルに「/content」含まれないばあいにのIPアドレスだけ出力して、 ソートした後に集約して件数出して、その件数でソート(降順)して上位10件を出す。 にたいして、処理が重いので優先順位を下げる。

知らないコマンドとgrepの知らないオプションが使われていたので、メモする。

$ nice -n 19 grep -F '[19/Jun/2017:21:' access_log.20170619 | grep -Fv '/content' | awk -F '"' '{print $8}' | sort | uniq -c | sort -nr | head -10

Linuxコマンド集 - 【 nice 】 優先順位を決めてコマンドを実行する:ITpro

www.atmarkit.co.jp

Linuxコマンド集 - 【 grep 】 文字列を検索する:ITpro

eng-entrance.com

Linuxコマンド集 - 【 uniq 】 ソート済みのファイルから重複した行を削除する:ITpro

行動履歴の取得方法について

行動履歴のログ取得、つまり、アクセスの解析には以下のやり方があるらしい。

‘'アクセス解析ツールの測定方式は時代とともに変遷してきた。まず、一番古くからあるのが、Webサーバーのログを解析する「サーバーログ取得型」だ。それから、HTMLファイルにJavaScriptのタグを記述する「Webビーコン型(タグ型)」、最後の1つが「パケットキャプチャリング型」である。 ’'

この中でも、HTMLにタグ(javascript)を入れて情報を取得する「Webビーコン型」について調べた。 ‘'サイトの各ページにJavaScriptや特殊な画像イメージ(縦横1pxの透明なGIF画像など)をタグとして埋め込んでおき、貼り付けたページがブラウザで表示されるたびに、情報収集を行うサーバーにユーザーがアクセスしたページの情報を送る仕組みをWebビーコン型と呼びます。’'

外部の解析サービスに行動履歴の情報を飛ばさない場合は、自社のサーバ(Webサーバ→解析サーバ)に情報を飛ばす必要がある(proxyが必要)。 そのプロキシってリトライするのか調べていたが、情報を見つけられなかった。。

web-tan.forum.impressrd.jp

www.internet-koukoku.co.jp

プロキシのリトライについて調べていたら、以下のpythonの変な実装のページに飛んだ。

pythonのrequestsでリトライとプロキシを設定 : mwSoft blog

データベースのテーブル数算出とSolrグルーピングの仕様について

データベースのテーブル数算出する。

mysql> select count(*) from `information_schema`.`tables` where `table_schema` = 'database名';
+----------+
| count(*) |
+----------+
|       34 |
+----------+
1 row in set (0.00 sec)

teratail.com

また、SolrについてResultグルーピングとCollapseグルーピング。

$ curl -s "http://[domain名]:8984/solr/[core名]/select" -d "q=text:a&fl=name,height&group=true&group.field=height&wt=json&indent=on&sort=height desc"

$ curl -s "http://[domain名]:8984/solr/[core名]/select" -d "q=text:a&fl=name,height&group=true&group.field=height&wt=json&indent=on"

7zのファイルについて解凍

圧縮ファイルで「… .7z」というものがあった。 macのデフォルトのコマンドでは対応していないので、p7zipをinstallする必要がある。

# ディレクトリの圧縮
$ 7z u -r  [ディレクトリ名].7z [ディレクトリ名]

# 解凍
$ 7z x [ファイル名].7z

yuyunko.hatenablog.com