Cygwin统计日志常用代码，欢迎各位大神补全

文件操作

help——列出cygwin支持的所有命令

pwd——显示当前的路径

ls——显示当前文件夹中的所有文件

mkdir——建立目录

rmdir——删除目录

rm——删除文件

cat bj.log ——打开文件

-----------------------------------------------------------------------------------------------------------------------

grep 查找命令

cat bj.log grep Baiduspider >xin.log——查找包含Baiduspider的数据并导入到xin.log文件中

-----------------------------------------------------------------------------------------------------------------------

wc 统计命令

wc -l log.log ——统计文件行数

wc -c log.log ——统计文件字节数

wc -w log.log ——统计文件单词数

-----------------------------------------------------------------------------------------------------------------------

综合查询

cat baidu.log|awk "{if($9 ~"200") print $7}"|wc -l ——查询日志文件中200状态码的行数

cat baidu.log|grep "Baiduspider"|awk "{if($9 ~"200") print $7}"|wc -l ——查询日志文件中包含Baiduspider且状态码为200的行数

cat baidu.log | awk "{if ($9 ~"200") print $4}"|awk -F ":" "{print $2}"|sort|uniq -c|sort -nrk 1,1|less ——查询日志文件中200状态码的访问时间排行

cat baidu.log|awk "{if ($9~ "200") print $7}"||sort|uniq -c|sort -nrk 1,1|less ——查看网站访问最多的链接

cat baidu.txt|awk ‘{print $9}’|sort|uniq -c ——判断404情况：统计状态码的指令

cat 404.txt|awk ‘{print $7}’>>baidu404.txt ——导出链接

cat baidu.txt|awk ‘{print $7}’|sort|uniq -c ——查看一个链接被重复抓取的次数

cat sougou.log|awk "{print $9}"|sort|uniq -c ——统计所有状态码数量

cat spz.log awk "{print $1}" |sort |uniq|wc -l ——统计有多少IP访问

cat baidu.log | awk ‘{print $1}’ | sort | uniq -c | sort -k1r ——每个IP访问次数