Linux 查找文本中重复的内容
Linux awk sort 大约 820 字应用:需要查找日志中电话号码重复两次或两次以上的日志。
示例
文本:test.txt
{"phone":"15899999999","status":1, "time":1}
{"status":1, "time":2,"phone":"15811111111"}
{"phone":"15822222222", "status":1, "time":3}
{"status":1, "phone":"15899999999","time":4}
{"time":5,"phone":"15811111111", "status":1}
使用awk
、sort
、uniq
命令完成:
awk -F '"phone":"' '{print $2}' test.txt | awk -F '"' '{print $1}' | sort | uniq -d -c
输出:(第一列为重复次数)
2 15811111111
2 15899999999
解读
- 先以
"phone":"
分隔,取第2
个字段,输出
15899999999","status":1, "time":1}
15811111111"}
15822222222", "status":1, "time":3}
15899999999","time":4}
15811111111", "status":1}
- 再以
"
分隔,取第1
个字段,输出
15899999999
15811111111
15822222222
15899999999
15811111111
- 再进行
sort
排序,输出
15811111111
15811111111
15822222222
15899999999
15899999999
- 最后进行
uniq -d -c
统计重复,输出
2 15811111111
2 15899999999
阅读 1247 · 发布于 2019-08-15
————        END        ————
扫描下方二维码关注公众号和小程序↓↓↓

昵称:
随便看看
换一批
-
Oracle查看版本信息阅读 562
-
网页添加GitHub star, fork, fllow, watch按钮阅读 647
-
Tomcat禁止日志输出到catalina.out阅读 399
-
软考-系统架构设计师:数据库安全阅读 381
-
java.sql.SQLException: ORA-01000: maximum open cursors exceeded阅读 650
-
走进Rust:参考和借阅阅读 380
-
使用logrotate处理日志阅读 1171
-
Git 提示error failed to push some refs to git@github.com阅读 1301
-
Nginx开启HTTP2.0阅读 558
-
Java 中的锁 synchronized阅读 26