Linux 查找文本中重复的内容
Linux awk sort 大约 820 字应用:需要查找日志中电话号码重复两次或两次以上的日志。
示例
文本:test.txt
{"phone":"15899999999","status":1, "time":1}
{"status":1, "time":2,"phone":"15811111111"}
{"phone":"15822222222", "status":1, "time":3}
{"status":1, "phone":"15899999999","time":4}
{"time":5,"phone":"15811111111", "status":1}
使用awk
、sort
、uniq
命令完成:
awk -F '"phone":"' '{print $2}' test.txt | awk -F '"' '{print $1}' | sort | uniq -d -c
输出:(第一列为重复次数)
2 15811111111
2 15899999999
解读
- 先以
"phone":"
分隔,取第2
个字段,输出
15899999999","status":1, "time":1}
15811111111"}
15822222222", "status":1, "time":3}
15899999999","time":4}
15811111111", "status":1}
- 再以
"
分隔,取第1
个字段,输出
15899999999
15811111111
15822222222
15899999999
15811111111
- 再进行
sort
排序,输出
15811111111
15811111111
15822222222
15899999999
15899999999
- 最后进行
uniq -d -c
统计重复,输出
2 15811111111
2 15899999999
阅读 2852 · 发布于 2019-08-15
————        END        ————
Give me a Star, Thanks:)
https://github.com/fendoudebb扫描下方二维码关注公众号和小程序↓↓↓

昵称:
随便看看
换一批
-
Linux 之 Ubuntu 安装 JDK 及 JRE阅读 1383
-
GoJS ContextMenu 右键菜单阅读 709
-
PHP 时间加减阅读 1233
-
Linux 使用 awk 累加一列数字阅读 5065
-
网页添加 GitHub star, fork, fllow, watch 按钮阅读 1852
-
软考-系统架构设计师:系统运行与维护阅读 1224
-
算法:二叉树的层序遍历阅读 449
-
HTML 中使用 datalist 标签给输入框添加下拉框选项阅读 2904
-
软考-系统架构设计师:规范化理论-函数依赖阅读 857
-
Java 并发编程之 AQS ReentrantReadWriteLock 读写锁源码解析阅读 242