Linux 根据一个文件内容查找另一个文件中的内容
Linux awk 评论 2 大约 1082 字案例
有文本1.txt
,内容如下:
{"phone":"18633333333","code":"333333"}
{"phone":"18611111111","code":"111111"}
{"phone":"18655555555","code":"555555"}
{"phone":"18644444444","code":"444444"}
{"phone":"18622222222","code":"222222"}
有文本2.txt
,内容如下:
18600000000
18633333333
18699999999
18611111111
18655555555
需求
找出1.txt
中的phone
字段是否在2.txt
中,若存在,则输出完整的json串。
解决
方法一
遍历2.txt
,逐行去1.txt
中grep
,输出到3.txt
。
cat 2.txt | while read line
do
grep $line 1.txt >> 3.txt
done
3.txt
中内容:
{"phone":"18633333333","code":"333333"}
{"phone":"18611111111","code":"111111"}
{"phone":"18655555555","code":"555555"}
方法二(推荐)
由于博主之前清洗数据时两个文件都200多兆,使用while read line
循环读取非常耗时。
- 使用
awk
合并两个文件 - 以
:
作为分隔符 - 逐行扫描,当
ARGIND
是文件1
取分隔后的第四个元素作为key
,整个一行原始字符串作为value
,加入到awk
数组(也可理解为map
集合) - 逐行扫描,当
ARGIND
是文件2
时判断第一个元素是否存在数组中(awk
判断的是key
是否存在)
awk -F'"' '{if(ARGIND==1)phones[$4]=$0}{if(ARGIND>1 && ($1 in phones))print phones[$1]}' 1.txt 2.txt
输出:
{"phone":"18633333333","code":"333333"}
{"phone":"18611111111","code":"111111"}
{"phone":"18655555555","code":"555555"}
特别注意
需关注两个文件的文件格式,必须一致,否则会出现问题。
建议都转为unix
编码格式。
阅读 8267 · 发布于 2019-08-26
————        END        ————
Give me a Star, Thanks:)
https://github.com/fendoudebb扫描下方二维码关注公众号和小程序↓↓↓

昵称:
-
小白 2楼
我看懂你第二个的意思了,就是map过滤了一下,尴尬
Chrome | Mac OSX 2021-11-19 -
小白 1楼
我想问一下,我复制你的代码根本没有结果鸭,就那个方法二。
Chrome | Mac OSX 2021-11-19
随便看看
换一批
-
PostgreSQL 对数组字段增删改查阅读 5921
-
Docker 部署 pgAdmin4阅读 947
-
Alpine Linux 包管理器 apk 设置镜像地址阅读 1215
-
Java 中的锁阅读 1924
-
Redis 执行 Lua 脚本抛出 StatusOutput does not support set(long) 异常阅读 9750
-
Java 查看实验性质的 JVM 命令行参数阅读 265
-
Android 双击退出应用程序阅读 3451
-
macOS 打开 Java Mission Control 直接闪退解决方法阅读 657
-
Linux 查看进程启动时的命令行参数阅读 438
-
Java jcmd 命令动态修改 JVM 启动参数阅读 2227